Владимир Рафалович - Data mining, или Интеллектуальный анализ данных для занятых. Практический курс

Отличие обработки данных (обычно статистической) от разработки данных (Data Mining) заключается в том, что первая, подготовив нужным образом данные, дает пользователю возможность делать свои заключения и выводы относительно полученных результатов обработки исходных данных. При разработке данных, сама машина предлагает пользователю свои выводы, сделанные относительно исходного набора данных на основе используемых алгоритмов и моделей.

Существуют и другие многочисленные примеры практического применения результатов разработки данных. Конкурентная борьба между транснациональными американскими сетями магазинов заставляет их бороться за каждого покупателя и не давать ему переходить в другую торговую сеть. Американская торговая сеть Target, основной конкурент Walmart, понимала, что если в семье рождается ребенок, то главное затащить родителей в свой магазин и предложить им дайперсы, если не бесплатно, то по очень низкой цене. Дальше родители купят все остальное и вообще станут покупателями этой торговой сети. Но как узнать, когда в семье родится ребенок? Очевидно, что беременные женщины имеют тенденцию питаться несколько отличным образом от других. Они употребляют больше витаминов, молочных продуктов и т. д. Разработка данных и классификация покупателей методами интеллектуального анализа данных позволила определить группу беременных покупательниц. Им были разосланы приглашения посетить магазин с дисконтными купонами. Для этого использовался аналитический процесс "Detect Categories" (Определить категории). Как это делается вы узнаете из главы 4–2.

Другой яркий пример работы ассоциативного алгоритма это компания Amazon.com. Она анализирует предметы покупок, книги, в частности, которые обычно покупаются вместе, а затем подсказывает покупателю те предметы (книги), которые обычно покупаются попутно. Подобная стратегия очевидно приводит к увеличению объема продаж. Для этого используется аналитический процесс "Shopping Basket Analysis" (Анализ покупательской корзины,см. главу 4–7)

Наконец подозрительная активность с банковскими картами или слишком необычные для данного клиента покупки, нехарактерные для его привычек, позволяют банкам не пропускать транзакции, пока они не получат письменного или устного разрешения клиента. Скажем владелец карты использовал ее в течении нескольких лет для покупок питания на не более, чем 2000 рублей за раз и для эпизодической оплаты книжных покупок размером до 1000 руб. Однажды, банк получил требование на оплату счета в ресторане в размере 10.000 рублей. Банк заблокировал эту транзакцию и правильно, карта оказалось утерянной, но владелец еще не успел этого обнаружить. Для этого используется аналитический процесс "Highlight Exceptions" (Выделение исключений,см. главу 4–5)

1.Вам необходимо разумеется иметь Excel 2007 или более позднее издание (2010 или 2013). В этой книге, однако, мы будем использовать Excel 2010 и все примеры будут иллюстрироваться из него. Excel обычно является частью Microsoft Office 2007, 2010 или 2013. Excel должен быть установлен на том компьютере, на котором вы работаете.

2.Нужно иметь стандартное или Enterprise издание SQL-сервера 2005, 2008 или более позднее. SQL-сервер не обязательно должен находиться на том компьютере на котором вы непосредственно работаете, но с ним должна быть хотя бы интернет-связь, поскольку вся обработка данных происходит именно на SQL-сервере. Кроме того, на самом SQL-сервере должна быть установлена компонента SQL Analysis Service (SSAS). Этот продукт хотя и является частью SQL-сервера, не устанавливается по умолчанию и должен быть установлен дополнительно. Это именно тот сервис SQL-сервера, где находятся все алгоритмы и где будет происходить расчет моделей и обработка данных.

3.Для Excel необходимо также иметь Data Mining Add-in. Это бесплатная подпрограмма-надстройка, которая естественным образом внедряется в Excel после установки и нужна для коммуникаций между Excel и SQL-сервером. К тому же она добавляет в Excel дополнительную линейку меню, необходимую для интеллектуальной разработки данных, выбора инструментов и манипулированния данными. Как устанавливается и откуда берется эта важная подпрограмма рассматривается в главе 1.

Прежде, чем использовать Excel для разработки данных, необходимо провести установку подпрограммы Data Mining Add-in. Хотя она бесплатна, но она не устанавливается по умолчанию при первой установке Excel на компьютере. Сначала Add-In надо загрузить. Проще всего рекомендуем произвести в Google следующий поиск «sql server 2008 data mining add-ins». Результат поиска приведет вас на страницу компании Microsoft (Рис. 1–1). В самом низу страницы находится собственно линк на скачивание Add-in. Еще раз напомним, что если вы пользуетесь Excel версии 2013 года, то установка этой подпрограммы не нужна. Она уже является неотъемлемой частью Excel! Речь идет только об Excel версиях 2007 или 2010. Для загрузки можно воспользоваться также сайтом http://www.sqlserverdatamining.com

Рис. 1–1. Страница загрузки подпрограммы Data mining Add-In

Рис. 1–2. Первый шаг мастера установки надстройки.

Рис. 1–3. Выбор необходимой опции: "Клиент интеллектуального анализа данных".

После загрузки подпрограммы-надстройки традиционно откроется мастер ее установки. После принятия условий использования программы (Рис. 1–2) будет предложено ввести ваше имя, а затем откроется окно опций установки (Рис. 1–3).

Далее можно нажать на кнопку «Далее». Однако, хотим обратить ваше внимание на опцию «Клиент интеллектуального анализа данных для Excel», которая по умолчанию не отмечена! Если ее выбрать и продолжить установку, то Excel будет иметь дополнительное меню: Data Mining. Опции под этим меню будут в принципе аналогичны тем, которые существуют в интересующем нас в этой книге анализе таблиц, но рассчитаны на более продвинутых пользователей, которые могут по своему усмотрению выбирать алгоритмы и модели для расчетов. Разница в меню представлена на Рис. 1–4 и 1–5.

Рис. 1–4. Меню Excel, когда опция «Клиент интеллектуального анализа данных для Excel» не выбрана.

Рис. 1–5. Меню Excel, когда опция «Клиент интеллектуального анализа данных для Excel» выбрана. Видно дополнительное меню Data Mining для продвинутых пользователей.