- •Что такое Data Mining?
- •Понятие Статистики
- •Понятие Машинного обучения
- •Понятие Искусственного интеллекта
- •Сравнение статистики, машинного обучения и Data Mining
- •Развитие технологии баз данных
- •Понятие Data Mining
- •Data Mining как часть рынка информационных технологий
- •Классификация аналитических систем
- •Мнение экспертов о Data Mining
- •Отличия Data Mining от других методов анализа данных
- •Перспективы технологии Data Mining
- •Существующие подходы к анализу
- •Данные
- •Что такое данные?
- •Набор данных и их атрибутов
- •Измерения
- •Шкалы
- •Типы наборов данных
- •Данные, состоящие из записей
- •Графические данные
- •Химические данные
- •Форматы хранения данных
- •Базы данных. Основные положения
- •Системы управления базами данных, СУБД
- •Классификация видов данных
- •Метаданные
- •Методы и стадии Data Mining
- •Классификация стадий Data Mining
- •Сравнение свободного поиска и прогностического моделирования с точки зрения логики
- •Классификация методов Data Mining
- •Классификация технологических методов Data Mining
- •Свойства методов Data Mining
- •Задачи Data Mining. Информация и знания
- •Задачи Data Mining
- •Классификация задач Data Mining
- •Связь понятий
- •От данных к решениям
- •От задачи к приложению
- •Информация
- •Свойства информации
- •Требования, предъявляемые к информации
- •Знания
- •Сопоставление и сравнение понятий "информация", "данные", "знание"
- •Задачи Data Mining. Классификация и кластеризация
- •Задача классификации
- •Процесс классификации
- •Методы, применяемые для решения задач классификации
- •Точность классификации: оценка уровня ошибок
- •Оценивание классификационных методов
- •Задача кластеризации
- •Оценка качества кластеризации
- •Процесс кластеризации
- •Применение кластерного анализа
- •Кластерный анализ в маркетинговых исследованиях
- •Практика применения кластерного анализа в маркетинговых исследованиях
- •Выводы
- •Задачи Data Mining. Прогнозирование и визуализация
- •Задача прогнозирования
- •Сравнение задач прогнозирования и классификации
- •Прогнозирование и временные ряды
- •Тренд, сезонность и цикл
- •Точность прогноза
- •Виды прогнозов
- •Методы прогнозирования
- •Задача визуализации
- •Плохая визуализация
- •Сферы применения Data Mining
- •Применение Data Mining для решения бизнес-задач
- •Банковское дело
- •Страхование
- •Телекоммуникации
- •Электронная коммерция
- •Промышленное производство
- •Маркетинг
- •Розничная торговля
- •Фондовый рынок
- •Применение Data Mining в CRM
- •Исследования для правительства
- •Data Mining для научных исследований
- •Биоинформатика
- •Медицина
- •Фармацевтика
- •Молекулярная генетика и генная инженерия
- •Химия
- •Web Mining
- •Text Mining
- •Call Mining
- •Основы анализа данных
- •Анализ данных в Microsoft Excel
- •Описательная статистика
- •Центральная тенденция
- •Свойства среднего
- •Некоторые свойства медианы
- •Характеристики вариации данных
- •Корреляционный анализ
- •Коэффициент корреляции Пирсона
- •Регрессионный анализ
- •Последовательность этапов регрессионного анализа
- •Задачи регрессионного анализа
- •Выводы
- •Методы классификации и прогнозирования. Деревья решений
- •Преимущества деревьев решений
- •Процесс конструирования дерева решений
- •Критерий расщепления
- •Большое дерево не означает, что оно "подходящее"
- •Остановка построения дерева
- •Сокращение дерева или отсечение ветвей
- •Алгоритмы
- •Алгоритм CART
- •Алгоритм C4.5
- •Разработка новых масштабируемых алгоритмов
- •Выводы
- •Методы классификации и прогнозирования. Метод опорных векторов. Метод "ближайшего соседа". Байесовская классификация
- •Метод опорных векторов
- •Линейный SVM
- •Метод "ближайшего соседа" или системы рассуждений на основе аналогичных случаев
- •Преимущества метода
- •Недостатки метода "ближайшего соседа"
- •Решение задачи классификации новых объектов
- •Решение задачи прогнозирования
- •Оценка параметра k методом кросс-проверки
- •Байесовская классификация
- •Байесовская фильтрация по словам
- •Методы классификации и прогнозирования. Нейронные сети
- •Элементы нейронных сетей
- •Архитектура нейронных сетей
- •Обучение нейронных сетей
- •Модели нейронных сетей
- •Персептрон
- •Программное обеспечение для работы с нейронными сетями
- •Пример решения задачи
- •Пакет Matlab
- •Нейронные сети. Самоорганизующиеся карты Кохонена.
- •Классификация нейронных сетей
- •Подготовка данных для обучения
- •Выбор структуры нейронной сети
- •Карты Кохонена
- •Самоорганизующиеся карты (Self-Organizing Maps, SOM)
- •Задачи, решаемые при помощи карт Кохонена
- •Обучение сети Кохонена
- •Пример решения задачи
- •Карты входов
- •Выводы
- •Методы кластерного анализа. Иерархические методы
- •Методы кластерного анализа
- •Иерархические методы кластерного анализа
- •Меры сходства
- •Методы объединения или связи
- •Иерархический кластерный анализ в SPSS
- •Пример иерархического кластерного анализа
- •Определение количества кластеров
- •Методы кластерного анализа. Итеративные методы.
- •Алгоритм k-средних (k-means)
- •Описание алгоритма
- •Проверка качества кластеризации
- •Алгоритм PAM ( partitioning around Medoids)
- •Предварительное сокращение размерности
- •Факторный анализ
- •Итеративная кластеризация в SPSS
- •Процесс кластерного анализа. Рекомендуемые этапы
- •Сложности и проблемы, которые могут возникнуть при применении кластерного анализа
- •Сравнительный анализ иерархических и неиерархических методов кластеризации
- •Новые алгоритмы и некоторые модификации алгоритмов кластерного анализа
- •Алгоритм BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies)
- •Алгоритм WaveCluster
- •Алгоритм CLARA (Clustering LARge Applications)
- •Алгоритмы Clarans, CURE, DBScan
- •Методы поиска ассоциативных правил
- •Часто встречающиеся приложения с применением ассоциативных правил:
- •Введение в ассоциативные правила
- •Часто встречающиеся шаблоны или образцы
- •Поддержка
- •Характеристики ассоциативных правил
- •Границы поддержки и достоверности ассоциативного правила
- •Методы поиска ассоциативных правил
- •Разновидности алгоритма Apriori
- •AprioriTid
- •AprioriHybrid
- •Пример решения задачи поиска ассоциативных правил
- •Визуализатор "Правила"
- •Способы визуального представления данных. Методы визуализации
- •Визуализация инструментов Data Mining
- •Визуализация Data Mining моделей
- •Методы визуализации
- •Представление данных в одном, двух и трех измерениях
- •Представление данных в 4 + измерениях
- •Параллельные координаты
- •"Лица Чернова"
- •Качество визуализации
- •Представление пространственных характеристик
- •Основные тенденции в области визуализации
- •Выводы
- •Комплексный подход к внедрению Data Mining, OLAP и хранилищ данных в СППР
- •Классификация СППР
- •OLAP-системы
- •OLAP-продукты
- •Интеграция OLAP и Data Mining
- •Хранилища данных
- •Преимущества использования хранилищ данных
- •Процесс Data Mining. Начальные этапы
- •Этап 1. Анализ предметной области
- •Этап 2. Постановка задачи
- •Этап 3. Подготовка данных
- •1. Определение и анализ требований к данным
- •2. Сбор данных
- •Определение необходимого количества данных
- •3. Предварительная обработка данных
- •Очистка данных
- •Этапы очистки данных
- •Выводы
- •Процесс Data Mining. Очистка данных
- •Инструменты очистки данных
- •Выводы по подготовке данных
- •Процесс Data Mining. Построение и использование модели
- •Моделирование
- •Виды моделей
- •Математическая модель
- •Этап 4. Построение модели
- •Этап 5. Проверка и оценка моделей
- •Этап 6. Выбор модели
- •Этап 7. Применение модели
- •Этап 8. Коррекция и обновление модели
- •Погрешности в процессе Data Mining
- •Выводы
- •Организационные и человеческие факторы в Data Mining. Стандарты Data Mining
- •Организационные Факторы
- •Человеческие факторы. Роли в Data Mining
- •CRISP-DM методология
- •SEMMA методология
- •Другие стандарты Data Mining
- •Стандарт PMML
- •Стандарты, относящиеся к унификации интерфейсов
- •Рынок инструментов Data Mining
- •Поставщики Data Mining
- •Классификация инструментов Data Mining
- •Программное обеспечение Data Mining для поиска ассоциативных правил
- •Программное обеспечение для решения задач кластеризации и сегментации
- •Программное обеспечение для решения задач классификации
- •Программное обеспечение Data Mining для решения задач оценивания и прогнозирования
- •Выводы
- •Инструменты Data Mining. SAS Enterprise Miner
- •Обзор программного продукта
- •Графический интерфейс (GUI) для анализа данных
- •Инструментарий для углубленного интеллектуального анализа данных
- •Набор инструментов для подготовки, агрегации и исследования данных
- •Интегрированный комплекс разнообразных методов моделирования
- •Интегрированные средства сравнения моделей и пакеты результатов
- •Скоринг по модели и простота развертывания модели
- •Гибкость благодаря открытости и расширяемости
- •Встроенная стратегия обнаружения данных
- •Распределенная система интеллектуального анализа данных, ориентированная на крупные предприятия
- •Основные характеристики пакета SAS Enterprise Miner 5.1
- •Специализированное хранилище данных
- •Подход SAS к созданию информационно-аналитических систем
- •Технические требования пакета SASR Enterprise Miner
- •Инструменты Data Mining. Система PolyAnalyst
- •Архитектура системы
- •PolyAnalyst Workplace - лаборатория аналитика
- •Аналитический инструментарий PolyAnalyst
- •Модули для построения числовых моделей и прогноза числовых переменных
- •Алгоритмы кластеризации
- •Алгоритмы классификации
- •Алгоритмы ассоциации
- •Модули текстового анализа
- •Визуализация
- •Эволюционное программирование
- •Общесистемные характеристики PolyAnalyst
- •WebAnalyst
- •Инструменты Data Mining. Программные продукты Cognos и система STATISTICA Data Miner
- •Особенности методологии моделирования с применением Cognos 4Thought
- •Система STATISTICA Data Miner
- •Средства анализа STATISTICA Data Miner
- •Инструменты Oracle Data Mining и Deductor
- •Oracle Data Mining
- •Oracle Data Mining - функциональные возможности
- •Прогнозирующие модели
- •Краткая характеристика алгоритмов классификации
- •Регрессия
- •Поиск существенных атрибутов
- •Дескрипторные модели
- •Алгоритмы кластеризации
- •Аналитическая платформа Deductor
- •Поддержка процесса от разведочного анализа до отображения данных
- •Архитектура Deductor Studio
- •Архитектура Deductor Warehouse
- •Описание аналитических алгоритмов
- •Инструмент KXEN
- •Реинжиниринг аналитического процесса
- •Технические характеристики продукта
- •Предпосылки создания KXEN
- •Структура KXEN Analytic Framework Version 3.0
- •Технология IOLAP
- •Data Mining консалтинг
- •Data Mining-услуги
- •Работа с клиентом
- •Примеры решения
- •Техническое описание решения
- •Выводы
Data Mining консалтинг
В предыдущей лекции мы рассматривали инструменты Data Mining, которые можно приобрести на рынке готового программного обеспечения. Как мы уже упоминали ранее, существуют и другие варианты: заказ готового решения у фирмы-разработчика или адаптация программного обеспечения под конкретную задачу.
Различные варианты внедрения Data Mining имеют свои сильные и слабые стороны. Так, преимуществами готового программного обеспечения являются готовые алгоритмы, техническая поддержка производителя, полная конфиденциальность информации, а также не требуется дописывать программный код, существует возможность приобретения различных модулей и надстроек к используемому пакету, общение с другими пользователями пакета и др.
Однако, такое решение имеет и слабые стороны. В зависимости от инструмента, это может быть достаточно высокая стоимость лицензий на программное обеспечение, невозможность добавлять свои функции, сложность подготовки данных, практическое отсутствие в интерфейсе терминов предметной области и другие. Такое решение требует наличия высококвалифицированных кадров, которые смогут качественно подготовить данные к анализу, знают, какие алгоритмы следует применять для решения каких задач, сумеют проинтерпретировать полученные результаты в терминах решаемых бизнес-задач. Далеко не каждая компания может содержать штат таких специалистов, а зачастую их содержание даже неэффективно.
Представим ситуацию, когда менеджер сталкивается "один на один" с одним из продуктов, в котором реализованы методы технологии Data Mining (от самых простых, включающих 1-2 алгоритма, до полнофункциональных программных комплексов, предлагающих десятки различных алгоритмов). Перед ним стоит задача - выявить наиболее перспективных потенциальных клиентов, а он видит перед собой всего лишь набор математических алгоритмов: Это и есть "обратная сторона" использования готовых инструментов.
Таким образом, покупке готового инструмента должна предшествовать серьезная подготовка к внедрению Data Mining. Некоторые аспекты этой подготовки (ее организационные факторы) были описаны в предыдущем разделе курса.
Если описанные сложности не учтены при внедрении готового инструмента, компания может столкнуться с трудностями, не всегда преодолимыми, и, как результат - разочароваться в технологии Data Mining.
Далее мы рассмотрим другой вариант внедрения: воспользоваться Data Miningконсалтингом и/или так называемой адаптацией программного обеспечения под конкретную задачу.
Data Mining-услуги
По данным консалтинговой компании Meta Group, в мире не менее 85% рынка Data Mining занимают именно услуги, т.е. консультации по эффективному внедрению этой
318
технологии для решения актуальных бизнес-задач. На сайте KDnuggets можно найти перечень более ста известных компаний, занимающихся консалтингом в сфере Data Mining.
Одна из всемирно известных консалтинговых компаний в сфере Data Mining - компания Two Crows (www.twocrows.com). Она специализируется на публикации отчетности Data Mining, проводит образовательные семинары, консультирует пользователей и разработчиков Data Mining во всем мире. Одна из известных методологий Data Mining - методология, разработанная компанией Two Crows.
К консалтинговым Data Mining-компаниям относят и некоторых производителей готового программного обеспечения, продукцию некоторых мы рассмотрели в этом разделе курса:
∙IBM Global Business Intelligence Solutions, www.ibm.com/bi;
∙SAS Institute, www.sas.com/datamining;
∙SPSS, www.spss.com;
∙StatSoft, www.StatSoft.com.
Некоторые консалтинговые компании предоставляют свои услуги на определенных территориях. Это, например, компания Arvato Business Intelligence, www.arvatobi.fr, обеспечивающая Data Mining консультирование и моделирование во Франции, Германии, Испании и некоторых других европейских странах. Некоторые консалтинговые компании специализируются на предоставлении услуг в определенных предметных областях. Например, компания Blue Hawk LLC, www.bluehawk.biz, осуществляет Data Mining и предоставляет консультационные услуги в сферах Direct Marketing и CRM. Некоторые компании предоставляют услуги с использованием определенных методов Data Mining. Компания Bayesia, (www.bayesia.com), предоставляет консультирование и "настройку решения" под клиента на основе байесовской классификации. Компания Visual Analytics (www.visualanalytics.com) обеспечивает услуги по бизнес-консультированию для нахождения шаблонов с использованием визуального Data Mining.
Рассмотрим преимущества, которые имеет этот вариант внедрения Data Mining по сравнению с готовыми программными продуктами и их самостоятельным использованием.
Высококвалифицированные специалисты. Для эффективного применения технологии Data Mining требуются квалифицированные специалисты, которые сумеют качественно провести весь цикл анализа. Пока что таких грамотных специалистов на просторах СНГ очень немного, и потому они довольно дороги. Обучение же собственных, во-первых, достаточно рискованно (его с удовольствием переманит конкурент), во-вторых, выльется в немалые затраты (такие курсы стоят дорого). Клиенты, воспользовавшись услугами консалтинговой компании, получают доступ к высококлассным профессионалам компании, экономя при этом значительные средства на поиске или обучении собственных специалистов.
Адаптированность. Готовые продукты изначально предназначены для решения хотя и широкого, но все же стандартного и ограниченного круга задач - адаптация продукта к условиям конкретного бизнеса ложится на плечи сотрудников компании. Здесь перед заказчиком опять встанет упомянутая проблема квалифицированных специалистов. Консалтинговая компания предоставляет услуги, полностью адаптированные под бизнес заказчика и его задачи.
319
Гибкость инструмента - его возможность быстро подстроить программное обеспечение под нужды бизнеса:
∙возможность выбора наиболее удобных понятий, в терминах которых должны быть сформулированы знания или термины предметной области; так, анализируя конкурентов, действующих на рынке, их можно поделить на "сильных" и "слабых" или же на "агрессивных", "спокойных" и "пассивных" - в зависимости от того, что интересует аналитика в определенный момент. Соответственно, знания будут сформулированы в выбранных заказчиком терминах, и в итоге он получает решение именно в тех терминах, которые ему интересны и понятны.
∙получение осмысленных и понятных заказчику знаний в естественной форме. Использование адаптированного под конкретный бизнес программного обеспечения избавит пользователя от необходимости изучения формул или зависимостей в математической форме, а предоставит знания в наиболее интуитивном виде.
Итак, услуги по применению Data Mining становятся все более востребованными. Далее мы опишем практический опыт российской компании SnowCactus, предоставляющей услуги по применению Data Mining.
Компания SnowCactus разработала ряд решений на основе Data Mining разнообразных бизнес-задач [118], например:
∙анализ клиентов, выявление наиболее доходных и перспективных покупателей;
∙анализ и прогнозирование продаж продукции;
∙оптимизация работы с поставщиками;
∙оптимизация бюджета продвижения товаров;
∙формирование ассортимента;
∙оценка кредитоспособности заемщиков;
∙повышение эффективности подбора персонала.
Впроцессе решения каждой конкретной бизнес-задачи специалисты компании изучают имеющиеся в наличии данные и подбирают те математические алгоритмы, которые наиболее подходят для ее решения в данных условиях.
Работа с клиентом
На примере российской компании SnowCactus рассмотрим процедуру работы консалтинговой компании с клиентом. Комплекс услуг этой компании включает в себя планирование, организацию и осуществление полного цикла использования технологии Data Mining для бизнеса.
Весь цикл представлен на рис. 28.1. Он, по своей сути, является методологией Data Mining. Как уже упоминалось в предыдущих лекциях, методология Data Mining может быть разработана внутри организации, в соответствии с последовательностью работ, выполняемых в рамках аналитического процесса.
320
Рис. 28.1. Цикл использования технологии Data Mining в SnowCactus
Цикл состоит из пяти этапов.
Этап 1. Постановка бизнес-задачи
На первом этапе компания вместе с заказчиком формулирует конкретные бизнес-задачи. При первом прохождении этого цикла задача может быть поставлена довольно широко: например, построить профили высокоприбыльных клиентов или определить группы нелояльных покупателей. Во время дальнейших проходов поставленные задачи можно уточнять, расширять и углублять. При формулировании задачи компания учитывает наличие данных, необходимых для ее решения. На этом этапе специалисты компании наравне со специалистами клиента принимают непосредственное участие в процессе формулирования задач, избавляя клиента от технической необходимости ставить задачу в терминах технологии Data Mining.
Этап 2. Первичное исследование данных
После того как бизнес-задача сформулирована, специалисты компании приступают к предварительному исследованию данных, необходимых для решения поставленной задачи. Этот этап компания также практически полностью берет на себя - со стороны заказчика здесь может потребоваться лишь минимальное участие для выяснения, например, смысла исследуемых данных или формулирования интересных для него понятий.
Этап 3. Подготовка данных
321