- •Что такое Data Mining?
- •Понятие Статистики
- •Понятие Машинного обучения
- •Понятие Искусственного интеллекта
- •Сравнение статистики, машинного обучения и Data Mining
- •Развитие технологии баз данных
- •Понятие Data Mining
- •Data Mining как часть рынка информационных технологий
- •Классификация аналитических систем
- •Мнение экспертов о Data Mining
- •Отличия Data Mining от других методов анализа данных
- •Перспективы технологии Data Mining
- •Существующие подходы к анализу
- •Данные
- •Что такое данные?
- •Набор данных и их атрибутов
- •Измерения
- •Шкалы
- •Типы наборов данных
- •Данные, состоящие из записей
- •Графические данные
- •Химические данные
- •Форматы хранения данных
- •Базы данных. Основные положения
- •Системы управления базами данных, СУБД
- •Классификация видов данных
- •Метаданные
- •Методы и стадии Data Mining
- •Классификация стадий Data Mining
- •Сравнение свободного поиска и прогностического моделирования с точки зрения логики
- •Классификация методов Data Mining
- •Классификация технологических методов Data Mining
- •Свойства методов Data Mining
- •Задачи Data Mining. Информация и знания
- •Задачи Data Mining
- •Классификация задач Data Mining
- •Связь понятий
- •От данных к решениям
- •От задачи к приложению
- •Информация
- •Свойства информации
- •Требования, предъявляемые к информации
- •Знания
- •Сопоставление и сравнение понятий "информация", "данные", "знание"
- •Задачи Data Mining. Классификация и кластеризация
- •Задача классификации
- •Процесс классификации
- •Методы, применяемые для решения задач классификации
- •Точность классификации: оценка уровня ошибок
- •Оценивание классификационных методов
- •Задача кластеризации
- •Оценка качества кластеризации
- •Процесс кластеризации
- •Применение кластерного анализа
- •Кластерный анализ в маркетинговых исследованиях
- •Практика применения кластерного анализа в маркетинговых исследованиях
- •Выводы
- •Задачи Data Mining. Прогнозирование и визуализация
- •Задача прогнозирования
- •Сравнение задач прогнозирования и классификации
- •Прогнозирование и временные ряды
- •Тренд, сезонность и цикл
- •Точность прогноза
- •Виды прогнозов
- •Методы прогнозирования
- •Задача визуализации
- •Плохая визуализация
- •Сферы применения Data Mining
- •Применение Data Mining для решения бизнес-задач
- •Банковское дело
- •Страхование
- •Телекоммуникации
- •Электронная коммерция
- •Промышленное производство
- •Маркетинг
- •Розничная торговля
- •Фондовый рынок
- •Применение Data Mining в CRM
- •Исследования для правительства
- •Data Mining для научных исследований
- •Биоинформатика
- •Медицина
- •Фармацевтика
- •Молекулярная генетика и генная инженерия
- •Химия
- •Web Mining
- •Text Mining
- •Call Mining
- •Основы анализа данных
- •Анализ данных в Microsoft Excel
- •Описательная статистика
- •Центральная тенденция
- •Свойства среднего
- •Некоторые свойства медианы
- •Характеристики вариации данных
- •Корреляционный анализ
- •Коэффициент корреляции Пирсона
- •Регрессионный анализ
- •Последовательность этапов регрессионного анализа
- •Задачи регрессионного анализа
- •Выводы
- •Методы классификации и прогнозирования. Деревья решений
- •Преимущества деревьев решений
- •Процесс конструирования дерева решений
- •Критерий расщепления
- •Большое дерево не означает, что оно "подходящее"
- •Остановка построения дерева
- •Сокращение дерева или отсечение ветвей
- •Алгоритмы
- •Алгоритм CART
- •Алгоритм C4.5
- •Разработка новых масштабируемых алгоритмов
- •Выводы
- •Методы классификации и прогнозирования. Метод опорных векторов. Метод "ближайшего соседа". Байесовская классификация
- •Метод опорных векторов
- •Линейный SVM
- •Метод "ближайшего соседа" или системы рассуждений на основе аналогичных случаев
- •Преимущества метода
- •Недостатки метода "ближайшего соседа"
- •Решение задачи классификации новых объектов
- •Решение задачи прогнозирования
- •Оценка параметра k методом кросс-проверки
- •Байесовская классификация
- •Байесовская фильтрация по словам
- •Методы классификации и прогнозирования. Нейронные сети
- •Элементы нейронных сетей
- •Архитектура нейронных сетей
- •Обучение нейронных сетей
- •Модели нейронных сетей
- •Персептрон
- •Программное обеспечение для работы с нейронными сетями
- •Пример решения задачи
- •Пакет Matlab
- •Нейронные сети. Самоорганизующиеся карты Кохонена.
- •Классификация нейронных сетей
- •Подготовка данных для обучения
- •Выбор структуры нейронной сети
- •Карты Кохонена
- •Самоорганизующиеся карты (Self-Organizing Maps, SOM)
- •Задачи, решаемые при помощи карт Кохонена
- •Обучение сети Кохонена
- •Пример решения задачи
- •Карты входов
- •Выводы
- •Методы кластерного анализа. Иерархические методы
- •Методы кластерного анализа
- •Иерархические методы кластерного анализа
- •Меры сходства
- •Методы объединения или связи
- •Иерархический кластерный анализ в SPSS
- •Пример иерархического кластерного анализа
- •Определение количества кластеров
- •Методы кластерного анализа. Итеративные методы.
- •Алгоритм k-средних (k-means)
- •Описание алгоритма
- •Проверка качества кластеризации
- •Алгоритм PAM ( partitioning around Medoids)
- •Предварительное сокращение размерности
- •Факторный анализ
- •Итеративная кластеризация в SPSS
- •Процесс кластерного анализа. Рекомендуемые этапы
- •Сложности и проблемы, которые могут возникнуть при применении кластерного анализа
- •Сравнительный анализ иерархических и неиерархических методов кластеризации
- •Новые алгоритмы и некоторые модификации алгоритмов кластерного анализа
- •Алгоритм BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies)
- •Алгоритм WaveCluster
- •Алгоритм CLARA (Clustering LARge Applications)
- •Алгоритмы Clarans, CURE, DBScan
- •Методы поиска ассоциативных правил
- •Часто встречающиеся приложения с применением ассоциативных правил:
- •Введение в ассоциативные правила
- •Часто встречающиеся шаблоны или образцы
- •Поддержка
- •Характеристики ассоциативных правил
- •Границы поддержки и достоверности ассоциативного правила
- •Методы поиска ассоциативных правил
- •Разновидности алгоритма Apriori
- •AprioriTid
- •AprioriHybrid
- •Пример решения задачи поиска ассоциативных правил
- •Визуализатор "Правила"
- •Способы визуального представления данных. Методы визуализации
- •Визуализация инструментов Data Mining
- •Визуализация Data Mining моделей
- •Методы визуализации
- •Представление данных в одном, двух и трех измерениях
- •Представление данных в 4 + измерениях
- •Параллельные координаты
- •"Лица Чернова"
- •Качество визуализации
- •Представление пространственных характеристик
- •Основные тенденции в области визуализации
- •Выводы
- •Комплексный подход к внедрению Data Mining, OLAP и хранилищ данных в СППР
- •Классификация СППР
- •OLAP-системы
- •OLAP-продукты
- •Интеграция OLAP и Data Mining
- •Хранилища данных
- •Преимущества использования хранилищ данных
- •Процесс Data Mining. Начальные этапы
- •Этап 1. Анализ предметной области
- •Этап 2. Постановка задачи
- •Этап 3. Подготовка данных
- •1. Определение и анализ требований к данным
- •2. Сбор данных
- •Определение необходимого количества данных
- •3. Предварительная обработка данных
- •Очистка данных
- •Этапы очистки данных
- •Выводы
- •Процесс Data Mining. Очистка данных
- •Инструменты очистки данных
- •Выводы по подготовке данных
- •Процесс Data Mining. Построение и использование модели
- •Моделирование
- •Виды моделей
- •Математическая модель
- •Этап 4. Построение модели
- •Этап 5. Проверка и оценка моделей
- •Этап 6. Выбор модели
- •Этап 7. Применение модели
- •Этап 8. Коррекция и обновление модели
- •Погрешности в процессе Data Mining
- •Выводы
- •Организационные и человеческие факторы в Data Mining. Стандарты Data Mining
- •Организационные Факторы
- •Человеческие факторы. Роли в Data Mining
- •CRISP-DM методология
- •SEMMA методология
- •Другие стандарты Data Mining
- •Стандарт PMML
- •Стандарты, относящиеся к унификации интерфейсов
- •Рынок инструментов Data Mining
- •Поставщики Data Mining
- •Классификация инструментов Data Mining
- •Программное обеспечение Data Mining для поиска ассоциативных правил
- •Программное обеспечение для решения задач кластеризации и сегментации
- •Программное обеспечение для решения задач классификации
- •Программное обеспечение Data Mining для решения задач оценивания и прогнозирования
- •Выводы
- •Инструменты Data Mining. SAS Enterprise Miner
- •Обзор программного продукта
- •Графический интерфейс (GUI) для анализа данных
- •Инструментарий для углубленного интеллектуального анализа данных
- •Набор инструментов для подготовки, агрегации и исследования данных
- •Интегрированный комплекс разнообразных методов моделирования
- •Интегрированные средства сравнения моделей и пакеты результатов
- •Скоринг по модели и простота развертывания модели
- •Гибкость благодаря открытости и расширяемости
- •Встроенная стратегия обнаружения данных
- •Распределенная система интеллектуального анализа данных, ориентированная на крупные предприятия
- •Основные характеристики пакета SAS Enterprise Miner 5.1
- •Специализированное хранилище данных
- •Подход SAS к созданию информационно-аналитических систем
- •Технические требования пакета SASR Enterprise Miner
- •Инструменты Data Mining. Система PolyAnalyst
- •Архитектура системы
- •PolyAnalyst Workplace - лаборатория аналитика
- •Аналитический инструментарий PolyAnalyst
- •Модули для построения числовых моделей и прогноза числовых переменных
- •Алгоритмы кластеризации
- •Алгоритмы классификации
- •Алгоритмы ассоциации
- •Модули текстового анализа
- •Визуализация
- •Эволюционное программирование
- •Общесистемные характеристики PolyAnalyst
- •WebAnalyst
- •Инструменты Data Mining. Программные продукты Cognos и система STATISTICA Data Miner
- •Особенности методологии моделирования с применением Cognos 4Thought
- •Система STATISTICA Data Miner
- •Средства анализа STATISTICA Data Miner
- •Инструменты Oracle Data Mining и Deductor
- •Oracle Data Mining
- •Oracle Data Mining - функциональные возможности
- •Прогнозирующие модели
- •Краткая характеристика алгоритмов классификации
- •Регрессия
- •Поиск существенных атрибутов
- •Дескрипторные модели
- •Алгоритмы кластеризации
- •Аналитическая платформа Deductor
- •Поддержка процесса от разведочного анализа до отображения данных
- •Архитектура Deductor Studio
- •Архитектура Deductor Warehouse
- •Описание аналитических алгоритмов
- •Инструмент KXEN
- •Реинжиниринг аналитического процесса
- •Технические характеристики продукта
- •Предпосылки создания KXEN
- •Структура KXEN Analytic Framework Version 3.0
- •Технология IOLAP
- •Data Mining консалтинг
- •Data Mining-услуги
- •Работа с клиентом
- •Примеры решения
- •Техническое описание решения
- •Выводы
Комплексный подход к внедрению Data Mining, OLAP и хранилищ данных в СППР
В одной из предыдущих лекций мы рассматривали информационную пирамиду, в ходе движения по которой, от данных к решениям, объемы знаний переходят в ценность бизнеса. Процесс Data Mining, который как раз и заключается в движении вверх по этой информационной пирамиде, неразрывно связан с процессом принятия решений, его можно рассматривать как неотъемлемую часть систем поддержки принятия решений (СППР).
Таким образом, Data Mining можно рассматривать как процесс поддержки принятия решений, при этом накопленные сведения автоматически обобщаются до информации, которая может быть охарактеризована как знания [11].
С понятием решений и принятием решений мы уже кратко познакомились в одной из первых лекций курса.
СППР возникли в результате развития управленческих информационных систем и систем управления базами данных в начале 70-х годов прошлого века.
На данный момент существует огромное количество СППР, разработанных и внедренных в различных областях человеческой деятельности. Темпы их разработок постоянно возрастают.
Однако на сегодняшний день, несмотря на распространенность данных систем, общепризнанное определение данного термина пока не найдено. Следует отметить, что хотя СППР широко применяется во всем мире, на просторах СНГ системам этого типа пока еще не уделяется должное внимание.
Рассмотрим, что же представляет собой система поддержки принятия решений. Как уже было отмечено, данный вопрос является дискуссионным, так же как и вопрос отнесения различных типов систем к классу СППР; мнения по этому поводу часто даже противоречат друг другу. Приведем несколько определений СППР.
Основу СППР составляет комплекс взаимосвязанных моделей с соответствующей информационной поддержкой исследования, экспертные и интеллектуальные системы, включающие опыт решения задач управления и обеспечивающие участие коллектива экспертов в процессе выработки рациональных решений [71].
Система поддержки принятия решений - это диалоговая автоматизированная система, использующая правила принятия решений и соответствующие модели с базами данных, а также интерактивный компьютерный процесс моделирования.
СППР - это средство для "вычисления решений", которое основано "на использовании ряда процедур по обработке данных и суждений, помогающих лицу, принимающему решение (далее - ЛПР), в принятии решения" [72].
195
СППР - "интерактивные автоматизированные системы, которые помогают ЛПР использовать данные и модели, чтобы решать неструктурированные проблемы" [73].
СППР - "компьютерная информационная система, используемая для поддержки различных видов деятельности при принятии решения в ситуациях, где невозможно или нежелательно иметь автоматические системы, которые полностью выполняют весь процесс принятия решения". СППР не заменяет ЛПР, автоматизируя процесс принятия решения, а оказывает ему помощь в ходе решения поставленной задачи [74].
Следует заметить, что, начиная с первых определений СППР, круг задач, решаемых при их помощи, ограничился слабоструктурированными и неструктурированными.
Определим СППР таким образом: СППР - интерактивная компьютерная система, предназначенная для поддержки принятия решений в слабоструктурированных и неструктурированных проблемах различных видов человеческой деятельности [75].
Существенными концепциями этого определения являются:
∙компьютерная интерактивная (т.е. не обуславливающая обязательного непосредственного использования ЛПР системы поддержки принятия решений);
∙поддержка принятия решений (решение принимает человек);
∙слабоструктурированных и неструктурированных проблем (именно такими проблемами занимаются руководители).
Рассмотрим, что же представляет собой классификация проблем на слабоструктурированные, неструктурированные и структурированные [75, 76].
Неструктурированные задачи имеют только качественное описание, основанное на суждениях ЛПР, количественные зависимости между основными характеристиками задачи не известны.
Структурированные задачи характеризуются существенными зависимостями, которые могут быть выражены количественно.
Слабоструктурированные задачи занимают промежуточное положение и являются "сочетающими количественные и качественные зависимости, причем малоизвестные и неопределенные стороны задачи имеют тенденцию доминировать" [76].
Можно выделить три компонента, составляющие основу классической структуры СППР, которыми она отличается от других типов информационных систем: подсистему интерфейса пользователя, подсистему управления базой данных и подсистему управления базой моделей [75].
Если посмотреть на СППР с функциональной стороны, можно выделить следующие ее компоненты [11, 77]:
∙сервер хранилища данных;
∙инструментарий OLAP;
∙инструментарий Data Mining.
196
Эти компоненты СППР рассматривают такие основные вопросы: вопрос накопления данных и их моделирования на концептуальном уровне, вопрос эффективной загрузки данных из нескольких независимых источников и вопрос анализа данных.
Можно сказать, что использование оперативной аналитической обработки (систем OLAP) на сегодня ограничивается обеспечением доступа к многомерным данным.
Технология Data Mining представляет в СППР наибольший интерес, поскольку с ее помощью можно провести наиболее глубокий и всесторонний анализ данных и, следовательно, принимать наиболее взвешенные и обоснованные решения.
Классификация СППР
Вопрос классификаций СППР на сегодняшний день является актуальным, продолжаются разработки новых таксономий. Рассмотрим две из них.
Ниже приведена классификация СППР по сходству некоторых признаков (D.J. Power, 2000). C подробным описанием групп можно ознакомиться в [75].
∙СППР, ориентированные на данные (Data-driven DSS, Data-oriented DSS);
∙СППР, ориентированные на модели (Model-driven DSS);
∙СППР, ориентированные на знания (Knowledge-driven DSS);
∙СППР, ориентированные на документы (Document-driven DSS);
∙СППР, ориентированные на коммуникации и групповые СППР (Communications-Driven ? Group DSS);
∙Интер-организованные и Интра-организованные СППР (Inter-Organizational або IntraOrganizational DSS);
∙Специфически функциональные СППР или СППР общего назначения (Function-Specific або General Purpose DSS);
∙СППР на базе Web (Web-Based DSS).
Взависимости от данных, с которыми работают СППР, выделяют два основных их типа СППР: EIS и DSS [75,78].
EIS (Execution Information System) - информационная система Руководства, ИСР.
СППР этого типа являются оперативными, предназначенными для немедленного реагирования на текущую ситуацию. В большинстве они ориентированы на неподготовленного пользователя, потому имеют упрощенный интерфейс, базовый набор предлагаемых возможностей, фиксированные формы представления информации и перечень решаемых задач. Такие системы основаны на типичных запросах, число которых относительно невелико; отчеты, полученные в результате таких запросов, представляются в максимально удобном виде.
DSS (Decision Support System). К системам этого типа относят многофункциональные системы анализа и исследования данных. Они предполагают глубокую проработку данных, которую можно использовать в процессе принятий решений.
Системы этого типа, в отличие от EIS, рассчитаны на пользователей, имеющих как знания в предметной области, так и возможности использования современных компьютерных технологий. Этим системам присущи черты искусственного интеллекта, за счет
197
возможности проработки исходных данных в конкретные выводы по поставленной задаче. Такие системы имеет смысл создавать, если есть основания для обобщения и анализа данных и процессов их обработки.
В последнее время к СППР относят только второй тип, т.е. DSS.
Системы этого типа иногда называют динамическими, т.е. они должны быть ориентированы на обработку неожиданных (ad hoc) запросов. Поддержка принятия решений на основе накопленных данных может выполняться в трех базовых сферах [79]. Более подробно с этим материалом можно ознакомиться в [11].
1.Область детализированных данных (OLTP-системы).
Целью большинства таких систем является поиск информации, это так называемые информационно-поисковые системы. Они могут использоваться в качестве надстроек над системами обработки данных или как хранилища данных.
2.Сфера агрегированных показателей ( OLAP-системы).
Задачами OLAP систем является обобщение, агрегация, гиперкубическое представление информации и многомерный анализ. Это могут быть многомерные СУБД или же реляционные базы с предварительной агрегацией данных.
3.Сфера закономерностей (Data Mining).
Такое деление систем на EIS и DSS не обязательно означает реализацию СППР одного из типов. Они могут существовать параллельно, когда каждая из систем предоставляет свои функции определенной категории пользователей.
Общая схема поддержки принятия решений, предлагаемая в [80], включает:
∙помощь ЛПР при оценке состояния управляемой системы и воздействий на нее; выявление предпочтений ЛПР;
∙генерацию возможных решений;
∙оценку возможных альтернатив, исходя из предпочтений ЛПР;
∙анализ последствий принимаемых решений и выбор лучшего с точки зрения ЛПР.
OLAP-системы
В основе концепции OLAP, или оперативной аналитической обработки данных (On-Line Analytical Processing), лежит многомерное концептуальное представление данных (Multidimensional conceptual view).
Термин OLAP введен Коддом (E. F. Codd) в 1993 году. Главная идея данной системы заключается в построении многомерных таблиц, которые могут быть доступны для запросов пользователей. Эти многомерные таблицы или так называемые многомерные кубы строятся на основе исходных и агрегированных данных. И исходные, и агрегированные данные для многомерных таблиц могут храниться как в реляционных, так и в многомерных базах данных. Взаимодействуя с OLAP-системой, пользователь может осуществлять гибкий просмотр информации, получать различные срезы данных, выполнять аналитические операции детализации, свертки, сквозного распределения,
198