Зайцев Применение методов Дата Мининг для поддержки процессов управления ИТ-услугами.Учебное пособие 2009
.pdfSAS Enterprise Miner. Пакет SAS Enterprise Miner предоставля-
ет набор инструментов и алгоритмов прогностического и описательного моделирования, включающий в себя:
•деревья решений;
•нейронные сети;
•методы рассуждений на основе аналогичных случаев;
•линейную и логистическую регрессии;
•кластеризацию (иерархической и неиерархические методы);
•ассоциации;
•временные ряды.
STATISTICA Data Miner. Ниже описаны основные аналитические компоненты программного комплекса STATISTICA Data Miner.
General Classifier – классификация. Включает в себя полный пакет процедур классификации: обобщенные линейные модели, деревья классификации, регрессионныедеревья, кластерныйанализит.д.
General Modeler/Multivariate Explorer – обобщенные линейные,
нелинейные и регрессионные модели. Данный элемент содержит линейные, нелинейные, обобщенные регрессионные модели и элементы анализа деревьев классификации.
General Forecaster – прогнозирование. Включает в себя модели АРПСС, сезонные модели АРПСС, экспоненциальное сглаживание, спектральный анализ Фурье, сезонная декомпозиция, прогнозирование при помощи нейронных сетей и т.д.
General Neural Networks Explorer – нейросетевой анализ. В дан-
ной части содержится наиболее полный пакет процедур нейросетевого анализа.
Association Rules – правила ассоциации. Модуль является реализацией так называемого априорного алгоритма обнаружения правил ассоциации. Например, результат работы этого алгоритма мог бы быть следующим: клиент после покупки продукта "А", в 95 случаях из 100 в течение следующих двух недель после этого заказывает продукт "B" или "С".
Generalized EM & k-Means Cluster Analysis –обобщенный метод максимума среднего и кластеризация методом К средних. Данный модуль – это расширение методов кластерного анализа. Он предназначен для обработки больших наборов данных и позволяет кла-
71
стеризовывать как непрерывные, так и категориальные переменные, обеспечивает все необходимые функциональные возможности для распознавания образов.
General Classification and Regression Trees (GTrees) – обобщен-
ные классификационные и регрессионные деревья (GTrees). Модуль является полной реализацией методов, разработанных
Breiman, Friedman, Olshen и Stone (1984). Кроме этого, модуль со-
держит разного рода доработки и дополнения, такие как оптимизации алгоритмов для больших объемов данных и т.д. Модуль является набором методов обобщенной классификации и регрессионных деревьев.
Boosted Trees – расширяемые простые деревья. Последние исследования аналитических алгоритмов показывают, что для некоторых задач построения «сложных» оценок, прогнозов и классификаций использование последовательно увеличиваемых простых деревьев дает более точные результаты, чем нейронные сети или сложные цельные деревья. Данный модуль реализует алгоритм построения простых увеличиваемых (расширяемых) деревьев [24].
Oracle Data Mining. В Oracle Data Mining реализованы сле-
дующие алгоритмы:
•классификационные модели (Naive Bayes, Adaptive Bayes Network);
•классификации и регрессионные модели (Support Vector Machine);
•поиск существенных атрибутов (Minimal Descriptor Length);
•кластеризация (Enhanced K-means, O-cluster);
•поиск ассоциаций (Apriory Algorithm);
•выделение признаков (Non-Negative Matrix Factorization).
KXEN Analytic Framework. KXEN Analytic Framework пред-
ставляет собой набор модулей для проведения описательного и предсказательного анализа.
Компонент Робастной Регрессии (KXEN Robust Regression – K2R) использует подходящий регрессионный алгоритм.
Компонент Интеллектуальной Сегментации (KXEN Smart Segmenter – K2S) позволяет выявить естественные группы (кластеры) в наборе данных.
72
Машина Опорных Векторов KXEN (Support Vector Machine – KSVM) позволяет производить бинарную классификацию на основе алгоритмов, аналогичных SVM.
Компонент Анализа Временных Рядов (KXEN Time Series – KTS) позволяет прогнозировать значимые шаблоны и тренды во временных рядах [24].
Microsoft SQL Server Analysis Services. SQL Server 2005 Analysis Services включает в себя следующие девять алгоритмов [5]:
•Дерево решений (Microsoft Decision Trees)
•Кластеризация (Microsoft Clustering)
•"Наивный" Байес (Microsoft Naive Bayes)
•K-ближайших соседей (Microsoft Sequence Clustering)
•Временные ряды (Microsoft Time Series)
•Ассоциативные правила (Microsoft Association)
•Нейронная сеть (Microsoft Neural Network)
•Линейная регрессия (Microsoft Linear Regression)
•Логистическая регрессия (Microsoft Logistic Regression)
Программные продукты SPSS. Компания SPSS представляет
несколько продуктов с возможностями Data Mining, описанных ниже [27].
SPSS Classification Trees позволяет непосредственно в SPSS для Windows строить деревья классификаций и решений, идентифицировать группы, находить взаимосвязи в данных и предсказывать будущие события.
В SPSS Regression Models заложены такие методы анализа данных, как логистическая регрессия (мультиномиальная и бинарная), нелинейная регрессия.
SPSS Categories позволяет проводить оптимальное шкалирование, включающее анализ соответствий и процедуру CATPCA (анализ главных компонент методом наименьших квадратов с чередованием). Для поиска неявных зависимостей в данных в SPSS Categories есть новая процедура многомерного шкалирования PROXSCAL.
Продукт Amos предоставляет возможности методов наивной байесовской классификации.
SPSS Trends позволяет прогнозировать временные ряды моделями экспоненциального сглаживания, а также методами оценивания авторегрессионных моделей.
73
В SPSS Base используются следующие подходы:
•двухэтапный кластерный анализ;
•кластеризация k-средними;
•иерархический кластерный анализ;
•факторный анализ;
•анализа главных компонентов.
Программные продукты Cognos (IBM). Компания Cognos
представляет два продукта [29], в которых реализованы функции
Data Mining:
Cognos 4Thought, в основу которого положена технология нейронных сетей. Использование нейронных сетей позволяет строить достаточно точные сложные нелинейные модели на основе неполной статистической выборки данных.
Cognos Scenario, которое автоматизирует обнаружение и ранжирование наиболее важных факторов, влияющих на бизнес, и выявление скрытых связей между этими факторами.
Результаты работы Scenario (ключевые показатели и факторы) могут быть переданы в 4Thought для выполнения прогнозирования.
Результат анализа программных продуктов Data Mining.
Анализ методов Data Mining, используемых в наиболее распространенных продуктах извлечения знаний можно обобщить в табл. 4.1.
Как видно из таблицы наиболее популярными методами Data Mining являются:
•анализ временных рядов;
•деревья решений;
•иерархическая кластеризация;
•линейная регрессия;
•логистическая регрессия;
•метод опорных векторов;
•методы рассуждений на основе аналогичных случаев;
•наивный байесовский алгоритм;
•неиерархическая кластеризация;
•нейронные сети;
•поиск ассоциативных правил.
74
Таблица 4.1
Методы Data Mining в программных продуктах извлечения знаний
Адаптивная
байесовская
сеть
Анализ временных рядов
Граничные
методы
Деревья решений
Иерархическая кластеризация
Линейная
регрессия
Логистическая регрессия
Методы рассуждений на основе аналогичных случаев
Наивный
байесовский
алгоритм
Неиерархическая кластеризация
Нейронные
сети
Поиск ассоциативных правил
SAS |
STATIS- |
Oracle |
KXEN |
MS |
|
|
|
SQL Ser- |
|
ПП |
Встре- |
||||
Enter- |
TICA |
Data |
Analytic |
ПП |
|||
prise |
Data |
Min- |
Frame- |
ver |
SPSS |
Cog- |
чае- |
Miner |
Miner |
ing |
work |
Analysis |
|
nos |
мость |
Services |
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
+ |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
+ |
|
+ |
+ |
+ |
|
4 |
|
|
|
|
|
|
|
|
|
+ |
+ |
+ |
|
|
|
3 |
|
|
|
|
|
|
|
|
+ |
+ |
|
|
+ |
+ |
|
4 |
|
|
|
|
|
|
|
|
+ |
+ |
+ |
+ |
|
|
|
4 |
|
|
|
|
|
|
|
|
+ |
+ |
+ |
+ |
+ |
+ |
|
6 |
|
|
|
|
|
|
|
|
+ |
+ |
+ |
+ |
+ |
+ |
|
6 |
|
|
|
|
|
|
|
|
+ |
+ |
|
|
+ |
|
|
3 |
|
|
|
|
|
|
|
|
|
|
+ |
|
+ |
+ |
|
3 |
|
|
|
|
|
|
|
|
+ |
+ |
+ |
+ |
+ |
|
|
5 |
|
|
|
|
|
|
|
|
+ |
+ |
|
|
+ |
|
+ |
4 |
|
|
|
|
|
|
|
|
+ |
+ |
+ |
|
+ |
|
|
4 |
|
|
|
|
|
|
|
|
75
5.Управление ИТ-услугами
Вэтом разделе проводится анализ процессов управления ИТуслугами (ITSM – IT Service Management) в части выявления задач поиска скрытых зависимостей (знаний), определяющих их качественное функционирование при обработке больших объемов данных.
5.1.Процессы управления ИТ-услугами
Всоответствии с Библиотекой лучшего мирового опыта управления ИТ (ITIL) выделяется пять основных групп процессов управления ИТ-услугами: Service Strategy (стратегия предоставления ус-
луг), Service Design (создание услуг), Service Transition (передача услуг в эксплуатацию), Service Operation (операционное использование услуг), Continual Service Improvement (непрерывное улучшение предоставления услуг) [3, 4, 6 – 8].
Вгруппу «Service Strategy» входят следующие процессы:
•создание стратегии;
•управление финансами;
•управление портфелем услуг;
•управление соответствием внешним требованием. В группу “Service Design” входят следующие процессы:
•управление каталогом услуг;
•управление уровнем услуг;
•управление мощностью;
•управление доступностью;
•управление непрерывностью;
•управление безопасностью;
•управление взаимоотношением с партнерами.
В группу «Service Transition» входят следующие процессы:
•поддержка и планирование передачи услуги в эксплуатацию;
•управление изменениями;
•управление активами и конфигурациями;
•управление релизами и развертыванием;
•тестирование и валидация услуг;
•управление знаниями;
•оценка.
76
Вгруппу «Service Operation» входят следующие процессы:
• управление событиями;
• управление инцидентами;
• управление запросами;
• управление проблемами;
• управление доступом.
Вгруппу «Continual Service Improvement» входят следующие процессы:
•«семи шаговый процесс улучшения»;
•«измерение услуг»;
•отчетность об услугам.
В данном пособии рассмотрены лишь наиболее распространенные процессы, а именно: управление инцидентами, управление проблемами, управление изменениями и управление активами и конфигурациями.
5.2. Процесс управления инцидентами
Задача процесса управления инцидентами является реактивной – уменьшение или исключение отрицательного воздействия (потенциальных) нарушений – инцидентов в предоставлении ИТуслуг, таким образом обеспечивая наиболее быстрое восстановление работы пользователей. Для выполнения этой задачи производится регистрация, классификация и назначение инцидентов соответствующим группам специалистов, мониторинг хода работ по разрешению инцидентов, решение инцидентов и их закрытие. Так как эти процессы требуют тесного взаимодействия с пользователями, фокусной точкой Процесса Управления Инцидентами обычно является функция центра контактов пользователей с «внутренними» коллективами технических служб. Управление Инцидентами является важнейшей основой для работы других процессов управления ИТ-услугами, предоставляя ценную оперативную информацию об ошибках в работе ИТ-инфраструктуры.
Целью Процесса Управления Инцидентами является скорейшее восстановление нормального Уровня Услуг, определенного в Соглашении об Уровне Услуг, с минимально возможными потерями для деятельности организации и отдельных пользователей. Таким
77
образом, для успешного функционирования данного процесса необходимо уменьшать действие факторов, влияющих на нарушение крайних сроков устранения инцидента.
Поэтому в этом процессе часто встает задача выявления скрытых факторов, влияющих на нарушение крайних сроков устранения инцидента, т.е. задача нахождения скрытых ассоциативных правил, связанныхснарушениемкрайнихсроковвремениустраненияинцидента.
5.3. Процесс управления проблемами
Для выяснения корневых причин возникновения как существующих, так и потенциальных ошибок-инцидентов предоставления услуг, в рамках Процесса Управления Проблемами производится изучение инфраструктуры и имеющихся регистрационных данных, включая базу данных инцидентов. Такие исследования необходимы по причине сложного и распределенного характера инфраструктуры, когда связи между инцидентами не всегда бывают очевидными. Например, причиной инцидента могут стать сразу несколько ошибок, и в то же время несколько инцидентов могут быть связаны с одной и той же ошибкой. Вначале надо определить причину возникновения проблемы. После того, как корневая причина определена, проблема переходит в разряд известных ошибок и для устранения этой причины можно направить Запрос на Изменение. Но даже после этого известные ошибки будут отслеживаться, и контролироваться в рамках Процесса Управления Проблемами. Поэтому необходимо вести регистрацию всех идентифицированных известных ошибок, их симптомов и имеющихся решений.
Целью Процесса Управления Проблемами является установление корневой причины возникновения проблемы и, как следствие, предотвращение инцидентов. Управление Проблемами включает в себя проактивные (упреждающие) и реактивные виды деятельности. Задачей реактивных составляющих Процесса Управления Проблемами является выяснение корневой причины прошлых инцидентов и подготовка предложения по ее ликвидации. Проактивное Управление Проблемами помогает предотвратить инциденты путем определения слабых мест в инфраструктуре и подготовки предложений по ее усовершенствованию
78
Таким образом, в данном процессе встает задача анализа скрытых зависимостей между инцидентами для нахождения проблемы, с которыми эти инциденты связаны (для реактивного управления проблемами). Таким образом, встают задачи кластеризации инцидентов для нахождения групп, потенциально связанных с одной проблемой; классификации инцидентов с целью связывания их с уже обнаруженными проблемами.
Также здесь встает задача анализа ИТ-инфраструктуры в целом (для реактивного и проактивного управления проблемами), для нахождения моделей и элементов конфигурационных единиц, подверженных сбоям; обнаружения скрытых закономерностей между возникновением инцидента и другими событиями; обнаружения злоумышленников. Таким образом, встают задача классификации типов, моделей, элементов конфигурационных единиц с целью выявления ненадежных компонентов; обнаружения ассоциативных правил и последовательностей, связанных с возникновением инцидента; определения шаблонов в поведении пользователей, информации и нагрузки с целью обнаружения выбросов; обнаружения шаблонов действий, поведения информации, нагрузки «злоумышленник – обычный пользователь».
5.4. Процесс управления изменениями
Быстрое развитие ИТ-технологий и рынка ИТ-услуг привели к тому, что сегодня изменения инфраструктуры стали обычным делом. Однако опыт показывает, что инциденты, влияющие на биз- нес-приложения, часто бывают вызваны изменениями. Причины таких инцидентов могут быть различными: халатность сотрудников, недостаток ресурсов, недостаточная подготовка, слабый анализ воздействия изменения, несовершенство испытаний или «болезни роста». Если инциденты, связанные с изменениями, не будут контролироваться, из-под контроля может выйти все предоставление ИТ-услуг и сам бизнес. Число инцидентов может увеличиваться, каждый из них будет требовать принятия срочных мер, что в свою очередь может привести к возникновению новых инцидентов. Ежедневное планирование часто не в состоянии учитывать увеличивающуюся рабочую нагрузку. Это может повлиять на повседневную работу и на сопровождение ИТ-услуг.
79
Целью Процесса Управления Изменениями является руководство проведением изменений и ограничение числа инцидентов, вызванных изменениями.
Таким образом, в данном процессе встает задача прогнозирования поведения ИТ-инфраструктуры после проведения изменения. Эту задачу можно перефразировать так: нахождение в проектируемой ИТ-инфраструктуре шаблонов, которые приводили ранее к инцидентам или соответствуют известной проблеме.
5.5. Процесс управления активами и конфигурациями
Процесс Управления Конфигурациями помогает получать достоверную и актуальную информацию об ИТ-инфраструктуре. Важным в этой информации является то, что в нее входят данные не только о конкретных единицах конфигурации, но и о том, как они связаны друг с другом. Взаимоотношения и взаимосвязи между конфигурационными единицами составляют основу для анализа степени воздействия инцидентов, проблем, изменений и т. д. на ИТ-инфраструктуру. Процесс управления конфигурациями проверяет, правильно ли регистрируются изменения в ИТинфраструктуре, включая взаимоотношения между Конфигурационными Единицами, и ведет мониторинг статуса ИТ-компонентов чтобы гарантировать наличие точной информации о версиях существующих конфигурационных единиц.
Цель процесса Управления Конфигурациями — поддержка логической модели ИТ-инф-раструктуры и ИТ-услуг и предоставления информации о них другим бизнес-процессам. Это достигается посредством идентификации, мониторинга, контроля и предоставления информации о конфигурационных единицах и их версиях.
Таким образом, этот процесс (если в этом есть необходимость), обязан предоставить расширенную информацию о конфигурационном элементе, в том числе и скрытые знания, т.е. здесь встают, например, такие задачи: задача прогнозирования времени до следующего сбоя данной конфигурационной единицы; задача классификации конфигурационных единиц (принадлежит ли этот элемент к какой-то определенной, неочевидной группе) и т.д.
Выводы по результатам анализа процессов управления ИТ-
услугами. Анализ распространенных процессов управления ИТ
80