4. Olap и DataMining

Интеллектуальный анализ данных выполняется методами, характерными для систем OLAP, извлечение сведений о зависимостях и закономерностях, имеющихся в данных, осуществляется с помощью систем Data Mining.

Задачи, решаемые Data Mining:

1. Классификация — отнесение входного вектора (объекта, события, наблюдения) к одному из заранее известных классов.

2. Кластеризация — разделение множества входных векторов на группы (кластеры) по степени «похожести» друг на друга.

3. Сокращение описания — для визуализации данных, упрощения счета и интерпретации, сжатия объемов собираемой и хранимой информации.

4. Ассоциация — поиск повторяющихся образцов. Например, поиск «устойчивых связей в корзине покупателя».

5. Прогнозирование – нахождение будущих состояний объекта на основании предыдущих состояний (исторических данных)

6. Анализ отклонений — например, выявление нетипичной сетевой активности позволяет обнаружить вредоносные программы.

7. Визуализация данных.

5. Эволюционные методы. Генетические алгоритмы.

Эволюционные вычисления – термин, обычно используемый для общего описания алгоритмов поиска, оптимизации или обучения, основанных на формализованных принципах естественного эволюционного процесса.

Выделяют следующие направления эволюционных методов:

1. Эволюционные стратегии. Метод оптимизации, основанный на идеях адаптации и эволюции. Степень мутации в данном случае меняется со временем – это приводит к, так называемой, самоадаптации.

2. Генетическое программирование. Применение эволюционного подхода к популяции программ.

3. Эволюционное программирование. Процесс построения программ строится как эволюция в мире программ.

4. Генетические алгоритмы. Генетический алгоритм – это алгоритм, который позволяет найти удовлетворительное решение к аналитически неразрешимым или сложно решаемым проблемам через последовательный подбор и комбинирование искомых параметров с использованием механизмов, напоминающих биологическую эволюцию.

5. Теорию муравьиных колоний. Эти алгоритмы основаны на применении нескольких агентов и обладают специфическими свойствами, присущими муравьям, и используют их для ориентации в физическом пространстве. Алгоритмы поведения муравья используются для решения не только статичных, но и динамических проблем, например, в изменяющихся сетях.

Достоинства эволюционных вычислений:

• широкая область применения;

• возможность проблемно-ориентированного кодирования решений, подбора начальной популяции, комбинирования эволюционных вычислений с не эволюционными алгоритмами, продолжения процесса эволюции до тех пор, пока имеются необходимые ресурсы;

• пригодность для поиска в сложном пространстве решений большой размерности;

• отсутствие ограничений на вид целевой функции;

• ясность схемы и базовых принципов эволюционных вычислений;

• интегрируемость эволюционных вычислений с другими неклассическими парадигмами искусственного интеллекта, такими как искусственные нейросети и нечеткая логика.

Недостатки эволюционных вычислений:

• эвристический характер эволюционных вычислений не гарантирует оптимальности полученного решения;

• относительно высокая вычислительная трудоемкость, которая однако преодолевается за счет распараллеливания на уровне организации эволюционных вычислений и на уровне их непосредственной реализации в вычислительной системе;

• относительно невысокая эффективность на заключительных фазах моделирования эволюции.

Генетические алгоритмы

Генетические алгоритмы возникли в результате наблюдения и попыток копирования естественных процессов, происходящих в мире живых организмов, в частности, эволюции и связанной с ней селекции (естественного отбора) популяций живых существ.

В генетических алгоритмах применяется ряд терминов, заимствованных из генетики, прежде всего гены и хромосомы, а также популяция, особь, аллель, генотип, фенотип.

Генетические алгоритмы применяются для решения следующих задач:

• оптимизации функций;

• разнообразные задачи на графах (задача коммивояжера, раскраска, нахождение паросочетаний);

• настройка и обучение искусственной нейронной сети;

• задачи компоновки;

• составление расписаний;

• игровые стратегии;

• аппроксимация функций;

• искусственная жизнь;

• биоинформатика.

Фактически генетические алгоритмы максимизируют многопараметрические функции. Поэтому их область применения столь широка. Все приведённые задачи решаются именно путём формирования функции, зависящей от некоторого числа параметров, глобальный максимум которой будет соответствовать решению задачи.