Тема 2.4 Информационные техно­логии управления Информационные технологии экспертных систем

Экспертная система-система искусственного интеллекта, включающая базу знаний с набором правил и механизмом вывода, позволяющим на основании правил и предоставляемых пользователем фактов распознать ситуацию, поставить диагноз, сформулировать решение или дать рекомендацию для выбора действия.

Экспертные системы дают возможность менеджеру получать не­обходимую информацию для принятия решений по любым пробле­мам при наличии необходимой базы знаний.(http://dudikhin.narod.ru/ise/6a.htm)

Экспертные системы имеют непосредственное отношение к об­ласти «искусственного интеллекта». Но сюда относится также и создание роботов, систем, моделирующих интеллектуальные спо­собности человека.

На рис. 20. приводится классификация информационных интел­лектуальных систем [10].

Экспертные системы (ЭС) возникли как теоретический и прак­тический результат применения и развития методов искусственного интеллекта с использованием ЭВМ. Это набор программ, выпол­няющий функции эксперта при решении задач из некоторой пред­метной области. ЭС выдают советы, проводят анализ, дают кон­сультации, ставят диагноз. Практическое применение ЭС на предприятиях способствует повышению эффективности работы и ква­лификации специалистов.

Рис. 20. Классификация информационных интеллектуальных систем

Главным достоинством экспертных систем (ЭС) является возможность накопления знаний и их долгосрочное сохранение. В отличие от человека к лю­бой информации экспертные системы подходят объективно, что улучшает качество проводимой экспертизы. При решении задач, тре­бующих обработки большого объема знаний, возможность возникно­вения ошибки при переборе очень мала.

Основным отличием ЭС от других программных продуктов яв­ляется использование не только данных, но и знаний, а также спе­циального механизма вывода решений и новых знаний на основе имеющихся. Знания в ЭС представляются в такой форме, которая может быть легко обработана на ЭВМ. В ЭС известен алгоритм об­работки знаний, а не решения задачи. Поэтому при решении кон­кретной задачи применение алгоритма обработки знаний может привести к получению такого результата , который не был преду­смотрен. Более того, алгоритм обработки знаний заранее неизвестен и строится по ходу решения задачи на основании эвристиче­ских правил. Решение задачи в ЭС сопровождается понятными пользователю объяснениями, качество получаемых решений обычно не хуже, а иногда и лучше достигаемого специалистами. В систе­мах, основанных на знаниях, правила, по которым решаются про­блемы в конкретной предметной области, хранятся в базе знаний. Проблемы ставятся перед системой в виде совокупности фактов.

Качество ЭС определяется размером и качеством базы знаний (правил или эвристик). Система функционирует в следующем цик­лическом режиме: выбор (запрос) данных или результатов анализов, наблюдения, интерпретация результатов, усвоение новой информа­ции, выдвижение с помощью правил временных гипотез и затем выбор следующей порции данных или результатов анализов. Про­цесс продолжается до тех пор, пока не поступит информация, дос­таточная для окончательного заключения.

В любой момент времени в системе существует три типа знаний:

1. структурированные — статистические знания о предметной области. После того как эти знания выявлены, они уже не изменя­ются;

2. структурированные динамические — изменяемые знания о предметной области. Они обновляются по мере выявления новой информации;

3. рабочие — знания, применяемые для решения конкретной задачи или проведения консультации.

Эти знания хранятся в базе знаний. Для ее построения требует­ся провести опрос специалистов, являющихся экспертами в кон­кретной предметной области, а затем систематизировать, организо­вать и снабдить эти знания указателями, чтобы впоследствии их можно было легко извлечь из базы знаний.

Системы, основанные на знаниях, строятся по модульному принципу, что позволяет постепенно наращивать их базы знаний.

Компьютерные системы, которые могут лишь повторить логи­ческий вывод эксперта, принято относить к ЭС первого по­коления. Однако специалисту, решающему интеллектуально сложную задачу, явно недостаточно возможностей системы, кото­рая лишь имитирует деятельность человека. Ему нужно, чтобы ЭС выполняла функции полноценного помощника и советчика, спо­собного проводить анализ нечисловых данных, выдвигать и отбра­сывать гипотезы, оценивать достоверность фактов, самостоятельно пополнять свои знания, контролировать их непротиворечивость, делать заключения на основе прецедентов и, может быть, даже по­рождать решение новых, ранее не рассматриваемых задач. Наличие таких возможностей характерно для ЭС второго поколе­ния, концепцию которых начали разрабатывать 9—10 лет назад. Экспертные системы, относящиеся ко второму поколению, назы­вают партнерскими, или усилителями интеллектуальных способно­стей человека. Их общими отличительными чертами является уме­ние обучаться и развиваться, т.е. эволюционировать.

В экспертных системах первого поколения знания представлены следующим образом:

1. знаниями системы являются только знаниями эксперта, опыт накопления знаний не предусматривается;

2. методы представления знаний позволяют описывать лишь статические предметные области;

3. модели представления знаний ориентированы на простые области.

Представление знаний в экспертных системах второго поколе­ния следующее:

1. используются не поверхностные знания, а более глубинные, возможно дополнение предметной области;

2. ЭС может решать задачи динамической базы данных пред­метной области.

Области применения систем, основанных на знаниях, могут быть сгруппированы в несколько основных классов: прогнозирова­ние, планирование, контроль и управление, обучение, диагностика неисправностей в механических и электрических устройствах, ме­дицинская диагностика.

Прогнозирующие системы предсказывают возможные результа­ты или события на основе данных о текущем состоянии объекта. Программная система «Завоевание Уолл-стрит» может проанализи­ровать конъюнктуру рынка и с помощью статистических методов алгоритмов разработать план капиталовложений на перспективу.

Прогнозирующие системы уже сегодня могут предсказывать по­году, урожайность и поток пассажиров.

Планирующие системы предназначены для достижения кон­кретных целей при решении задач с большим числом переменных, дамасская фирма Informat впервые в торговой практике предостав­ляет в распоряжение покупателей 13 рабочих станций, установленных в холле своего офиса, на которых проводятся бесплатные 15-минутные консультации, с целью помочь покупателям выбрать компьютер, в наибольшей степени отвечающий их потребностям и бюджету.

Системы, основанные на знаниях, могут применяться в качест­ве интеллектуальных систем контроля и принимать решения, ана­лизируя данные, поступающие от нескольких источников. Такие системы уже работают на автономных электростанциях, управляют движением воздушных судов и осуществляют медицинский кон­троль. Они могут быть также полезны при регулировании финансо­вой деятельности предприятия и оказывать помощь при выработке решений в критических ситуациях.

Системы, основанные на знаниях, могут входить составной ча­стью в компьютерные системы обучения. Система получает инфор­мацию о деятельности некоторого объекта (например, студента) и анализирует его поведение. База знаний изменяется в соответствии с поведением объекта. Примером этого обучения может служить компьютерная игра, сложность которой увеличивается по мере воз­растания квалификации играющего.

Большинство ЭС включают знания, по содержанию которых их можно отнести одновременно к нескольким типам. Например, обу­чающая система может также обладать знаниями, позволяющими выполнять диагностику и планирование. Она определяет способно­сти обучаемого по основным направлениям курса, а затем с учетом полученных данных составляет учебный план. Управляющая систе­ма может применяться для целей контроля, диагностики, прогнози­рования и планирования.

Существует ряд прикладных задач, которые решаются с помо­щью систем, основанных на знаниях, более успешно, чем любыми другими средствами. При определении целесообразности приме­нения таких систем нужно руководствоваться следующими крите­риями.

1. Данные и знания надежны и не меняются со временем.

2. Пространство возможных решений относительно невелико.

3. В процессе решения задачи должны использоваться формаль­ные рассуждения. Существуют системы, основанные на знаниях, пока еще не пригодные для решения задач методами проведения аналогий или абстрагирования (человеческий мозг справляется с этим лучше). Традиционные компьютерные программы оказывают­ся эффективнее систем, основанных на знаниях, в тех случаях, ко­гда решение задачи связано с применением процедурного анализа. Системы, основанные на знаниях, более подходят для решения за­дач, где требуются формальные рассуждения.

4. Должен быть по крайней мере один эксперт, который спосо­бен явно формулировать свои знания и объяснять методы приме­нения этих знаний для решения задач.

В целом ЭС не рекомендуется применять для решения следую­щих типов задач:

• математических, решаемых обычным путем формальных преобразований и процедурного анализа;

• задач распознавания, поскольку в общем случае они реша­ются численными методами;

• задач, знания о методах решения которых отсутствуют (не­возможно построить базу знаний).

Системы, основанные на знаниях, имеют определенные пре­имущества перед человеком-экспертом.

1. У них нет предубеждений.

2. Они не делают поспешных выводов.

3. Эти системы работают систематизирование, рассматривая все детали, часто выбирая наилучшую альтернативу из всех возможных.

4. База знаний может быть очень и очень большой. Будучи введены в машину один раз, знания сохраняются навсегда. Человек же имеет ограниченную базу знаний, и если данные долгое время не используются, то они забываются и навсегда теряются.

5. Системы, основанные на знаниях, устойчивы к «помехам». Эксперт пользуется побочными знаниями и легко поддается влия­нию внешних факторов, которые непосредственно не связаны с решаемой задачей. ЭС, не обремененные знаниями из других об­ластей, по своей природе менее подвержены «шумам». Со временем системы, основанные на знаниях, могут рассматриваться пользова­телями как разновидность тиражирования — новый способ записи и распространения знаний. Подобно другим видам компьютерных программ они не могут заменить человека в решении задач, а ско­рее напоминают орудия труда, которые дают ему возможность ре­шать задачи быстрее и эффективнее.

6. Эти системы не заменяют специалиста, а являются инстру­ментом в его руках.

При создании ЭС возникает ряд затруднений. Это связано пре­жде всего с тем, что заказчик не всегда может достаточно точно сформулировать свои требования к разрабатываемой системе. Так­же возможно возникновение трудностей чисто психологического характера: при создании базы знаний системы эксперт может пре­пятствовать передаче своих знаний, опасаясь, что впоследствии его заменят «машиной». Но эти страхи не обоснованы, так как ЭС не способны обучаться, они не обладают здравым смыслом, интуици­ей. Но в настоящее время ведутся разработки экспертных систем, реа­лизующих идею самообучения. Также ЭС неприменимы в больших предметных областях и в тех областях, где отсутствуют эксперты.

Экспертная система состоит из базы знаний (части системы, в которой содержатся факты), подсистемы вывода (множества правил, по которым осуществляется решение задачи), подсистемы объясне­ния, подсистемы приобретения знаний и диалогового процессора.

База знаний — это совокупность моделей, правил и факторов, данных, порождающих анализ и выводы для нахождения решений сложных задач в некоторой предметной областиСегодня создается целый спектр баз знаний — от небольших по объему до мощных, предназначенных для профессионалов, экс­плуатирующих сложные, технически оснащенные ЭВМ. (http://www.piter-press.ru/attachment.php?barcode=978594723449&at=exc&n=0)Совершен­ствование создаваемых баз знаний делает их доступными для мас­сового пользователя с превращением их в коммерческий продукт(http://www.seobuilding.ru/wiki/%D0%91%D0%B0%D0%B7%D0%B0_%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B9)

Технология OLAP

OLAP (англ. online analytical processing, аналитическая обработка в реальном времени) — технология обработки информации, включающая составление и динамическую публикацию отчётов и документов. Используется аналитиками для быстрой обработки сложных запросов к базе данных. Служит для подготовки бизнес-отчётов по продажам, маркетингу, в целях управления, т. н. data mining — добыча данных (способ анализа информации в базе данных с целью отыскания аномалий и трендов без выяснения смыслового значения записей).

Основоположник термина OLAP, Эдгар Кодд, предложил в 1993 году «12 законов аналитической обработки в реальном времени».

Причина использования OLAP для обработки запросов — это скорость. Реляционные БД хранят сущности в отдельных таблицах, которые обычно хорошо нормализованы. Эта структура удобна для операционных БД (системы OLTP), но сложные многотабличные запросы в ней выполняются относительно медленно.

OLAP-структура, созданная из рабочих данных, называется OLAP-куб. Куб создаётся из соединения таблиц с применением схемы звезды или схемы снежинки. В центре схемы звезды находится таблица фактов, которая содержит ключевые факты, по которым делаются запросы. Множественные таблицы с измерениями присоединены к таблице фактов. Эти таблицы показывают, как могут анализироваться агрегированные реляционные данные. Количество возможных агрегирований определяется количеством способов, которыми первоначальные данные могут быть иерархически отображены.

Например, все клиенты могут быть сгруппированы по городам или по регионам страны (Запад, Восток, Север и т. д.), таким образом, 50 городов, 8 регионов и 2 страны составят 3 уровня иерархии с 60 членами. Также клиенты могут быть объединены по отношению к продукции; если существуют 250 продуктов по 2 категориям, 3 группы продукции и 3 производственных подразделения, то количество агрегатов составит 16560. При добавлении измерений в схему, количество возможных вариантов быстро достигает десятков миллионов и более.

OLAP-куб содержит в себе базовые данные и информацию об измерениях (агрегатах). Куб потенциально содержит всю информацию, которая может потребоваться для ответов на любые запросы. Из-за громадного количества агрегатов, зачастую полный расчёт происходит только для некоторых измерений, для остальных же производится «по требованию».

Вместе с базовой концепцией существуют три типа OLAP — OLAP со многими измерениями (Multidimensional OLAP — MOLAP), реляционный OLAP (Relational OLAP — ROLAP) и гибридный OLAP (Hybrid OLAP — HOLAP). MOLAP — это классическая форма OLAP, так что её часто называют просто OLAP. Она использует суммирующую БД, специальный вариант процессора пространственных БД и создаёт требуемую пространственную схему данных с сохранением как базовых данных, так и агрегатов. ROLAP работает напрямую с реляционным хранилищем, факты и таблицы с измерениями хранятся в реляционных таблицах, и для хранения агрегатов создаются дополнительные реляционные таблицы. HOLAP использует реляционные таблицы для хранения базовых данных и многомерные таблицы для агрегатов. Особым случаем ROLAP является ROLAP реального времени (Real-time ROLAP — R-ROLAP). В отличие от ROLAP в R-ROLAP для хранения агрегатов не создаются дополнительные реляционные таблицы, а агрегаты рассчитываются в момент запроса. При этом многомерный запрос к OLAP-системе автоматически преобразуется в SQL-запрос к реляционным данным.

Каждый тип хранения имеет определённые преимущества, хотя есть разногласия в их оценке у разных производителей. MOLAP лучше всего подходит для небольших наборов данных, он быстро рассчитывает агрегаты и возвращает ответы, но при этом генерируются огромные объёмы данных. ROLAP оценивается как более масштабируемое решение, использующее к тому же наименьшее возможное пространство. При этом скорость обработки значительно снижается. HOLAP находится посреди этих двух подходов, он достаточно хорошо масштабируется и быстро обрабатывается. Архитектура R-ROLAP позволяет производить многомерный анализ OLTP-данных в режиме реального времени.

Сложность в применении OLAP состоит в создании запросов, выборе базовых данных и разработке схемы, в результате чего большинство современных продуктов OLAP поставляются вместе с огромным количеством предварительно настроенных запросов. Другая проблема — в базовых данных. Они должны быть полными и непротиворечивыми.

C технической точки зрения, представленные на рынке продукты делятся на «физический OLAP» ((M)ultidimensional) OLAP, ((H)ybrid OLAP) и «виртуальный» ((R)elational OLAP).

В первом случае наличествует программа, на этапе предварительной загрузки данных в OLAP из источников выполняющая предварительный расчёт агрегатов (вычислений по нескольким исходным значениям, например «Итог за месяц»), которые затем сохраняются в специальную многомерную БД, обеспечивающую быстрое извлечение. Примеры таких продуктов — Microsoft Analysis Services, Oracle OLAP Option, Oracle/Hyperion Essbase, Prognoz, SAS OLAP Server, Cognos PowerPlay. Hybrid OLAP является комбинацией. Сами данные хранятся в реляционной БД, а агрегаты — в многомерной БД.

Во втором случае данные хранятся в реляционных СУБД, а агрегаты могут не существовать вообще или создаваться по первому запросу в СУБД или кэше аналитического ПО. Примеры таких продуктов — SAS, SAP BW, Deductor, BusinessObjects, Microstrategy.

Системы, имеющие в своей основе «физический OLAP» обеспечивают стабильно лучшее время отклика на запросы, чем системы «виртуальный OLAP». Поставщики систем «виртуальный OLAP» заявляют о большей масштабируемости их продуктов в плане поддержки очень больших объемов данных. С точки зрения пользователя оба варианта выглядят похожими по возможностям. Наибольшее применение OLAP находит в продуктах для бизнес-планирования и хранилищах данных.( http://ru.wikipedia.org/wiki/OLAP)

Технология OLTP

OLTP (Online Transaction Processing) — обработка транзакций в реальном времени. Способ организации БД, при котором система работает с небольшими по размерам транзакциями, но идущими большим потоком, и при этом клиенту требуется от системы максимально быстрое время ответа.

Термин OLTP применяют также к системам (приложениям). OLTP-системы предназначены для ввода, структурированного хранения и обработки информации (операций, документов) в режиме реального времени.

OLTP-приложениями охватывается широкий спектр задач во многих отраслях — банковские и биржевые операции, в промышленности — регистрация прохождения детали на конвейере, фиксация в статистике посещений очередного посетителя веб-сайта, автоматизация бухгалтерского, складского учёта и учёта документов и т. п. Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как ввод заказов и банковские транзакции. OLTP-системы проектируются, настраиваются и оптимизируются для выполнения максимального количества транзакций за короткие промежутки времени. Как правило, большой гибкости здесь не требуется, и чаще всего используется фиксированный набор надёжных и безопасных методов ввода, модификации, удаления данных и выпуска оперативной отчётности. Показателем эффективности является количество транзакций, выполняемых за секунду. Обычно аналитические возможности OLTP-систем сильно ограничены (либо вообще отсутствуют).

OLTP-системы оптимизированы для небольших дискретных транзакций. А вот запросы на некую комплексную информацию (к примеру поквартальная динамика объемов продаж по определённой модели товара в определённом филиале), характерные для аналитических приложений (OLAP), породят сложные соединения таблиц и просмотр таблиц целиком. На один такой запрос уйдет масса времени и компьютерных ресурсов, что затормозит обработку текущих транзакций. http://ru.wikipedia.org/wiki/OLTP