11.7. Проверка качества баз знаний

Основным критерием проверки построенных баз знаний является степень совпадения решений, содержащихся в ней и принятых экспертом, который участвовал в создании этой базы знаний. Для небольших по размеру задач (порядка 100 диагностических правил) эксперт мог оценить каждую ситуацию. Через некоторое время (две — три недели) он строил ту же базу знаний с помощью разработанной человекомашинной системы. Появлялась возможность сравнить ответы экспертов, полученные двумя разными способами.

Эксперты, решавшие задачу с малым числом противоречий, т.е. имевшие четкие правила, показали почти полное совпадение своих решений. Для больших баз знаний сравнение проводилось по отдельным ситуациям; совпадение было практически полным. Следовательно, созданная база знаний служит хорошим отражением личности эксперта, его «двойником» в определенной предметной области.

12. Граничные элементы классификации

Построенную классификацию можно охарактеризовать с помощью граничных элементов. Назовем граничным элементом состояние, которое в соответствии с построенной классификацией: а) принадлежит множеству Э—П; б) может оказаться в другом классе при изменении только одного значения одного диагностического признака. Граничные элементы называются так потому, что они находятся на границе, между двумя классами решений (они имеют значения признаков, характерных для каждого из классов).

Отметим, что при построении классификации граничные элементы не могут быть проверены при помощи отношения доминирования по характерности, поэтому они предъявляются эксперту повторно после построения классификации. Оказывается, что граничные элементы могут быть применены для описания правил классификации, подсознательно используемых экспертами.

13. Решающие правила экспертов

Исследования показали [10], что граничные объекты классов могут быть достаточно точно описаны сравнительно небольшим числом правил, имеющих структуру дерева (рис. 9.1).

На рис. 9.1 верхний кружок (корень дерева) представляет совокупность значений диагностических признаков, наиболее важных для данного класса (с точки зрения эксперта). К ним добавляется определенное количество характерных для данного класса значений менее важных признаков (нижние кружки). Например, при пяти диагностических признаках правило для класса Р l может иметь вид: характерные для первого класса значения второго и четвертого признаков (они обязательно присутствуют), к которым нужно добавить любые два характерных для Р l значения из оставшихся трех признаков.

Рис. 9.1. Структура решающего правила

Важно отметить, что как полная совокупность граничных объектов, так и описывающие их решающие правила могут быть получены только при построении полной и непротиворечивой базы знаний, содержащей решения эксперта по отношению ко всем возможным объектам. Частичная база знаний не дает представления о фактических решающих правилах, используемых экспертом.

Эксперименты, проведенные с помощью системы ДИФ-КЛАСС в задачах дифференциальной диагностики, позволили получить новые данные о системах решающих правил, используемых экспертами [12, 13]. Эти результаты можно кратко характеризовать следующим образом.

1. Граничные элементы могут быть описаны набором простых по структуре диагностических правил.

2. Каждое из правил описывает часть граничных элементов, разделяющих классы решений.

3. Эксперт тратит на классификацию граничного элемента в два — три раза больше времени, чем на классификацию состояния объекта, находящегося внутри класса.

4. Количество решающих правил ограничено объемом кратковременной памяти и не превышает восьми.

5. Чаще всего решающее правило представляет собою дерево, построенное на значениях диагностических признаков. Наиболее существенные для класса решений значения находятся в корне этого дерева. К ним добавляется совокупность сочетаний значений других признаков (например, не более двух характерных значений для этого класса из четырех признаков).

6. Основными подсознательными операциями, выполняемыми экспертами, являются:

• выделение в описании объекта наиболее информативных значений признаков (соответствующих корню дерева);

• подсчет количества характерных для данного класса и равно-информативных значений других признаков.

Приведенные результаты позволяют понять, как эксперт осуществляет классификацию объектов, описываемых многими признаками. Наиболее вероятный, согласующийся с известными данными, процесс классификации состоит в следующем:

1) на основании многолетней практики эксперт «запасает» в своей долговременной памяти совокупность решающих правил, позволяющих описать границы классов решений. Число этих правил невелико и чаще всего не превышает объема кратковременной памяти;

2) при предъявлении очередного объекта эксперт «переносит» в кратковременную память решающие правила, сравнивает с ними объект и относит его к соответствующему классу решений. Если эти правила не позволяют классифицировать объект, он заменяет их другими из полного множества правил, заранее выработанных на основе своей долголетней практики.