ATT00025-Экспертные оценки от Анохина

ФОРМИРОВАНИЕ МОДЕЛИ

Высокая корреляция между оценками априорно взаимозависимых
факторов свидетельствует о высокой достоверности экспертизы и
внутренней непротиворечивости модели. Если же факторы по замыс-
лу аналитика ортогональны, но между их оценками обнаружена силь-
ная корреляция, то это говорит либо о неадекватном восприятии экс-
пертами данных факторов, либо
(что более вероятно) о структур-
ной неполноте построенной моде-		Управление
ли. Рассмотрим пример, иллюст-
рирующий подобную ситуацию.	f1	f2 f3		f4 f5	f6
Неполнота модели прояви-
лась в экспертном анализе «Уп-	&	&	&		&
равление». Целью этого анализа
	Штатные			Аномальные
было выявление наиболее слож-
	задачи			задачи
ных, с точки зрения работы чело-
века-оператора, технологических	Рис. 18. Иерархия факто-
задач управления атомной стан-	ров и объекты экспертного
цией. В качестве факторов, опре-	анализа «Управление»
деляющих сложность задачи, выс-
тупали (рис. 18)
1) объем основной информации, используемой в процессе решения
задачи ( f1);
2) объем косвенной и неявной информации ( f2);
3) степень достоверности оперативной технологической инфор-
мации ( f3);
4) эргономические и психологические условия деятельности ( f4);
5) требуемая быстрота реакции оператора ( f5);
6) опасность возможных негативных последствий ( f6).
Все анализируемые технологические задачи были разделены на
две обособленные и отдельно исследуемые группы:
1) группа штатных задач, не связанных с нарушениями технологи-
ческого процесса и функционирования энергоблока – A={ak|k=1...14};
2) группа аномальных задач, возникающих вследствие аварий-
ных или нештатных ситуаций на блоке – B		={bk | k=1...15}.

Эксперты должны были указать относительные веса анализируемых задач в пределах своей группы (напомним, что каждая группа анализировалась отдельно) по каждому из исследуемых факторов.

41

ГЛАВА 2

Обозначим относительные веса задач по i-му фактору через Xi= ={xik | k=1...14 – для штатных задач; k=1...15 – для аномальных задач}.

Взаимная корреляция факторов fi и fj характеризуется коэффициентом ранговой корреляции оценок Xi и Xj – d(Xi, Xj )=ρ [–1,1], а общая связность факторов – коэффициентом конкордации – W [0,1].

Полученные 15 коэффициентов ранговой корреляции и коэффициент конкордации факторов для группы штатных задач (рис. 19,а) демонстрируют слабую зависимость факторов друг от друга и крайне низкую их связность. Учитывая, что по замыслу аналитика и постановщика экспертизы факторы являются ортогональными, можно сделать вывод, что эксперты также достаточно четко («контрастно») различают их и способны давать независимые оценки технологических задач по каждому отдельно взятому фактору.

Противоположная картина наблюдается для группы аномальных задач (рис. 19,б). Высокая ранговая корреляция и конкордация факторов означает, что ранг любой задачи практически одинаков по всем факторам. Иначе говоря, независимо от точки зрения, с которой эксперт «смотрит» на задачу, ее «удел» (относительный вес и ранг) зара-

N							N
6			W=0,14				6		W=0,83
5							5
4							4
3							3
2							2
1							1
0	-0,8	-0,4	0	0,4	0,8	ρ	0	0,6	0,8	1	ρ
		à)							á)
Рис. 19. Гистограммы значений коэффициентов парной ранговой
	корреляции факторов для штатных (à) и аномальных (á) задач

42

ФОРМИРОВАНИЕ МОДЕЛИ

нее предрешен. Однако экспертиза штатных задач показала, что эксперты способны разносторонне подходить к анализу задачи и видеть четкое различие между факторами. Следовательно, при оценке аномальных задач эксперты фактически руководствовались каким-то другим, не учтенным в данной модели фактором. Несравненно более высокая мощность (вес) этого фактора оказала подавляющее влияние на все остальные факторы, в результате чего для них были получены слишком «зашумленные» оценки. Исходя из контекста экспертизы, этим неучтенным фактором может быть «изученность аномальной ситуации», «наличие опыта работы с задачей» или просто «страх перед аварией».

Перечислим еще раз основные методы управления базовыми свойствами эвристической модели, влияющими на ее качество:

построение иерархии факторов, позволяющей снизить абстрактность модели, повышая при этом ее достоверность и целостность, но вместе с тем увеличивая сложность;

введение априорно коррелирующих (избыточных) факторов, позволяющих устранить основные противоречия в модели и обеспечить ее адекватное восприятие за счет некоторого увеличения избыточности;

анализ ортогональных (некоррелирующих) факторов, позволяю-

щий обнаружить неполноту модели, ведущую к снижению ее прагматичности.

Выводы

1.Многочисленные подходы к построению абстрактных моделей можно условно разделить на две категории – формальные и эвристические. Формальные направлены на строгое обоснованное количественное описание объекта исследования; эвристические больше служат для структурного упорядочения и субъективного качественного анализа объектов.

2.В современном системном анализе предложен ряд методов эвристического моделирования, сложившихся в ходе решения стратегических задач. Наиболее известные методы можно объединить в две группы – матричные (морфологический метод, метод QUEST, метод решающих матриц) и графовые (методы PATTERN, SEER, метод

43

ГЛАВА 2

прогнозного графа, метод анализа иерархий).

3. Унифицируя процедуру построения эвристических моделей, можно выделить четыре основных этапа: структурирование предметной области и основных свойств; идентификация факторов, действующих в проблеме; выявление взаимосвязей и построение иерархии факторов; формулирование критерия, определяющего анализируемую проблему.

4. Оценка значений факторов, образующих листья иерархии, выполняется экспертами. Остальные факторы (включая корень) рассматриваются как линейные свертки порожденных ими семейств с учетом значимости каждого фактора семейства.

5. Наиболее значимыми свойствами эвристической модели, влияющими на ее качество, являются ингерентность (согласованность со средой); полнота (однозначность идентификации всех состояний объекта и проблемы); абстрактность (степень обобщенности); целостность (внутренняя защищенность и непротиворечивость); адекватность (соответствие поставленной цели).

6. В качестве методов управления качеством модели могут рассматриваться построение иерархии факторов, снижающее абстрактность модели; введение избыточных факторов, поддерживающих целостность модели; анализ ортогональных факторов, выявляющий неполноту модели.

44

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

Глава 3

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

Цель постановки экспертного опроса состоит в формализованном описании процедуры получения экспертных оценок. Так как экспертный анализ может объединять несколько разнородных экспертиз, в ходе которых исследуются различные группы объектов и применяются разные способы оценивания, постановка должна выполняться как для всего экспертного анализа в целом, так и для каждой экспертизы в отдельности.

Постановка экспертизы включает в себя идентификацию объектов экспертизы, подлежащих оцениванию;

выбор критерия оценки объектов экспертизы и формулирование предложения (вопроса), раскрывающего этот критерий эксперту и позволяющего ему выявить смысл своих оценок;

разработку и описание шкалы оценок;

выбор способа оценивания.

После того, как все экспертизы сформированы, выполняется постановка экспертного анализа, состоящая в разработке, изготовлении и тиражировании анкет экспертного опроса.

Рассмотрим отдельные постановочные этапы более подробно.

3.1. Объекты экспертизы и формулирование вопроса

Как было показано в предыдущей главе, модель проблемы в экспертном анализе представляет собой совокупность исследуемых объектов предметной области и иерархию факторов, действующих в

45

ГЛАВА 3

проблеме. Решение проблемы (экспертный анализ) при этом состоит в поступательном движении исследователя вверх по иерархии факторов: сначала определяются значения факторов-листьев; затем вычисляются (как линейные свертки) значения вышестоящих терминальных факторов и так далее до достижения фактора-корня иерархии. Заметим, что в качестве исходной информации для этого движения служат

значения, принимаемые факторами-листьями для анализируемых объектов предметной области;

весовые коэффициенты терминальных факторов внутри своего семейства.

Источником этой информации служат экспертные суждения, а в качестве объектов экспертизы при этом могут выступать

исследуемые объекты или явления предметной области (предметом такой экспертизы является оценивание интенсивности проявления одного из факторов-листьев для каждого из этих объектов);

факторы одного семейства иерархии (предмет экспертизы – оценивание их относительной важности).

Отметим, что в соответствии с данным определением понятия «объект предметной области» и «объект экспертизы» неидентичны.

Формулирование вопроса является одним из наиболее тонких и важных моментов подготовки экспертизы. Эксперт, как правило, не посвящен в тонкости моделирования, методов обработки, шкал измерения и других специальных разделов экспертного анализа. Для него вопрос является воплощением всех стараний постановщика экспертизы сделать ее как можно более эффективной. Даже при адекватных модели, шкале и способе оценивания неправильно сформулированный вопрос может испортить все дело. Рассмотрим основные формы и принципы формулирования вопросов.

По форме различают следующие виды вопросов: открытые и закрытые; прямые и косвенные.

Вопрос называется открытым (свободным), если ответ на него ничем не регламентирован и может быть дан в любой форме. Вопрос называется закрытым, если в его формулировке содержатся варианты возможных альтернативных ответов и эксперт должен выбрать один из них. Разновидностью закрытого вопроса является дихотомический, предполагающий ответ«да-нет».

46

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

Косвенные вопросы используются, чтобы замаскировать цель экспертизы в тех случаях, когда нет твердой уверенности, что эксперт не заинтересован в объективном освещении проблемы или что он сумеет (захочет) дать определенную информацию. Необходимо отметить, что косвенный вопрос – не единственный способ маскировки цели. Аналогичного, даже более эффективного результата можно добиться введением группы дополнительных факторов, косвенно характеризующих исследуемое явление (см. рис. 17).

В табл. 2 приведены основные правила и примеры формулирования вопроса. Источником этих правил является механизм распознавания и запоминания информации человеком, исследуемый когнитивной психологией.

3.2. Шкалы

Проектирование шкал относится к одному из разделов теории измерений. Измерение – это алгоритмическая операция, которая данному объекту (процессу, явлению, состоянию, фактору и т.д.) ставит в соответствие определенное обозначение: число, номер или символ.

Пусть экспертному оцениванию (измерению) подлежат объекты А={ai | i =1... n}, на множестве которых определено некоторое отношение RA (например, отношение предпочтения, когда в любой паре объектов можно выделить один, являющийся более предпочтительным). Рассмотрим две проблемы, связанные с разработкой шкал.

Измеримость. Проблема измеримости состоит в определении числовой системы (шкалы), в которую гомоморфно отображается система <A,RA>. Если такая шкала существует, то система <A,RA> измерима.

Единственность. Проблема единственности состоит в определении множества шкал, в которые может быть гомоморфно отображена система <A, RA>. Указанное множество характеризуется видом преобразования, переводящего одну шкалу множества в другую. К числу таких преобразований относится тождественное преобразование, преобразование подобия, сдвига, линейное преобразование, монотонное и взаимно-однозначное преобразование и др.

Поясним проблему единственности на примере. Пусть температура некоторого тела измерена по шкалам Цельсия, Фаренгейта и Кель-

47

ГЛАВА 3

Таблица 2

Основные принципы формулирования вопроса

1. В постановке вопроса должен быть		Оцените в баллах (от 1 до 5) индиви-
отражен смысл оцениваемого фак-		дуальную способность каждого из пе-
тора, независимо от того, излагался		речисленных операторов сохранять
ли он в каком-либо другом месте		высокое качество работы под влияни-
анкеты или обсуждался в устном об-		ем стресса
щении с экспертом
2. Формулировка должна быть конкре-		Каждый из перечисленных операто-
тной насколько это возможно, крат-		ров обладает индивидуальной ñïî-
кой и «сухой». При получении пред-		собностью противостоять стрессу и
ложения со сложной структурой его		сохранять высокое качество работы.
лучше разделить на два простых,		Оцените эту способностьв баллах
связав их «каркасными» словами		(îò 1 äî 5) (два предложения связаны
		«каркасным» словом «способность»)
3. Вопросы должны содержать по воз-		Оцените в баллах (от 1 до 5) индиви-
можности	только положительные	дуальную способность каждого из пе-
предложения, а не отрицания, т.к.		речисленных операторов неснижать
логическое	обращение смысла в	качество работы под влиянием стрес-
процессе его восприятия сильно за-		ñà (предложение содержит отрица-
трудняет работу		ние «не снижать»; вместо него лучше
		использовать положительное «сохра-
4. Если вопрос не содержит отрицаний		нять», истинность которого и оцени-
и является положительным, то, в пе-		вается экспертом в баллах)
рвую очередь, экспертом проверя-
ется его истинность, а уже потом -
ложность (и наоборот, если предло-
жение содержит отрицание, то быс-
трее проверяется его ложность)
5. Формулировка вопроса должна со-		Оцените в баллах (от 1 до 5), насколь-
ответствовать способу и шкале оце-		ко сильно повлияет стресс на качест-
нивания. Недопустима инверсия шка-		во работы каждого из перечисленных
лы в процессе оценивания – возрас-		операторов (объект исследования –
тание оценки должно соответство-		оператор, анализируемое качество –
вать возрастанию уровня проявле-		способность противостоять стрессу;
ния оцениваемого качества (факто-		чем «лучше» оператор, тем сильнее
ðà)		это качество и выше должна быть оце-
		нка; согласно приведенной форму-
		лировке, высокая оценка соответ-
		ствует «плохому» оператору – шкала
		инвертирована)
6. Формулировать вопрос лучше в ак-		Оцените в баллах (от 1 до 5), насколь-
тивном залоге, а не в пассивном, т.к.		ко каждый из перечисленных опера-
активный залог сохраняет причин-		торов подверженвлиянию стресса и
но-следственный порядок следова-		склонен к снижению качества работы
ния информации и потому прочнее		(пассивный залог, инверсия шкалы)
удерживается в оперативной памяти

48

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

вина. Одному и тому же измеряемому объекту – температуре тела – соответствуют три различных численных значения. При этом переход от одного значения к другому (а следовательно, от одной шкалы к другой, отличающейся началом отсчета (нулем) и единицей масштаба) осуществляется с помощью линейного преобразования. Таким образом, измерение температуры тела единственно с точностью до линейного преобразования.

Перечислим основные классификационные признаки шкал: начало отсчета; единица масштаба; тип отношения, определенного на шкале; вид эквивалентного преобразования и допустимые операции над оценками. Перейдем теперь к описанию основных типов шкал.

3.2.1. Качественные шкалы

Номинальная шкала (шкала наименований, классификационная шкала). Шкала, в которой значения определяются с точностью до вза- имно-однозначных преобразований ϕ (x).

Суть оценки объектов в номинальной шкале – разбиение их на классы эквивалентности. Каждому классу ставится в соответствие определенное обозначение. Оценка объекта состоит в определении его принадлежности к тому или иному классу и присвоении соответствующего обзначения.

Номинальные шкалы обычно используются для классификации дискретных явлений. Для обозначения классов могут использоваться слова – названия (географические названия, имена, диагнозы), символы (гербы, флаги, эмблемы), номера (разряды, сорта, автомобильные и телефонные номера, номера на майке спортсмена) и др.

Определенную сложность представляет обработка оценок, зафиксированных в номинальной шкале (очевидно, что даже номера, внешне выглядящие как числа, на самом деле числами не являются и не подлежат даже сравнению). C номинальными оценками можно выполнять только операцию проверки их совпадения или несовпадения:

δ ={1, если ci =cj,

i j 0 – в противном случае,

где δ ij – символ Кронекера, ci, cj – оценки в номинальной шкале объектов ai и aj соответственно.

49

ГЛАВА 3

Нечеткая шкала (лингвистическая). Шкала, в которой значения определяются с точностью до эквивалентных лингвистических преобразований ϕ (x).

Оценка объектов в нечеткой шкале состоит в определении их принадлежности одному из нечетких множеств (классов), совокупность которых образует нечеткую (лингвистическую) шкалу.

Степень принадлежности объекта ai нечеткому множеству cj выражается числом 0 ≤ µ c j (ai ) ≤ 1. Величина µc j (ai ), рассматриваемая как функция аргумента ai , называется функцией принадлежности. На рис. 20 приведены примеры функций принадлежности к четырем нечетким понятиям (множествам), образующим лингвистическую переменную «возраст».

c(a)	ñ1=þíûé	ñ2=молодой		ñ3=средний			ñ4-пожилой
1
0 0	10	20	30	40	50	60	a,ãîäû
Рис. 20. Нечеткая шкала для определения возраста

В строгом смысле использование нечеткой шкалы не обеспечивает гомоморфного отображения системы <A, RA>, т.к. не исключены ситуации, когда один и тот же объект может принадлежать одновременно нескольким нечетким понятиям (множествам).

Операции с нечеткими оценками аналогичны операциям с оценками в номинальной шкале.

Порядковая шкала (ранговая шкала). Шкала, в которой численные значения определяются с точностью до монотонных преобразований ϕ (x).

50