ATT00025-Экспертные оценки от Анохина

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

объектов a1			... an . Если значения элементов вектора предпочтений раз-
личны (т.е. для любых i, j =1... n выполняется λ i ≠ λ j ), получаем про-
стое упорядочение (ранжирование). Однако в общем случае векторы
предпочтений не всегда соответствуют ранжированиям.
		В вектор предпочтений может быть преобразована информация, по-
лучаемая от эксперта в методах парных и множественных сравнений.
		Метод гиперупорядочения. Эксперту предлагается не только про-
ранжировать объекты, но и упорядочить разности их оценок.
									Так, например, ес-
								→	ли объекты a1...a4 упо-
									рядочены как a3 → a1
	x4		x2 x1			x3
								x	→ a2 → a4 , а разности
		Рис. 22. Гиперупорядочение объектов							их оценок как ∆ 24 >

>∆ 31>∆ 12, то расположение оценок объек-

тов x1... x4 на числовой прямой имеет вид, показанный на рис. 22.

Способы ранжирования разностей оценок объектов аналогичны способам ранжирования самих объектов.

3.3.2. Способы количественного оценивания

Метод непосредственной численной оценки. Эксперту предъявля-

ется весь набор объектов. Если цель экспертизы – количественная оценка или оценка их сравнительной предпочтительности, то эксперт ставит в соответствие каждому объекту ai число xi , характеризующее его предпочтительность или интенсивность проявления анализируемого свойства (зная численную оценку объекта, можно затем получить и сравнительную оценку предпочтительности для каждой пары или группы объектов). Если цель экспертизы – разбиение объектов на классы, то для каждого объекта эксперт указывает численную оценку степени его принадлежности к определенному классу (нечеткому множеству).

Отметим, что для численных оценок каждая пара объектов сравнима и не возникает случаев нетранзитивности. Известны два особых способа численной оценки.

В первом способе применяется оценивание объектов в баллах. При

61

ГЛАВА 3

этом диапазон изменения оцениваемого свойства объекта разбивает-
ся на несколько интервалов, каждому из которых присваивается опре-
деленная оценка (балл). Задача эксперта заключается в помещении
каждого из рассматриваемых объектов в определенный оценочный
интервал. Иногда экспертам разрешается уточнять оценки, указывая
числа, расположенные между балльными значениями.
Второй способ – метод средней точки – применим при достаточно
большом наборе объектов. Пусть экспертом указаны наиболее и наи-
менее предпочтительные объекты a1 и a2 . Далее эксперту предлагает-
ся указать объект a3 , по предпочтительности расположенный точно
между a1	и a2, т.е. такой объект a3, что x3= (x1+ x2 )/2. Затем эксперту
предлагается указать объекты, расположенные по предпочтительнос-
ти точно между a1 и a3 , между a3 и a2 и т.д. Процесс заканчивается,
когда оценок объектов оказывается достаточно для получения кривой.
Метод Черчмена-Акофа (метод последовательных сравнений). В
этом методе предлагается последовательная корректировка оценок,
указанных экспертом. Метод базируется на следующих основных
предположениях:
1) каждому объекту ai ставится в соответствие действительное
неотрицательное число xi ;
2) если объект ai предпочтительнее объекта aj , то xi >xj , если же
объекты ai и aj равноценны, то xi =xj ;
3) если xi и xj – оценки объектов ai и aj , то xi + xj соответствует со-
вместному проявлению (сумме) объектов ai и aj (наиболее сильным яв-
ляется последнее предположение об аддитивности оценок объектов).
Согласно методу Черчмена-Акофа объекты a1... an ранжируются
по предпочтительности. Пусть для удобства изложения объект a1 наи-
более предпочтителен, за ним следует a2 и т.д. Эксперт указывает
предварительные численные оценки xi для каждого из объектов. Наи-
более предпочтительному приписывается оценка 1, остальные оценки
располагаются между 0 и 1 в соответствии с предпочтительностью
других объектов.
Затем эксперт производит сравнение объекта a1 и суммы объектов
a2 ... an . Если a1 предпочтительнее, чем все остальные вместе взятые,
то эксперт корректирует оценки так, чтобы выполнялось
x1>	∑n xi
i	= 2

62

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

(корректировка может производиться как увеличением оценки x1, так
и пропорциональным уменьшением оценок x2 ... xn ). В противном слу-
чае оценки корректируются так, чтобы выполнялось
x1 ≤ ∑n	xi .
i =	2
Если объект a1 оказался менее предпочтительным, то для уточне-
ния оценок он сравнивается по предпочтению с суммой объектов
a2... an–1 и т.д. После того, как объект a1 оказывается предпочтитель-
ней суммы объектов a2 ... ak (k≥ 2), он исключается из рассмотрения, а
вместо оценки объекта a1 рассматривается и корректируется оценка
объекта a2	. Процесс продолжается до тех пор, пока откорректирован-
ными не окажутся оценки всех объектов.
При достаточно большом числе объектов применение метода Чер-
чмена-Акофа становится слишком трудоемким. В этом случае целе-
сообразно разбить объекты на группы, а один из объектов (например,
наиболее предпочтительный) включить во все группы. Это позволяет
получить численные оценки всех объектов с помощью оценивания
объектов внутри каждой из групп.
Метод Черчмена-Акофа можно использовать при измерениях в
шкале гиперпорядка и во всех количественных шкалах. В некоторых
случаях метод модифицируется. Так, при измерении в шкале отноше-
ний определяется наиболее предпочтительный объект, которому при-
сваивается максимальная оценка. Для всех остальных объектов экс-
перт указывает, во сколько раз они менее предпочтительны, чем мак-
симальный. Для корректировки оценок можно использовать как стан-
дартную процедуру метода Черчмена-Акофа, так и попарное сравне-
ние предпочтительности объектов.
Метод Терстоуна. Основой метода являются парные сравнения,
используемые для оценки предпочтительности объектов. Предпола-
гается, что парные сравнения выполняются относительно большим
числом экспертов (m ≥ 25).
Обозначим через si j частоту выбора объекта ai в качестве более
предпочтительного при сравнении с объектом aj :
s ij = ∑m π kij m ,
k =1

63

ГЛАВА 3

где π k

{0, 1} – относительная предпочтительность объекта a

i

перед

i j

объектом aj , указанная k-м экспертом.

В этом случае оценка xi каждого из рассматриваемых объектов

является случайной величиной, отдельные реализации которой оцени-

вает каждый из m экспертов. При большом числе экспертов эта слу-

чайная величина предполагается распределенной по нормальному за-

кону с математическим ожиданием M

и дисперсией σ 2 . Разность слу-

i

i

чайных величин xi и xj также распределена по нормальному закону с

параметрами

M

=M –M , σ2 = σ 2

+σ2

–2ρ

ij

σ

σ

,

ij

i

j

ij

i

j

i

j

где ρ ij

– коэффициент корреляции между xi и xj .

Нашей задачей является определение величин Mi , которые в этом

случае и выбираются в качестве численных оценок объектов по значе-

ниям частот si j . Частота sij

характеризуется вероятностью того, что

xi >xj

:

∞

−

( t−Mi j )2

1

2

s

ij

= P ( x

i

> x

j

) =

e

2

σi j

dt

.

2π σ

i j

∫

0

С помощью таблицы квантилей нормального распределения опре-

деляем отношение Mi j / σi j . Получаем n(n –1)/2 уравнений

M − M

j

=

Mi j

σ

2

+ σ2

− 2 ρ

i j

σ

i

σ

j

,

i

σ i j

i

j

называемых уравнениями сравнительного суждения. Число неизвест-

ных в системе больше числа уравнений. Делая дополнительные пред-

положения, а именно полагая ρ

ij

= 0 (оценки не коррелируют между со-

бой),

σi

= σj

и выбрав в качестве единицы шкалы √ 2σi , получаем пере-

определенную систему уравнений

Mi

– Mj

=Mij /σij .

Строго говоря, метод Терстоуна относится больше к методам статистической обработки оценок, полученных в результате парных сравнений.

Метод фон Неймана-Моргенштерна. В основе метода лежит пред-

64

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

положение, согласно которому эксперт для любого объекта aj , менее предпочтительного, чем ai , но более предпочтительного, чем al (т.е. ai → aj→ al ), может указать число p ( p [0, 1]) такое, что объект aj эквивалентен смешанному объекту (вероятностной смеси) [ pai ,(1–p)al ]. Смешанный объект состоит в том, что объект ai выбирается с вероятностью p, а объект al – с вероятностью 1– p. Очевидно, что если p достаточно близко к 1, то объект aj менее предпочтителен, чем смешанный объект [ pai, (1–p) al ]; если p достаточно близко к 0, то объект aj более предпочтителен, чем смешанный объект [ pai, (1–p)al ].

Развитие данного подхода состоит в дополнительных предположениях о свойствах смешанных и несмешанных объектов. К числу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности объектов; предположение о том, что смешанный объект [ pai , (1– p) al ] предпочтительнее, чем [ p'ai , (1–p' )al ], если p>p' и др. Если указанные предположения выполнены, то для каждого объекта a1... an определяются числа x1... xn , характеризующие численную оценку смешанных объектов. Численная оценка смешанного объекта [ p1a1, ..., pnan ] равна x1 p1+...+xn pn. Смешанный объект [ p1 a1, ..., pn an ] предпочтительнее, чем смешанный объект [ p'1a1, ..., p'n an ], если x1 p1+ ...+xn pn >x1 p'1+...+ xn p'n .

Таким образом, устанавливается существование функции полез- ности x1 p1+ ... + xn pn , значение которой характеризует степень предпочтительности любого смешанного объекта, а в частности, и не смешанного.

3.3.3. Выбор способа оценивания

Очевидно, что выбор метода получения экспертных оценок определяется, в первую очередь, характером анализируемой информации и типом шкалы, в которой производится измерение. В табл. 5 для каждого метода оценивания указаны максимально строгие из допустимых в нем типов шкал измерения.

Если оправданы лишь качественные оценки предпочтительности объектов или разбиение их на классы по тем или иным качественным признакам, то необходимо использовать парные и множественные сравнения, классификацию, ранжирование и т.д. Отметим, что ранжи-

65

ГЛАВА 3

Соответствие шкал и способов оценивания		Таблица 5
Метод	Шкала
Методы классификации	Номинальная
Метод множественных сравнений, методы ран-	Порядковая
жирования, метод векторов предпочтения
Метод парных сравнений, метод гиперупорядо-	Гиперпорядковая
чения
Метод непосредственной оценки, метод Черч-	Абсолютная
мена-Акофа, метод Терстоуна, метод фон-Ней-
мана-Моргенштерна

рование применяется в следующих ситуациях:

1) когда необходимо упорядочить какие-либо объекты во времени или в пространстве (при этом неинтересна степень выраженности ка- кого-либо их свойства);

2) когда нужно упорядочить объекты в соответствии с каким-либо свойством, но при этом не требуется производить его точное измерение; 3) когда какое-либо свойство в принципе измеримо, однако в настоящий момент не может быть измерено по причинам практического

или теоретического характера.

Если характер анализируемой информации таков, что целесообразно получать численные оценки сравнительной предпочтительности объектов, то используется тот или иной метод количественной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Черчмена-Акофа и фон Неймана-Моргенштерна.

Другим важным критерием выбора способа оценивания является число объектов экспертизы. Известно, что для лучшей согласованности и точности эксперту не следует одновременно сравнивать более 7±2 объектов. В реальных ситуациях объектов зачастую бывает намного больше.

Наилучшим способом декомпозиции процедуры экспертного оценивания являются парные сравнения, структурирующие процесс до минимально возможного уровня – сравнения двух объектов. Однако

66

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

это может обернуться огромным объемом рутинной работы для эксперта, т.к. рост числа объектов сопровождается нелинейным (квадратичным) ростом количества сравниваемых пар. При оценке 20-30-ти объектов могут использоваться описанные выше способы ранжирования. Как отмечалось ранее, при большом числе объектов весьма эффективными могут оказаться множественные сравнения, позволяющие разделить весь набор объектов на группы разумных размеров, подлежащие самостоятельному анализу.

Среди количественных методов только непосредственная численная оценка никак не ограничена количеством объектов, т.к. эксперт работает с каждым из них в отдельности, независимо от остальных. Остальные же количественные методы при работе с большим числом объектов (превышающим 7) становятся крайне сложными, запутанными и малоэффективными.

3.4. Анкета

Анкета – это средство, с помощью которого осуществляется сбор и кодирование экспертной информации. Разработка анкеты является последним подготовительным этапом в организации экспертного анализа. Специфика анкеты состоит прежде всего в том, что работать с ней предстоит самым разным категориям людей (экспертам, специалистам по обработке, аналитикам) и об удобстве и эффективности работы каждого из них необходимо позаботиться заранее. Кроме того, анкета является документом, подлежащим пересылке, включению в отчет и хранению, что также определяет некоторые требования к ее форме и качеству. Рассмотрим основные рекомендации по разработке и изготовлению анкеты.

Прежде всего анкета должна быть структурно организована. Как правило, выделяются три структурных компонента анкеты: общая информация, объяснение и область заполнения.

Общая информация включает в себя идентификатор анкеты, присваиваемый постановщиком экс-

пертизы и используемый в дальнейшем в процедурах поиска, обработки и хранения (идентификатором может служить порядковый номер или более сложный буквенно-цифровой код с зашифрованной информацией об экспертизе, статусе анкеты, эксперте и т.д.);

67

ГЛАВА 3

идентификацию организации или коллектива, проводящего экспертный анализ (включая полное название, фирменную атрибутику и способы контакта – адрес, телефон, e-mail и др.);

сведения об эксперте, предназначенные для персонификации анкеты (если опрос неанонимный) и последующей классификации результатов.

Необходимость получения тех или иных сведений об эксперте определяется используемыми методами обработки оценок и предназначением этих сведений. Так, например, они могут использоваться для формирования рейтинговых показателей экспертов (в этом случае в качестве сведений выступают стаж работы, наличие регалий, степеней и званий, должность, показатели производственной деятельности и др.) либо для кластеризации результатов экспертизы (в этом случае важна профессиональная специализация эксперта, его исследовательские интересы, образование и другая информация, относящая эксперта к той или иной профессиональной или социальной группе).

Объяснение, выполняемое обычно в форме обращения к эксперту, должно раскрывать

смысл решаемой проблемы, цели и задачи экспертизы (назначение этого раздела – показать эксперту роль и место его работы в решении стоящей проблемы, а также указать на важность получаемой от него информации);

применяемые в данной анкете способы оценивания (особенно нуждается в комментариях метод парных сравнений – его следует описывать максимально подробно и наглядно);

порядок и последовательность заполнения анкеты, инструкции и советы, облегчающие работу;

полное описание и интерпретацию шкал, используемых в анкете. Желательно, чтобы обращение к эксперту было подписано руководителем экспертного анализа. Эксперт должен видеть за анкетой

конкретных специалистов, а не только безликую организацию. Область заполнения представляет собой совокупность таблиц,

которые должен заполнить эксперт, отвечая на поставленные вопросы. Помимо запланированных и структурированных оценок эксперт может также высказать в свободной неформализованной манере свое мнение, пояснения или комментарии по поводу проводимого экспертного анализа, используемой в нем модели или проблемы в целом. Для

68

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

фиксации этой информации в анкете необходимо предусмотреть спе-

циальное «поле для заметок».

В процессе изготовления и тиражирования анкеты необходимо учитывать следующее:

анкета должна иметь удобный для пересылки, хранения и работы с ней формат (обычно это форматы А3-А5), поля для переплета или подшивки;

информация в анкете должна размещаться с учетом порядка ее использования; особенно важно продумать размещение одновременно используемой информации – по крайней мере, она не должна быть помещена на разных оборотах листа;

анкета должна быть по возможности компактной и содержать как можно меньше второстепенной информации – эксперта может раздражать пространное изложение несущественных деталей;

необходимо эффективно управлять вниманием эксперта; средствами такого управления являются выделение областей, которые должен и которые не должен заполнять эксперт, использование цвета, специальных шрифтов и начертаний, композиционные приемы и др.; анкета должна быть достаточно привлекательной, качественно выполненной (для изготовления макета лучше использовать издательскую систему и принтер с высоким разрешением); нельзя жалеть уси-

лий для создания красивой формы.

Заметим, что анкетирование может проводиться и с помощью компьютера. Анкета при этом реализуется в виде совокупности панелей и последовательности вопросов, выводимых на экран. Заполнение такой анкеты может выполняться с помощью клавиатуры или манипулятора «мышь». Электронное анкетирование имеет ряд неоспоримых достоинств, в частности:

получаемая в результате экспертная информация уже закодирована, введена в компьютер, синтаксически корректна и подготовлена к дальнейшей автоматизированной обработке;

использование современных компьютерных сетей передачи информации позволяет быстро и эффективно контактировать с территориально удаленными экспертами.

Однако использование компьютера имеет и свои особенности: далеко не все люди психологически приспособлены к интеллекту-

альной работе с компьютером – некоторые предпочитают спокойный

69

ГЛАВА 3

мыслительный процесс за столом с карандашом и бумагой; в ряде случаев эксперту требуется параллельное представление

большого количества информации, не умещающейся одновременно на мониторе;

разработка хорошей электронной анкеты с контекстно-ориенти- рованной поддержкой эксперта требует значительных программистских усилий, что далеко не всегда оправдано экономически.

Выводы

1.Постановка экспертного опроса включает идентификацию объектов экспертизы, выбор критериев оценки, формулирование вопросов, разработку шкал, выбор способов оценивания, разработку и тиражирование анкеты.

2.В качестве объектов экспертизы выступают либо объекты предметной области, либо факторы одного семейства иерархии.

3.Различают следующие виды вопросов: открытые и закрытые; прямые и косвенные. Необходимо учитывать ряд правил при формулировании вопроса.

4.Из теории измерений известны две категории шкал: качественные (номинальная, нечеткая, порядковая, гиперпорядковая шкалы) и количественные ( шкалы интервалов, разностей, отношений, абсолютная, нелинейная). Выбор шкалы зависит от типа отношения, определенного на объектах экспертизы, и характера информации, которую может предоставить эксперт.

5.Оценивание может выполняться способами двух видов: качественного оценивания (методы классификации, парных сравнений, ранжирования, множественных сравнений, векторов предпочтения, гиперупорядочения) и количественного оценивания (методы непосредственной численной оценки, Черчмена-Акофа, Терстоуна, фон Неймана-Моргенштерна). Выбор способа определяется используемой шкалой и числом объектов экспертизы.

6.Структурная организация анкеты включает в себя общую информацию, объяснение, область заполнения. Необходимо придерживаться ряда рекомендаций при изготовлении анкеты.

70