ATT00025-Экспертные оценки от Анохина

≈ 0,67 .

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

Коэффициент согласия

W = 4 (6 +10 + 3 + 0 +1+ 0 + 0 + 3 + 0 +1+10 + 6) 5 4 4 3

Отметим, что зачастую метод парных сравнений применяется для того, чтобы в конечном счете получить достаточно обоснованное ранжирование или относительные значимости для большого числа объектов экспертизы. В разделе 3.3.1 показано, что в подобных случаях в процессе парных сравнений указывается не только факт превосходства, но и степень превосходства одного объекта над другим. При этом элементы матрицы парных сравнений могут принимать значения π ij={1/9...9, и т.д.}. Очевидно, что наиболее логичным подходом в таких случаях является анализ согласованности не самих парных сравнений, а ранжирований или векторов относительных значимостей, вычисленных на основе матриц парных сравнений (методы преобразования и анализа согласованности приведены в предыдущих разделах).

5.2.5. Согласованность классификаций

Пусть n объектов подлежали разбиению на k классов. Каждым из m экспертов формируется вектор идентификаторов C ={ci | i=1... n}, где ci – класс, к которому отнесен i-й объект.

Таблица 19

Матрица разногласий

Классы	1	2	...	j	...	k
1	x11	x12	...	x1j	...	x1k
2	x21	x22	...	x2 j	...	x2k
...	...	...	...	...	...	...
i	xi1	xi2	...	xij	...	xik
...	...	...	...	...	...	...
k	xk1	xk2	...	xkj	...	xkk

111

ГЛАВА 5

Для анализа согласованности классификаций используются информационные меры, основанные на энтропии. Известны два показателя – информационный показатель и коэффициент ассоциации, предназначенные для оценки согласованности классификаций двух экспертов.

Рассмотрим процедуры вычисления показателей согласованности классификаций, сделанных экспертами µи ν. На основании векторов идентификаторов Cµ и Cν сформируем матрицу разногласий X={xij | i, j =1... k }, элементы которой xij отражают число объектов, отнесенных µ-м экспертом к i-му классу, а ν-м экспертом – к j-му классу (табл. 19). На рис. 24 приведен пример формирования матрицы разногласий для двух экспертов, классифицировавших 6 объектов по трем классам (классы обозначены идентификаторами 1, 2, 3).

Объекты	Классы
ai	ѵ	Ñν
1	3	2
2	1	2
3	2	3
4	2	2
5	3	3
6	3	3

Матрица разногласий

Класс	1	2	3
1	-	1	-
2	-	1	1
3	-	1	2

Рис. 24. Формирование матрицы разногласий

	Введем вероятности
	P(i) = 1n ∑k		xij , P( j) =	1n ∑k xij	, P(i, j) =	xij
						n
	j	=	1	=
				i 1
	и вычислим на их основе энтропии
	H1= −∑k P(i) log2 P(i) , H2 = − ∑k P( j ) log2 P( j ) ,
	i =1			j =1

112

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

H3 = −∑k ∑

k P(i, j ) log2 P(i, j) .

i =1 j =1

Тогда информационный показатель согласованности

Hµν =

H1

+ H2 − H3

.

(16)

H1

Диапазон значений – H

[0,1]. Значение H=1 соответствует пол-

ному совпадению классификаций, а H=0, если оценки абсолютно слу-

чайны.

Приведем пример анализа согласованности классификаций.

Пусть 56 объектов

подлежали разбие-

Матрица разногласий

Таблица 20

нию на 4 класса – A,

B, C и D. Матрица

Классы

A

B

C

D

P(i)

разногласий двух эк-

A

10

2

0

0

12/56

спертов, принимав-

B

1

18

1

0

20/56

ших участие в экс-

пертизе, и соответ-

C

0

3

17

0

20/56

ствующие

вероят-

D

0

0

1

3

4/56

ности приведены в

P( j)

11/56

23/56

19/56

3/56

табл. 20. Вычислим

энтропии

H = −( 12

log

2

12

+ 20 log

2

20

+

20 log

2

20 +

4

log

2

4 )

=1,81;

1

56

56

56

56

56

56

56

56

H2 = 1,75 ;

H3 = 2,43

1,81+1,75 − 2,43 ≈ 0,62 .

и показатель согласованности (16)

H =

1,81

Отметим, что для экспертного оценивания довольно характерна ситуация, когда эксперт затрудняется высказать суждение по поводу некоторых объектов, считая их либо несравнимыми, либо не укладывающимися в предложенную шкалу или классификацию. Такие случаи являются наиболее «неприятными» для обработчика, т.к. требуют дополнительных преобразований результатов и уточнения процедур обработки. Предложенный В.Л. Устюжаниновым коэффициент ассоциации отражает информационную меру близости классификаций

113

ГЛАВА 5

двух экспертов именно в таких условиях неполных оценок. Коэффи-

циент ассоциации

Sµν =

2 xµν

,

(17)

n

nν

n log

1+

+ n

ν

log

1+

µ

2

n

µ

2

n

µ

ν

где xµν – количество объектов, отнесенных обоими экспертами к од-

ному классу (сумма диагональных элементов матрицы раз-

ногласий –

xµν= ∑k

xii );

i =1

nµ, nν – количество объектов, оцененных µ-м и ν-м экспертами со-

ответственно.

Диапазон значений – S

[0,1]. Значение S=1 соответствует полно-

му совпадению классификаций.

Помимо указанных показателей необходимо упомянуть еще об одном – коэффициенте вариации классов, предназначенном для оценки согласованности мнений всех экспертов о классе одного объекта. Для его вычисления используется процедура, аналогичная вычислению коэффициента вариации рангов (см. п. 5.2.2) (при этом вместо таблицы распределения рангов формируется аналогичная таблица распределения классов).

5.2.6. Согласованность абсолютных оценок

Пусть n объектов подлежали непосредственному оцениванию. Полученные в результате экспертизы векторы оценок объединим в матрицу X={xij | i =1... n, j =1...m}.

Аналогично относительным значимостям для анализа согласованности абсолютных оценок могут быть использованы показатели вариации. Как уже отмечалось ранее, относительные значимости нельзя рассматривать в качестве независимых самостоятельных величин. В то же время абсолютные оценки совершенно не зависят друг от друга, вследствие чего для их анализа и обработки используются обычные статистические методы. Анализ согласованности абсолют-

114

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

ных оценок выполняется с помощью коэффициента корреляции, отражающего согласованность мнений двух экспертов.

Коэффициент корреляции оценок µ-го и ν-го экспертов

ρ µν =

Kµν

,

(18)

S S

µ ν

где Kµν= 1n ∑n

(xiµ− xµ)(xiν − xν ) – коэффициент ковариации;

i =1

x

µ

=

1

∑n x

iµ

– среднее арифметическое оценок µ-го эксперта

n

i =1

−

(аналогично для xν);

S

µ

=

1 ∑n (x

− x

µ

)2 – стандартное отклонение оценок µ-го эк-

n i =1

iµ

сперта (аналогично для Sν).

Диапазон значений – ρ [–1, 1]. Значение, близкое к нулю, свиде-

тельствует о независимости оценок экспертов. Близость ρ к единице

соответствует совпадению (ρ =1) или полной противоположности

(ρ

= –1) оценок.

5.3. Выделение высокосогласованных подгрупп

Использование экспертных оценок почти наверняка сопряжено с совмещением отличающимися друг от друга (а то и полярных) взглядов на проблему Эти отличия обусловлены различной квалификацией, мотивацией, мировоззрением и образом профессионального мира привлекаемых экспертов. Обобщать такие мнения в единое целое – все равно, что вычислять «среднюю температуру по госпиталю». Чтобы избежать такого обобщения, необходимо уметь выявлять и отделять основные точки зрения на проблему с последующим разделением экспертов на группы, отражающие данные точки зрения. Настоящую задачу можно рассматривать как задачу нечеткой классификации, решение которой относится к области многомерного статистического анализа.

115

ГЛАВА 5

Известные в статистике методы классификации предполагают две постановки этой задачи:

классификация при полностью описанных классах, состоящая в вы-

работке на основе имеющихся данных правила, позволяющего некоторый новый объект отнести к одному из существующих классов, если заведомо неизвестно, какому из них он принадлежит;

классификация при неизвестных классах (классификация без обу-

чения), состоящая в разбиении объектов на классы, столь различные между собой, сколь это возможно.

Наиболее популярным методом решения задач первого типа является дискриминантный анализ, предполагающий, что должны иметься значения n переменных для m объектов, полученные в результате наблюдений. Кроме того, должна быть известна принадлежность каждого объекта к одному из двух или более классов. В процессе дискриминантного анализа подбирается такая линейная комбинация переменных, которая бы максимально разделила все классы. Эта комбинация служит основой правила, позволяющего отнести новый объект к одному из этих классов.

Для решения задач второго типа наиболее часто применяются кластерный и факторный анализ.

Кластерный анализ также сводится к разработке определенного правила, с помощью которого можно осуществлять разбиение объектов на группы (кластеры) так, чтобы каждый объект принадлежал только одной группе. В процессе группирования вычисляется так называемый коэффициент принадлежности

B = ρ−гр / ρ− ,

где ρ− гр – среднийгруппы; коэффициент корреляции между объектами одной ρ− – средний коэффициент корреляции объектов данной группы с

остальными объектами.

Сначала выделяются два объекта с наибольшим значением коэффициента корреляции между ними и вычисляется В-коэффициент. Затем к ним добавляется третий объект, максимально связанный с предыдущими, и снова вычисляется В-коэффициент. Процесс продолжается до тех пор, пока не произойдет резкого спада значения коэффициента. Объект, вызвавший этот спад, исключается из первой группы и рассматривается в качестве основы второй группы и т.д. Недостат-

116

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

	ком метода является отсутствие статистического критерия, позволя-
	ющего оценить произведенное разбиение.
	Факторный анализ основан на исследовании корреляционной ма-
	трицы объектов и синтезе гипотетических величин, называемых фак-
	торами и находящихся в определенной связи с определенными объек-
	тами. Факторы образуют простую структуру, достаточно точно от-
	ражающую и воспроизводящую реальные зависимости объектов. По
	существу, факторы определяют сравнительно далеко отстоящие друг
	от друга группы (классы) объектов, тесно связанных между собой.
	Известны также и другие методы классификации, такие как ана-
	лиз образов, основанный на исследовании коэффициентов множест-
	венной регрессии, анализ латентных структур, анализ группировок,
	основанный на коэффициентах ранговой корреляции, методы таксо-
	номии, использующие так называемые коэффициенты сходства в ка-
	честве мер близости объектов и др. По-прежнему, основным недостат-
	ком всех этих методов является отсутствие четкого статистического
	критерия, оценивающего однозначность произведенного разбиения.
	В работе [7] приводятся несколько эвристических методов класси-
	фикации экспертов в соответствии с высказанными ими суждениями
	(особенностью классификации экспертов является то, что их суждения
	чаще всего выражены в качественных, а не количественных шкалах).
	Основой первого метода является построение многоугольника,
	каждая вершина которого соответ-
	ствует определенному эксперту. Ве-		1
	ршины соединены друг с другом ли-
		8	2
	ниями двух типов, отражающими ко-
	эффициенты парной ранговой корре-
	ляции (КПРК), превышающие по мо-	7	3
	дулю некоторый уровень значения
	(рис. 25). Такой многоугольник на-
	глядно демонстрирует группы экс-
	пертов, тесно связанных между со-	6	4
	бой, а также экспертов, имеющих		5
	оригинальные независимые сужде-	Рис. 25. Многоугольник
	ния (вершины, соответствующие та-		ÊÏÐÊ:
	ким экспертам либо вообще не связа-	жирные линии –
	ны ни с какими другими, либо связа-	ρ ≥ +0,75;	тонкие линии –
	ны тонкими линиями).

117

ГЛАВА 5

Для классификации экспертных суждений, выраженных в количественных шкалах, предлагается следующий подход. Пусть m экспертов оценивали n объектов. Мнение каждого эксперта можно представить в виде точки в n-мерном пространстве. Если распределение точек окажется неравномерным, то среди экспертов существуют компактные высокосогласованные группы. В качестве показателя компактности вводится степень компактности k-й группы точек

Tk = mk / ∑i ri

где mk – количество точек в k-й группе;

ri – евклидово расстояние в n-мерном пространстве между каждой парой точек группы.

Выделение компактных групп выполняется в следующей последовательности. Выбирается одна из точек и находится точка, минимально удаленная от выбранной. Этой точке приписывается число, равное расстоянию до первой точки. После этого находится третья точка, которой приписывается число – расстояние до первых двух точек и т.д. до тех пор, пока расстояние не окажется существенно большим, чем предыдущие числа. Появление такого расстояния означает, что предшествующие точки относятся к одной компактной группе, а все последующие – к другой (другим). Описанный алгоритм работает только в том случае, если расстояние между компактными группами достаточно велико и значительно превышает расстояние между точками внутри групп.

Третий подход основан на построении и анализе поверхности в (n+1)-мерном пространстве, «рельеф» которой отражает распределение мнений экспертов. Для этого m точек, соответствующих мнениям экспертов, располагаются на n-мерной плоскости. Каждой точке ставится в соответствие некоторая функция, имеющая максимум в этой точке и убывающая по всем направлениям от нее, например,

ϕ (R) = 1+ α1 R2 ,

где α – коэффициент крутизны убывания;

R – евклидово расстояние на n-мерной плоскости между точкой, соответствующей мнению эксперта, и точкой, в которой вычисляется функция ϕ (R).

118

	ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК
	∑ϕ (R)		Введем (n+1)-ю координат-
			ную ось, на которую проециру-
			ется суммарное значение всех
			функций ϕ 1 (R) ... ϕ m(R). В резу-
			льтате получим «рельеф» (рис.
			26) с выраженными «вершина-
		R	ми», отражающими «сгущения»
			мнений экспертов, и «впадина-
	Рис. 26. «Рельеф» мнений
			ми» между ними. В изложенной
	экспертов
			постановке задача поиска вы-
			сокосогласованных групп экс-
	пертов сводится к задаче поиска экстремумов многомерной полимо-
	дальной функции.
	Далее в настоящем разделе предлагается эвристический алго-
	ритм выделения высокосогласованных групп экспертов. Описывае-
	мый алгоритм является дальнейшим развитием методики, основанной
	на многоугольнике КПРК, и позволяет решать задачу классификации
	при неизвестных классах. Рассмотрим его более подробно.
	Структурная схема алгоритма приведена на рис. 27. Пусть в экс-
	пертизе участвовали m экспертов. Вычислим значения коэффициен-
	тов парной ранговой корреляции (либо другие показатели парной со-
	гласованности мнений), из которых затем сформируем корреляцион-
	ную матрицу Ρ ={ρ ij |	i, j=1... m}, где ρ ij [–1, 1] – коэффициент пар-
	ной корреляции i-го и j	-го экспертов.
	Зададимся некоторым пороговым значением ρ пор, определяющим
	понятие «сильная» (или высокосогласованная) связь для каждой пары
	экспертов, коэффициент парной корреляции у которых превышает
	этот порог. Сформируем матрицу «сильных» связей (подобную мно-
	гоугольнику КПРК):
	H={hij | i, j =1... m},
	1, если ρ ij ≥ ρ	пор ,
	где hij ={
	0 – в противном случае.
	Выявим лидера первой высокосогласованной группы. Им являет-
	ся эксперт, имеющий наибольшее количество «сильных» связей (в мат-
	рице H ему соответствует строка		Hi , имеющая максимальную сум-
	му). Если таких экспертов несколько, то выберем первого из них.

119

		ГЛАВА 5
	Сформируем шаблон связей группы,		Формирование
	являющийся копией соответству-
			корреляционной
	ющей	лидеру строки матрицы H:	матрицы
	V=Hi .		'
	Просканируем весь список экс-
			Формирование
	пертов, добавляя в формируемую
			матрицы «сильных»
	группу тех экспертов, у которых не		связей
	менее 50% «сильных» связей совпа-		!
	дает со связями шаблона. Каждый
			'
	раз после добавления нового экспер-
			Выявление лидера
	та в группу шаблон корректируется:
			и формирование
	в него добавляются связи, «прине-		шаблона
	сенные» новым экспертом (иначе го-		!
	воря, выполняется дизъюнкция шаб-
			'
	лона и строки, соответствующей то-
			Добавление экспертов
	лько что добавленному эксперту:
			и корректировка
	V← V Hl ).		шаблона
	Если в процессе сканирования шаб-		'
	лон хоть раз изменялся, то сканирова-		Шаблон
	ние с добавлением новых экспертов в
			изменялся ?	Äà
	формируемую группу повторяется.
	Завершив предварительное фор-		'
	мирование группы, подсчитаем об-		Коррекция группы,
	щее число вошедших в нее экспертов и		анализ конкордации
	удалим тех из них, у кого общее коли-		'
	чество «сильных» связей составляет
			Åñòü åùå
	меньше 50% численности группы.
	Вычислим коэффициент конкорда-		эксперты ?	Äà
	ции W	откорректированной группы.
	Обнулим строки матрицы H, со-		Рис. 27. Структурная схема
	ответствующие экспертам, вошед-		алгоритма выделения высоко-
	шим в первую высокосогласован-		согласованных групп
	ную группу, после чего выявим лиде-
	ра второй группы, сформируем ее и т.д. до тех пор, пока в матрице H не
	останется ни одной ненулевой строки, и все эксперты не будут отнесе-
	ны к какой-либо из групп.
	Рассмотрим пример работы алгоритма. В табл. 21 приведена мат-

120