В. Давнис Прогнозные модели экспертных предпочтений

					Т а б л и ц а 2.2
		Результаты опроса группы экспертов
	Объекты				Эксперты
			э,	э2	э
	А,		Л.	Ра	т
					Ры
	А,		Ри	Рп	Ръ,

А„

Л/

Рп2

р

Изложение формальной процедуры итерационного уточнения групповой оценки и коэффициентов компетентности начнем с обозначений:

Р — прямоугольная п х т матрица с элементами />.., представ­ ляющими собой оценки /-го объекта у'-м экспертом;

Р = (Р/, Р2> ••• РпУ ~~ в е к т 0 Р групповой оценки;

v= (v;, v2, ... vm)' — вектор весовых коэффициентов компе­ тентности;

р,.. — i-я строка матрицы Р; p v — у'-й столбец матрицы Р.

В качестве начального приближения весовых коэффициентов компетентности удобно взять вектор

V =(У,°, V», ..., Vй )'={]/, т У ,..., У ) ' ,

(2.П)

равенство компонент которого означает, что эксперты не разли­ чимы по уровню компетентности. С помощью этого вектора лег­ ко определяется групповая оценка

Р' = v,p., + v2p.2 + • • • +v„p.„, = Pv°

(2-12)

Затем полученные значения групповой оценки используются для уточнения коэффициентов компетентности. С этой целью строки матрицы Р умножаются на оценки первой итерации р1 и

суммируются
v1=Al.P,.+^P2.+ -+A1,.P,,-	( 2 Л З )

Так как коэффициенты компетентности являются нормирован­ ными величинами, то и полученный результат необходимо про­ нормировать, разделив его на сумму 30

Я = Sv y.	(2.14)
y'=i

После нормирования расчеты повторяются в той же последо­ вательности, образуя таким образом итерационную процедуру параллельных расчетов. В матричной форме эта процедура запи­ сывается следующим образом:

p ' = P v ' - ' ;	(2.15)
v ' = ^ [ p ' ] ' P .	(2.16)
Я	порядком со­
Если в (2.15) подставить (2.16) с измененным

множителей, а в (2.16) подставить (2.15), то окончательно ите­ рационный процесс записывается в виде

р ' ^ Р Р ' р ' 1 ;		(2.17)
	я'
v	P-Pv'"1.	(2.18)
	Я'

Так как столбцы матрицы Р в силу того, что получены с по­ мощью метода парных сравнений, неотрицательны, то и сама матрица неотрицательна и, следовательно, неотрицательны мат­ рицы РР' и Р'Р. Кроме того, можно показать [40], что в случае неразложимости Р они тоже неразложимы.

Таким образом, и групповая оценка значимости объектов р, и весовые коэффициенты компетентности экспертов v могут быть получены как характеристические векторы матриц РР' и Р'Р, при­ чем эти векторы являются предельными величинами

p=limp'- v=limv/ .

(2.19)

Как и в случае обработки матрицы парных сравнений, расчеты ведутся до достижения заданной точности. Если проводилась само­ оценка или взаимная оценка компетентности, полученные с помо­ щью итерационной процедуры результаты могут сравниваться с ними для уточнения общих характеристик экспертной группы.

В качестве примера рассмотрим ситуацию, предусматрива­ ющую вычисление групповой оценки коэффициентов относительной важности, позволяющих сравнивать между собой восемь объектов. Групповая оценка вычисляется по результатам индивидуального оценивания (табл. 2.3).

31

								Т а б л и ц а 2.3
		Индивидуальные экспертные оценки
Объекты				Эксперты
		1	2	3		4			5	6
	1
		0,3679	0,1840	0,3679		0,3679		0,3679		0,1840
	2	0,1840	0,3679	0,1226		0,0920		0,0920		0,3679
	3	0,1226	0,0920	0,1840		0,1840		0,1840		0,0920
	4	0,0920	0,1226	0,0613		0,1226		0,1226		0,1226
	5	0,0736	0,0736	0,0920		0,0613		0,0736		0,0736
	6	0,0613	0,0613	0,0736		0,0736		0,0526		0,0526
	7	0,0526	0,0526	0,0460		0,0460		0,0460		0,0613
	8	0,0460	0,0460	0,0526		0,0526		0,0613		0,0460
	0,6092	0,3159	0,2820	0,1918	0,1376		0,1170		0,0911	0,0951
	0,3159	0,3366	0,1467	0,1373		0,0914	0,0738		0,0657	0,0592
	0,2820	0,1467	0,1335	0,0903		0,0643	0,0547		0,0423	0,0447
РР'	0,1918	0,1373	0,0903	0,0724		0,0470	0,0396		0,0329	0,0327
	0,1376	0,0914	0,0643	0,0470		0,0339	0,0280		0,0227	0,0227
	0,1170	0,0738	0,0547	0,0396		0,0280	0,0239		0,0189	0,0190
	0,0911	0,0657	0,0423	0,0329		0,0227	0,0189		0,0156	0,0153
	0,0951	0,0592	0,0447	0,0327		0,0227	0,0190		0,0153	0,0156

0,2068	0,1720	0,2023	0,2000	0,2000	0,1719
0,1720	0,2068	0,1534	0,1474	0,1474	0,2067
0,2023	0,1534	0,2068	0,2040	0,2040	0,1531	)
Р'Р = 0,2000	0,1474	0,2040	0,2068	0,2064	0,1471
0,2000	0,1474	0,2040	0,2064	0,2068	0,1473
0,1719	0,2067	0,1531	0,1471	0,1473	0,2068	j

	0,3105		0,1759
	0,1996
	0,1445		0,1562
	0,1067	;	0,1717
Р -	0,0747		v - 0,1700
	0,0627		0,1701
	0,0506		0,1561
	0,0508

32

2.3. Проверка согласованности мнений экспертов

Не вызывает сомнений тезис о том, что групповые экспертные оценки должны отражать согласованное мнение экс­ пертов. Следовательно, перед формированием групповой оценки необходимо уточнить, можно ли для этих целей использовать полученные в результате опроса индивидуальные оценки. Выяс­ няется этот вопрос с помощью рангового коэффициента корре­ ляции и коэффициента конкордации. Эти коэффициенты приме­ нимы в тех случаях, когда результаты экспертного опроса представимы в ранговой шкале.

С помощью рангового коэффициента корреляции устанавливает­ ся теснота связи между двумя ранжированными рядами, интер­ претируемая как согласованность мнений двух экспертов. В прак­ тике анализа согласованности применяются два коэффициента: Спирмена и Кендалла.

Ранговый коэффициент корреляции Спирмена определяется формулой, аналогичной обычному коэффициенту корреляции

Р - ~ Ш Г ,

(2-20)

где Кп — величина ковариации между первой и второй ранжи­ ровками; Dr D2 — дисперсии ранжировок.

Ковариация и дисперсии вычисляются по данным ранжировок с использованием известных формул

1	"
^12=	rX(A-i-A)(A -2-/>2);		(2.21)
« - 1 i=i
^=-^ЪРШ-Р^	Р>=-£Р,>	k=l>2-	(2-22)

Рассмотрим случай, когда обе ранжировки не содержат связ­ ных рангов, т.е. когда нет повторяющихся рангов, и мы имеем строгое упорядочивание объектов. В этом случае средний ранг представляет собой сумму натуральных чисел от 1 до п, деленную на п, вне зависимости от порядка, задаваемого ранжировкой, т.е. средние равны между собой:

_ _ _	и(и + 1)	/г + 1		/т тал
P = Pi=P2=	7~ = ^Г~'		(	'
	п-2	2

33

При вычислении дисперсии, если произвести возведение в квад­ рат, то под знаком суммы будут стоять натуральные числа и их квадраты. Два ранжированных ряда одинаковой длины могут отли­ чаться друг от друга только перестановкой рангов, но сумма нату­ ральных чисел и их квадратов не зависит от порядка, в котором расположены слагаемые. Из этого вытекает, что дисперсии любых ранжировок, не имеющих связных рангов, равны между собой:

Д = Д = 1

л-1

1(л + 1)(2л + 1)и - 2р]п + р\п я^1 6

	п(п +1)		jfc=	1,2	(2.24)
12(я-1)		12
Если полученные выражения для Кп и D собрать вместе, под­
ставив их в (2.20), то выражение для рангового					коэффициента
корреляции примет следующий вид:
1	12	^(Рп-Р)(Р1г~Р)		=
п -1 п(п +1) %,
12	Х(Рм-/>)(Р,-2-Р)-				(2.25)

Дальнейшее упрощение формулы получается, если использовать легко проверяемое тождество

25>,.,-/>)(/>-,-/*) =

^Рп-РУ- + 1(Р,-Р)2-1(Рп-Р,Г-- (2.26)

Первые две суммы правой части (2.26) одинаковы и, как нетруд­ но понять, равны

1(Рп-рУ-	+ 1(Рп.-Р)2	=2(л" - п)	(2.27)
,=1	,-=•	12

Заменив в тождестве (2.26) первые две суммы полученной форму­

лой для их расчета (2.27), можем			записать
^(РП-Р)(Р,2-Р)	=	( И 3	- 7 1) 1		(2.28)
		12		•Х^Рп-Ра)1-
34				*• i = I

Подставив данное выражение в (2.25), имеем формулу коэффи­ циента корреляции Спирмена, удобную'для практических расчетов:

(2.29)

Г»-3 М ^ ~

Возможные значения коэффициента изменяются от — 1 до +1. Из формулы нетрудно понять, что р = 1 в тех случаях, когда ран­ жировки совпадают, т.е. рп = рааля всех /. Значение р = — 1 по­ лучается, если ранжировки имеют противоположный порядок. В отличие от предыдущего, это нетривиальный случай, требующий специального рассмотрения. Доказательство основано на подсчете суммы квадратов для нечетного и четного п.

Пусть п — нечетное. Тогда

Ё(А,-Р,2)2 =[(-(«-1))2 +- + И 2 ) + (-22) + 0 + 22 +42 +... + (,г-1)2] =

= 2 - 2 J 11+22+...+ л - 1		= 2 - 2 '	Гл-1 + 1 2(я -1) + 1 я - 1
: 2 - 2 '	я + 1	л - П	2(я + 1)я(я - 1) _ л	з _ и	(2.30)

Полученное выражение позволяет сделать вывод, что действи­ тельно, в случае обратных ранжировок при нечетном числе ран­ жируемых объектов коэффициент корреляции Спирмена равен

— 1. Покажем, что этот же самый результат получается и в слу­ чае четного числа ранжируемых объектов.

Для любого п, в том числе и четного, можно записать очевид­

ное соотношение
(л-1)3 -(л-1)	и 3 - л	(я~ —л)-	(2.31)
3	3

Пользуясь этим соотношением, сумму квадратов отклонений для четного числа ранжируемых объектов можно представить в

виде суммы для нечетного п и добавочного слагаемого
2j(Pn ~ Р-лУ = —г— + К" + 1) -(и +1)] =	• (2.32)

35

Таким образом, и для четного числа ранжируемых объектов (п + 1 четное) в случае обратных ранжировок коэффициент корре­ ляции Спирмена равен — 1.

Проиллюстрируем расчеты по формуле (2.29) числовым приме­ ром. Пусть два эксперта провели оценку сравнительной значимос­ ти семи объектов. Каждому объекту в соответствии с полученной оценкой приписали ранг. Требуется оценить с помощью рангового коэффициента уровень согласованности мнений экспертов. Получен­

	ные ранжировки и промежуточные расчеты					приведены в табл. 2.4.
						Т а б л и ц а		2.4
			Результаты ранжирования
	Эксперты			Объекты
		А,	А,	А,	\	А,	А,	А,
	э,
		2	1	4	3	5	7	6
	э2	1	2	5	4	3	6	7
	Рн-Ра	1	-1	-1	-1	2	1	-1
		1	1	1	1	4	1	1
	(Р„~Р,2)7
		п	- п \	Л	336	10 =0,821.

Полученная оценка рангового коэффициента корреляции явля­

ется случайной величиной и, следовательно, необходимо прове­ рить ее значимость. Для этого определяется порог, ниже которого коэффициент корреляции считается незначимым. Определение порога осуществляется в предположении, что имеет место неза­ висимость ранжировок, т.е. Н0 : р = 0. При выполнении нульгипотезы отклонения расчетных значений коэффициента корреля­ ции от нуля носят случайный характер и подчиняются нормаль­ ному распределению. Только в том случае, если отклонение ока­ жется очень большим, нуль-гипотеза отвергается, и коэффици­ ент корреляции считается значимым. Очень большим считается отклонение, превосходящее по величине установленный порог. Для определения порога S используется приближенная формула

8=- 1 Ч>	(2.33)
	2

в которой п — количество ранжированных объектов; а — вероят­ ность, задающая уровень возможной ошибки; у (х) = Ф~'(х) — функция, обратная функции нормального закона распределения.

36

В практических расчетах чаше всего а = 0,05. В аргумент функции вероятность а входит деленной на 2, так как отклоне­ ния коэффициента корреляции от нуля возможны в обе стороны (двусторонний критерий).

Определим пороговое значение для нашего примера

1 „Л .	0,05	1	-440,975) = 0,800.
д=-^Ч'\ 1-	2
V6		2,449

Так как р = 0,821 > 0,800 = 8, то нуль-гипотеза о независи­ мости экспертных мнений отвергается, а коэффициент корреляции признается значимым. В тех случаях, когда ранжировки содержат связные ранги, коэффициент корреляции корректируется.

Прежде чем записать формулу для вычисления коэффициента корреляции, поясним механизм введения связных рангов. Они вводятся в тех случаях, когда в ранжируемой совокупности неко- то-рые объекты получили одинаковые оценки. Тогда каждому из этих объектов приписывается средняя величина порядковых номе­ ров, которые должны получить одинаково оцененные объекты. Например, пусть оценивались семь объектов, два из которых при­ знаны одинаково значимыми. Если их выстроить в порядке зна­ чимости, то объекты с одинаковой значимостью делят между собой второе и третье места. Так как их нельзя предпочесть друг другу, то каждому из них приписывается средний ранг

r23 =(r2 + r3 )/2 = (2 + 3)/2 = 2,5,

и последовательность рангов, соответствующая значимости объек­ тов, выглядит следующим образом:

1; 2,5; 2,5; 4; 5; 6; 7.

Расчет скорректированного на наличие связанных рангов коэф­

фициента корреляции осуществляется по формуле
Р = / + Г '+ Г - ,	(2.34)

в которой р — оценка коэффициента ранговой корреляции, рассчи­ танная в соответствии с (2.29), а величины 7j и Т2 вычисляются по формулам

Tt = -з^— XM*i/ - О;			Т2	= -J_2*	2 ,(*2 | . -1)
/г -п	i	'		/Г - п i

где ки, k2j — количество повторений в z'-й подпоследовательности связных рангов в оценках 1-го и 2-го экспертов соответственно.

37

Данные для вычисления скорректированного коэффициента ранго­ вой корреляции с промежуточными расчетами приведены в табл. 2.5.

					Т а б л и ц а				2.5
Данные для вычисления скорректированного
	коэффициента ранговой корреляции
Эксперты		А,	Объекты
	А,		А,	А4		А,		А,	А,
э,
	2	1	4	5		5		5	7
э,	1	2,5	2,5	5		4		7	6
РЯ 'Р.!	1	-1,5	1,5	0		1		-2	1
(Рп-РвУ	1	2,25	2,25	0		1		4	1
	п -п~~х			336
7 1 = ^ - 5 ; M * W - 1 ) = ^ 7 - 3 - ( 3 - 1 ) = 0 , 0 5 4 ;
п	-п i		336
п	-rij		336
р + Т.+Т,		0,795 + 0,054 + 0,018			=	0,866		= 0,898
р = ^ '	—— =	-		—
7(1 - 7^ )(1 - Г2)		yjO, 946 -0,982					0,964

Коэффициент корреляции Кендалла в практических расчетах ис­ пользуется гораздо реже, чем коэффициент Спирмена. Поэтому, опуская подробный вывод, приведем только окончательную фор­ мулу для его расчета:

т = —

Xsign[ (/>„ - pJX) (рп - pJ2) ],

(2.35)

где п — количество ранжируемых объектов; plk — ранги объектов;

1, х > 0; sign х = - - 1 , х < 0; 0, х = 0.

Как нетрудно понять, с помощью коэффициентов ранговой корреляции нельзя установить согласованность между всеми

38

экспертными оценками. Да они и не предназначены для этого. Но с их помощью удается описать структуру согласованности ин­ дивидуальных оценок. Это описание в виде корреляционной мат­ рицы может быть использовано как для более детального анали­ за однородности всей группы экспертов, так и для деления ее на подгруппы, имеющие более высокий уровень согласованности, чем вся группа.

В целом согласованность мнений всей группы экспертов при­ нято оценивать с помощью дисперсионного или энтропийного коэффициентов конкордации. Рассмотрим сначала дисперсионный коэффициент конкордации. Он определяется как отношение дис­ персии D, отражающей реальный разброс между ранжировками, к величине Dmax, характеризующей максимально возможный раз­ брос

	W=-^—.	(2.36)
	D
	max
Будем считать, что результаты ранжирования представлены в
табл. 2.4. Тогда дисперсия	может быть вычислена по формуле
D = -±-t(Pi~P)2>		(2-37)
	п -1 /=i
т	1 п
rae pt = %р& , (/ = 1, л);	Р = -^РГ

При вычислении дисперсии каждый раз приходится вычислять среднее. Чтобы упростить эти вычисления, выразим среднее зна­ чение через количество оцениваемых объектов п и количество экспертов т, принявших участие в экспертизе. Для этого сначала вычислим сумму рангов, которые приписываются объектам каж­ дым экспертом:

А

и(и + 1) . ,—

.. ...

/=i ^

а затем средний ранг представим в удобном для расчетов виде

P = - S S P t f = - I X ^ = - S - L ^ =i -—-• (2-39)

39