ATT00025-Экспертные оценки от Анохина

									ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК
											Нестрогое ранжирование										Таблица 12
Объекты			Ранги						d 2						Матрицы отношений
a
i			Rµ		Rν								Ï(Rµ)								Ï(Rν)
1			6		5				1			-1 1 -1 -1 -1 1 1 -1							-1 1 -1 -1 -1 1 1 1
2			4		4				0			1 -1 -1 -1 1 1 1							1 -1 -1 -1 1 1 1
3			9		6				9			-1 -1 -1 -1 -1 -1								-1 -1 -1 1 1 1
4			2		2				0				0 0 1 1 1								-1 1 1 1 1
5			2		1				1						0	1	1	1			1	1		1	1
6			2		3				1							1	1	1				1		1	1
7			7,5		8				,25								0 -1							0	0
8			7,5		8				,25									-1							0
9			5		8				9
																		9 80	− 21,5 − (11+ 9)
(7,б): S(d2)=21,5;											T =11; T =9; ρ					=		6						≈ 0,79
											µ		ν				( 9 80 − 2 11)( 9 80 −2					9)
																		6			6
(8):			S(d 2) =21,5;									T =30;	T		=24;		ρ	=1−		21,5				≈ 0,81.
																			9 80 −		(30 +24)
											µ			ν						1
																			6	12
Корреляция ранжирований значима при уровне P0																					=0,05:
P (S ≥ 22)=0,012<0,05;													P(S(d 2 ) ≤				21,5)=0,0054<0,05.
Рассмотрим процедуру вычисления коэффициента конкордации,
характеризующего согласованность m ранжирований R1 ... Rm , вы-
полненных экспертами e1 ... em соответственно.
Коэффициент конкордации рассматривается как отношение
W =S(∆				2) / S						,															(9)
			2 ) = ∑n ∆				max
где S(∆							2		;
				i =1			i
													1 m (n +1)
∆		= S(r ) −						(r ) = S( r ) −
	i					S											– отклонение суммы рангов i-
				i					i			i	2

го объекта от среднего арифметического сумм рангов всех объектов m

(S (ri )= j∑=1rij ) (см. табл. 10);

101

ГЛАВА 5

Smax – максимально возможная сумма квадратов отклонений для

заданных m и n.

Для строгого ранжирования S

max

=

1

m 2 ( n3

− n ) .

12

1

m

Для нестрогого ранжирования

S

max

=

m2 ( n3 − n ) − m ∑ T ,

12

j =1

j

где Tj – показатель связных рангов в ранжировании j-го эксперта (со-

L j

гласно (8) T

j

=

∑

( t3

− t

l

)) .

l =1

l

Подставляя в выражение (9), получаем формулу коэффициента

конкордации

W =

12 S(∆ 2 )

.

(10)

m2( n3− n ) − m ∑m T

j

=1

j

Рассмотрим основные свойства коэффициента конкордации.

1. Коэффициент конкордации является как бы общим коэффици-

ентом ранговой корреляции для группы, состоящей из m экспертов.

2. Диапазон значений –

W

[0, 1]. При полной согласованности

мнений, когда все эксперты дают одинаковые оценки, W =1. При пол-

ном отсутствии согласованности оценки совершенно случайны и

W =0. В остальных случаях – чем больше

W, тем выше согласован-

ность экспертных ранжирований.

3. Низкий коэффициент конкордации, полученный для совокупности экспертов, свидетельствует либо о действительном отсутствии общности мнений, либо о наличии внутри этой совокупности отдельных полярных групп, характеризующихся высокой внутренней согласованностью мнений. Так, если половина экспертов указала одно и то же ранжирование, в то время как другая половина – полностью противоположное ранжирование, то общий коэффициент конкордации - W=0, однако для каждой из этих групп в отдельности W=1. При значениях W, близких к предельным, анализ подобных ситуаций весьма актуален.

102

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

4. В работе [6] показано, что значение коэффициента конкордации для нестрогого ранжирования, вычисленное по формуле (10), может оказаться неточным, особенно в случаях, когда не во всех ранжированиях присутствуют связные ранги. Авторы предлагают формулу, дающую более корректную оценку W,

W =							12 S(∆ 2 )													(10, a)
			m2( n			3− n ) − (2 m− p) ∑m T
										j =1			j
где p – число экспертов, в ранжированиях которых присутствуют рав-
		ные ранги.
5. Для проверки статистической значимости коэффициента кон-
кордации используется критерий Пирсона χ 2. Величина m (n –1)W
имеет χ2-распределение с										ν =n–1 степенями свободы. Для оценки зна-
чимости коэффициента конкордации необходимо и достаточно, что-
бы найденное						χ2∞= m (n –1)W было больше табличного χ2, определяе-
мого числом степеней свободы												ν	и уровнем доверительной вероятно-
сти P0		(обычно принимается доверительная вероятность 0,95-0,99).
Приведем пример анализа конкордации. Пусть 4 эксперта выполни-
ли ранжирование 9 объектов. Результаты ранжирования и вычислен-
ные значения ∆ 2							представлены в табл. 13. Сумма квадратов отклоне-
ний от среднего (S=20) равна S												(∆ 2)=706. Показатели связных рангов:
T	1	=0, T			2	=(33 –3) + (33 –3)=48,									T =0,		T =53 –5=120.
															3		4	Таблица 13
				Объекты				Ранжирования экспертов									Суммы		∆ 2
				a													рангов по
					i			R1		R2			R3		R4		объектам		i
				1				6		6			5		8			25	25
				2				4		6			4		4			18	4
				3				9		9			7		4			29	81
				4				1		2			2		1			6	196
				5				3		2			1		4			10	100
				6				2		2			3		4			11	81
				7				7		4			9		7			27	49
				8				8		8			8		9			33	169
				9				5		6			6		4			21	1

103

ГЛАВА 5

Коэффициент конкордации, вычисленный по формуле (10),
W =			12 706	≈ 0,78 ,
	42	(9 3	− 9 )− 4 (48+120)

по формуле (10, а) p=2, W=0,81.

Для анализа вариации ранжирований матрицу рангов необходимо

представить в виде таблицы вариационных рядов (или распределений

рангов)

X={xi j | i, j =1... n} (табл. 14). Элементом этой таблицы xi j яв-

ляется число экспертов, присвоивших i-му объекту j-е место (число

мнений о ранге объекта).

Таблица вариационных рядов

Таблица 14

Ранги

Объекты

1

2

...

j

...

n

1

x11

x12

...

x1j

...

x1n

2

x21

x22

...

x2j

...

x2 n

...

...

...

...

...

...

...

i

xi1

xi2

...

xij

...

xin

...

...

...

...

...

...

...

n

xn1

xn2

...

xnj

...

xnn

Коэффициент вариации рангов i-го объекта

l

n

V =

1− ∑

x 2

/ m 2

,

(11)

i

l −1

ij

j

=1

где l – число градаций (мест) i-го объекта (число ненулевых элементов

i-й строки таблицы вариационных рядов).

Диапазон значений – V

[0,1]. Чем меньше значение V, тем выше

согласованность мнений экспертов.

Необходимо отметить, что при расчете коэффициента вариации не учитывается информация о расстоянии между рангами. Расхожде-

104

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

ние оценок на одно место имеет такой же вес, как и расхождение в не-
сколько мест, а коэффициент вариации при этом не меняется (см. при-
веденный ниже пример). Для устранения этого недостатка А.В. Бекке-
ром предложена другая мера вариации рангов; назовем ее коэффици-
ентом вариации Беккера
					∑n ∑				xij xik( k − j )
V	Б		=		j =1 k		> j									,												(12)
	i								C 2
									m
где C2		= m (m –1) /2 – число сочетаний из m по 2.
m
Диапазон значений – V Б [0, n/2]. Увеличение значения V Б соот-
ветствует увеличению разброса мнений и расстояний между отдель-
ными группами мнений. Следует отметить, что к увеличению рассто-
яний данный коэффициент более чувствителен (его диапазон при этом
[0, n/2]), чем к увеличению разброса (диапазон в этом случае ограни-
чен пределами [0, n/3]).
Рассмотрим пример анализа вариации ранжирований. Пусть 19
экспертов проранжировали 12 объектов. В табл. 15 приведено распре-
деление рангов первого и второго объектов. Отметим, что и в том и в
другом случае по 2, 4 и 13 экспертов указали одинаковый ранг.
							Распределение мнений о рангах объектов																			Таблица 15
Объекты																		Ранги
						1			2		3			4			5		6		7		8	9	10		11	12
	1					-			-		-			-			-		4		-		13	-	-		-	2
	2					-			-		4			13			2		-		-		-	-	-		-	-
Коэффициенты вариации вычисляются по формулам
(11):						V =	3		(1−		42+132 +						22	) ≈ 0,71,
							2								2
					1						19
(12):						V Б	=		4 13		2 + 4			2 6 +13 2 4						≈1,50 .
												19 18 / 2
					1

105

ГЛАВА 5

Аналогично, V2 ≈ 0,71, V Б ≈ 0,55. Заметим, что V1=V2 (разделение

2

экспертов на одинаковые по численности группы и в том и другом случае обусловило одинаковую вариацию, независимо от расстояния между мнениями), но V Б >V Б (расстояния между мнениями эксперт-

1 2

ных групп по поводу первого объекта больше, чем по поводу второго объекта).

5.2.3. Согласованность относительных значимостей

Полученные в результате экспертизы векторы относительных значимостей объединим в матрицу Λ ={λ ij | i=1...n, j =1...m} (табл. 16).

Таблица 16 Матрица относительных значимостей

Объекты				Эксперты
	1	2	...		j	...	m
1	λ 11	λ 12	...		λ 1j	...	λ 1m
2	λ 21	λ 2 2	...		λ 2j	...	λ 2m
...	...	...	...		...	...	...
i	λ i1	λ i 2	...		λ ij	...	λ im
...	...	...	...		...	...	...
n	λ n1	λ n 2	...		λ nj	...	λ nm

Наиболее часто используемыми показателями согласованности мнений экспертов об относительной значимости объектов являются показатели вариации и вариационного размаха.

Коэффициент вариации определяет согласованность мнений всех экспертов об относительной значимости одного объекта экспертизы, а вариационный размах характеризует амплитуду колебаний оценок одного объекта экспертизы.

Коэффициент вариации значимости i-го объекта

106

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

V =

σi

,

(13)

M

i

i

∑m λ

где M

i

= 1

ij

– средняя арифметическая оценка i-го объекта;

m j =1

σ

i

=

1

∑m ( λ

ij

− M

i

)2 – среднее квадратическое отклонение

m −1 j =1

оценок i-го объекта.

Диапазон значений – V

[0,1]. Чем меньше значение V, тем выше

согласованность мнений экспертов.

Для анализа вариационного размаха оценок i-го объекта исполь-

зуется либо расстояние d (λ

min, λ max), либо коэффициент интерквар-

тильной вариации

Q =

λ 0,75 − λ 0,25

,

(14)

λ 0,5

где λ 0,25, λ 0,5, λ

0,75 – выборочные квартили, т.е. значения, разбиваю-

щие m

оценок i-го объекта на четыре равные

группы (численностью приблизительно m/4):

первая группа, содержащая оценки, не превышающие λ 0,25;

вторая группа – оценки из интервала [ λ 0,25; λ 0,5 [;

третья группа – оценки из интервала [λ 0,5;

λ 0,75 [;

четвертая группа – оценки, превышающие

λ 0,75.

Квартили определяются следующим образом. Оценки i-го объек-

та (λ i1...

λ i m ) упорядочиваются по возрастанию (в вариационный ряд).

Обозначим полученный вариационный ряд через x1... xm. Квартиль

λ q (q=0,25; 0,5; 0,75) равна

xmq+ q(xmq+1– xmq ), если mq – целое число,

λ q={x

[ m q

, если mq

– дробь, а [mq] – целая часть mq.

]+1

Диапазон значений – Q

[-1,1]. Значение Q приближается к нулю в

случае симметричного распределения оценок с очень малой вариацией. Рассмотрим пример, иллюстрирующий анализ согласованности относительных значимостей. Пусть 10 экспертов оценили относительную значимость 4 объектов. Результаты оценивания сведены в табл. 17.

107

ГЛАВА 5

				Матрица относительных значимостей															Таблица 17
Объекты											Эксперты
			1		2		3		4		5		6		7		8		9		10
1			0,1		0,2		0,2		0,4		0,2		0,15		0,1		0,3		0,2		0,1
2			0,7		0,8		0,7		0,2		0,6		0,6		0,3		0,4		0,7		0,9
3			0,1		0		0,05		0,3		0,1		0,15		0,5		0,2		0,1		0
4			0,1		0		0,05		0,1		0,1		0,1		0,1		0,1		0		0
																	Таблица 18
			Вариационный ряд оценок 2-го объекта
	x1		x2		x3		x4		x5		x6		x7		x8		x9		x10
	0,2		0,3	0,4			0,6		0,6		0,7		0,7		0,7		0,8		0,9

Вычислим коэффициент вариации оценок второго объекта:
M		= 0,59 ; σ		=	1 0,45 ≈	0,22 ; V =	0,22	≈ 0,38 .
	2		2
					9	2	0,59
Для анализа интерквартильной вариации этого же объекта располо-
жим его оценки в вариационный ряд (табл. 18). Тогда выборочные
квартили
λ 0,5		=x5+0,5(x6 – x5) =0,65;				λ 0,25=x3=0,4; λ 0,75=x8=0,7.
Коэффициент интерквартильной вариации (14)
Q =(0,7– 0,4) / 0,65					≈ 0,46.

Анализ вариации чрезвычайно важен для выявления и более пристального изучения объектов, по которым обнаруживается сильное расхождение мнений. Однако существует и другой способ оценки согласованности относительных значимостей – их преобразование в ранги с последующим анализом соответствующих ранговых показателей согласованности (переход от относительных значимостей к рангам обсуждался в предыдущем разделе). В ряде случаев этот способ даже более предпочтителен, т.к. ранжирование, как правило, менее

108

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

отражает субъективизм оценок, нежели относительные значимости. Например, два эксперта указали относительное превосходство одного объекта над другим. При этом относительная степень превосходства, указанная первым экспертом, намного выше, чем у второго. Несмотря на то, что эксперты по-разному «ощущают» величину различия двух объектов, их оценки в общем-то сходятся в одном – первый объект важнее второго. В условиях относительных (а не абсолютных) оценок ранговые критерии согласованности мнений могут оказаться важнее, чем показатели вариации значимостей.

Отметим еще одну важную особенность, оказывающую влияние на выбор метода анализа и обработки относительных оценок. Несмотря на то, что относительные значимости имеют количественный смысл, они, вообще говоря, не могут рассматриваться как отдельные самостоятельные измерения. Величины относительных значимостей «завязаны» друг с другом. Так, значимость одного объекта не имеет смысла без указания значимостей других объектов (т.е. значимость всегда относительна), а изменение величины значимости обязательно повлечет за собой аналогичное изменение суммы остальных элементов вектора (напомним, что относительные значимости всегда нормированы). В результате этого мы не можем трактовать относительную значимость как некоторую независимую случайную величину, а следовательно, и применять для ее обработки традиционные статистические методы.

5.2.4. Согласованность парных сравнений

Пусть n объектов подлежали парным сравнениям. Рассмотрим
наиболее простой случай парных сравнений, когда в результате срав-
нения устанавливается лишь факт превосходства или эквивалентнос-
ти двух объектов. В этом случае результат работы каждого из m экс-
пертов представляется в виде матрицы парных сравнений
Пk={π k | i, j =1... n} (k =1... m) с элементами
	ij
	1, если i-й объект предпочтительнее j-го либо они эквива-
π ij=	лентны (не путать эквивалентность с равноценностью),
	0 – в противном случае.

Полученные m матриц можно объединить в матрицу предпочте-

109

ГЛАВА 5

ний X, элементы которой xi j = k∑m1π ikj

=

отражают число экспертов, отдавших предпочтение i-му объекту по сравнению с j-м либо объявивших их эквивалентными.

Согласованность парных сравнений оценивается с помощью коэффициента согласия. Его смысл аналогичен смыслу коэффициента конкордации, характеризующего общую согласованность мнений всех экспертов обо всех объектах экспертизы.

Коэффициент согласия

W =

4Q

,

(15)

m( m −1) n ( n −1)

где Q = ∑

C2

– общее число совпадений точек зрения пар экспертов,

x

i ≠ j

ij

C2 =x(x –1) /2 – число сочетаний из x по 2.

x

Более простой формулой для вычисления Q

является

Q = ∑

x2 − m ∑

x

ij

+ m(m −1) n (n −1) .

i > j

ij

i > j

4

Диапазон значений – W [(m–2)/(2m–2), 1]. Значение W=1 соот-

ветствует полному совпадению мнений.

Рассмотрим пример, иллюстрирующий анализ согласованности

парных сравнений. Пусть 5 экспертов выполнили парные сравнения 4

объектов. Результаты оценивания

− 1 1 1

− 0 1 1

−

1 1 0

0 −

Π

1

=

1 0 , Π

2

=

1 − 0 0 ,Π

3

=

0

− 1 0 ,

0 0 − 0

0 1 − 1

0

0 − 0

0 1 1 −

0 1 0 −

1 1 1 −

− 1 1 1

− 1 1 0

−

4 5 3

0 −

Π

4

=

0 0 , Π 5

=

0 − 0 0 ,

X

=

1

− 2 0 .

0 1 − 0

0 1 − 0

0

3 − 1

0 1 1 −

1 1 1 −

2 5 4 −

110