ATT00025-Экспертные оценки от Анохина

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

ти умножаются на 100%):

λ * = λ

i

∑n λ

i

(× 100 %) .

(4)

i

i =1

В ряде случаев при обработке оценок относительные значимости

преобразуются в ранги. Такое преобразование безусловно корректно,

т.к. является переходом к более слабой шкале и осуществляется следу-

ющим образом. Объекту, имеющему максимальную относительную

значимость, приписывается ранг 1, следующему по значимости объек-

ту – ранг 2 и т.д. Если встречаются одинаково значимые объекты, то

им приписывается соответствующий связный ранг.

Необходимо отметить, что при переходе от более сильной шкалы

относительных значимостей к более слабым рангам часть информа-

ции теряется. Проиллюстрируем это примером. Из табл. 8 видно, что

объекты, значимость которых почти неразличима (объекты 2, 3, раз-

ность их относительных значимостей 0,01), будут поставлены на со-

седние друг с другом места аналогично объектам, удаленным друг от

друга на большое расстояние (объекты 1, 2, разность 0,27). Чтобы

сгладить такие ситуации (особенно когда малое расстояние на самом

деле отражает не различные значимости объектов, а является резуль-

татом накопления ошибок округления при нормировании), вводится

допустимая погрешность

ε , в пределах которой [ λ – ε /2,

λ + ε /2] отно-

сительные значимости, а следовательно, и ранги считаются равными.

В приведенном в табл. 8 примере в качестве

ε принято значение 0,05.

Матрица парных сравнений содержит результаты сравнения од-

ним экспертом n объектов между собой. С помощью парных сравнений

Таблица 8

Ранжирование относительных значимостей

Объекты

1

2

3

4

5

6

Значимости

0,45

0,18

0,17

0,09

0,05

0,06

Ранги

1

2

3

4

6

5

Ранжирование

с погрешностью

1

2,5

2,5

4

5,5

5,5

91

ГЛАВА 5

выполняется либо классификация, либо анализ относительной предпочтительности объектов. В зависимости от этого элемент матрицы π ij отражает степень эквивалентности или предпочтительности i-го объекта по отношению к j-му.

Унификация матриц парных сравнений предпочтительности

включает в себя два этапа.

1. Исключение фактов несравнимости. Если в матрице явно выделяются один или несколько объектов, не сравнимых ни с какими другими, то они либо вообще отбрасываются и не подлежат дальнейшему рассмотрению, либо выделяются в отдельную самостоятельно анализируемую матрицу. Учитывая, что свойство транзитивности в матрицах парных сравнений выполняется обычно далеко не для всех троек объектов, процедура исключения несравнимости может оказаться весьма запутанной и неформальной, а разработка ее алгоритма – тема отдельной работы.

2. Приведение матрицы к одной из двух форм (см. п. 3.3.1):

π ij =1– π ji (π ={0,1} – отсутствует равноценность и градация превосходства) или π i j=1/ π ji (π ={1/w ... 1 ... w} – w градаций превосходства). Это обусловлено тем, что на данные формы ориентировано подавляющее большинство методов обработки.

Чрезвычайно полезным в процессе обработки может оказаться преобразование матрицы парных сравнений в вектор относительных значимостей. В зависимости от формы матрицы, это преобразование выполняется по-разному. Если в матрице парных сравнений отсутствует равноценность и градация превосходства, т.е. π ={0,1}, то относительная значимость i-го объекта

n

λ i = j∑=1π ij .

Если же матрица отражает одну или несколько градаций превосходства, то вектор относительных значимостей Λ вычисляется как собственный вектор этой матрицы, соответствующий максимальному собственному числу. Учитывая, что вычисление собственного вектора – довольно трудоемкая задача, можно воспользоваться приближенной формулой, определяющей относительные значимости как геометрические средние значения соответствующих строк матрицы:

92

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

λ	i	= n	∏n	π	ij .
			j =1

Независимо от способа вычисления Λ , его элементы необходимо пронормировать (см. (4)).

Унификация матриц парных сравнений эквивалентности обычно не составляет задачи. Проблема здесь заключается в другом – сама по себе матрица эквивалентностей не представляет никакой практической ценности и является лишь промежуточным этапом разбиения объектов на классы. Иначе говоря, конечной целью парных сравнений эквивалентности является получение вектора идентификаторов.

Данная задача тривиальна, если элементы матрицы отражают лишь факт (а не степень) эквивалентности (т.е. π ={0, 1}) и для них выполняется свойство транзитивности (т.е. отсутствуют объекты, отнесенные сразу к двум или более классам). Однако в большинстве случаев это не так, в результате чего выявление классов (преобразование матрицы в вектор) превращается в крайне сложную процедуру.

Как правило, матрицы парных сравнений в классификации используются, когда классы заранее неизвестны (в противном случае было бы логичнее применять метод непосредственной классификации). Далее в разделе, посвященном выделению высокосогласованных подгрупп экспертов, мы столкнемся с аналогичной задачей и рассмотрим более подробно эвристическую процедуру ее решения.

Вектор идентификаторов содержит четкую или нечеткую классификацию n объектов, выполненную одним экспертом (ci – идентификатор класса, к которому отнесен i-й объект).

Вектор оценок содержит непосредственные численные оценки степени проявления анализируемого свойства у каждого из n объектов, сделанные одним экспертом (xi – оценка i-го объекта).

Векторы идентификаторов и оценок унифицированы и соответствуют самой слабой и самой сильной шкалам. Преобразование вектора оценок в вектор относительных значимостей выполняется простым нормированием.

Наиболее популярные виды преобразований результатов экспертиз, рассмотренные в настоящем разделе, представлены на рис. 23.

93

ГЛАВА 5

Ранжирование
							Π
	R	!	Λ	!		Π(Λ)	Π( C)	"	C
			#
Нормирование								Факторный,
			X		Вычисление			кластерный,
					собственного			дискриминантный
					вектора			анализ

Рис. 23. Преобразование результатов экспертизы

5.2.Анализ согласованности

5.2.1.Классификация показателей согласованности

Одним из основных инструментов, используемых в анализе и обработке экспертных оценок, является анализ согласованности, задача которого состоит в определении, насколько близки или далеки друг от друга точки зрения экспертов. Анализ согласованности помогает решать ряд важных задач, возникающих при обработке экспертных оценок, в частности:

задачу определения результирующих значений, наиболее близких к оценкам, указанным всеми экспертами;

задачу классификации экспертов на основании высказанных ими суждений.

Очевидно, что способ измерения согласованности экспертных суждений зависит прежде всего от характера оценок – количественного или качественного. Отметим, что анализ согласованности мнений экспертов – лишь частная постановка более общей задачи исследования близости различных процессов и явлений. Сегодня существует довольно обширная номенклатура методов и количественных показателей, позволяющих оценить степень этой близости. Большинство из них, наиболее часто применяемых в экспертном анализе, будет рассмотрено в настоящем разделе.

Показатели согласованности мнений предназначены для количе-

94

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

ственной оценки степени совпадения мнений двух или более экспертов по поводу одного или более объектов экспертизы. Рассмотрим классификацию показателей согласованности. В качестве критериев классификации примем

характер (тип) показателя, отражающий подход к его вычислению; количество объектов экспертизы, охватываемых показателем; число экспертов, согласованность которых позволяет оценить по-

казатель.

В зависимости от характера и способа вычисления, показатели могут отражать

относительную частоту противоречий во мнениях без учета расстояния между несовпадающими оценками;

вариационный размах – степень противоречивости мнений с учетом расстояний между отдельными оценками;

средние отклонения – степень противоречивости мнений, основанную на отклонениях оценок от некоторого центрального значения.

По количеству охватываемых объектов показатели делятся на две категории – показатели, оценивающие согласованность мнений по поводу одного объекта экспертизы, и показатели для неограниченного числа объектов.

По числу экспертов показатели предназначены для оценки согласованности двух либо неограниченного числа экспертов.

Классификация 12-ти показателей, рассматриваемых в настоящем разделе, приведена в табл. 9. Кроме значений классификаторов в таблице приведены диапазоны значений показателей и характер их изменения при росте согласованности – возрастание ()), убывание (*) или убывание модуля (|*|).

5.2.2. Согласованность ранжирований

Пусть n объектов подлежали ранжированию. Каждый из m экспертов, принимавших участие в экспертизе, сформировал свой вектор рангов объектов. Объединим результаты ранжирования n объектов m экспертами в матрицу R={rij | i =1...n, j =1... m} (табл. 10).

Согласованность мнений экспертов при ранжировании оценивается с помощью коэффициентов ранговой корреляции, конкордации и

95

96

Классификация показателей согласованности					Таблица 9
	Обозна-	Диапа-	Харак-		Число	Число
Показатель		çîí çíà-	òåð èç-	Òèï	объек-	экспер-
	чение	чений	менения		òîâ	òîâ
Коэффициент ранговой
корреляции	τ	[-1, 1]		Относительная частота	n	2
- Кендэлла			)
- Спирмена	ρ	[-1, 1]	)	Вариационный размах	n	2
- парной	ρ	[-1, 1]	)	Вариационный размах	n	2
Коэффициент корреляции	ρ	[-1, 1]	)	Средние отклонения	n	2			ГЛАВА
Информационный	H	[0, 1]	)	Относительная частота	n	2
показатель									5
Коэффициент ассоциации	S	[0, 1]	)	Относительная частота	n	2
Коэффициент вариации
- рангов	V	[0, 1]	*	Относительная частота	1	m
- Беккера	V Á	[0, n/2]	*	Вариационнай размах	1	m
- значимостей	V	[0, 1]	*	Средние отклонения	1	m
- интерквартильной	Q	[-1, 1]	|*|	Вариационный размах	1	m
Коэффициент конкордации	W	[0, 1]	)	Средние отклонения	n	m
Коэффициент согласия	W	[(m-2)/	)	Относительная частота	n	m
		(2m-2),1]

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

						Матрица рангов												Таблица 10
									Эксперты									Суммы рангов
Объекты																		по объектам
	1			2				...			j			...		m		S (ri )
1		r11			r12			...			r1j			...		r1m		S (r1)
2		r21			r22			...			r2 j			...		r2m		S(r2)
...	...			...				...		...				...	...			...
i		ri1			ri2			...			rij			...		ri m		S(ri)
...	...			...				...		...				...	...			...
n		rn1			rn2			...			rn j			...		rnm		S(rn)
Суммы	n(n+1)			n(n+1)				...		n(n+1)				...	n(n+1)			Сумма всех
рангов по																		рангов
экспертам		2			2						2					2		m n(n+1)/2

вариации. Коэффициенты ранговой корреляции оценивают согласованность ранжирований двух экспертов, коэффициенты конкордации

– общую согласованность ранжирований всех экспертов, коэффициенты вариации – согласованность мнений всех экспертов о ранге одного объекта экспертизы.

Рассмотрим процедуры вычисления коэффициентов, характеризующих согласованность двух ранжирований Rµи Rν, выполненных экспертами µи ν соответственно.

Для оценки согласованности двух строгих ранжирований (соответствующих простому упорядочению объектов) используются следующие коэффициенты.

Коэффициент ранговой корреляции Кендэлла

τ µν=		S		,				(5)
	1 n (n −1)
2		( µ)π	(ν) ;			( µ), π	(ν) – элементы матриц отношений П(R ),
где S = ∑ π					π
i< j		ij	ij			ij	ij	µ

97

ГЛАВА 5

П(Rν), соответствующих ранжированиям Rµ, Rν –

1, если объект ai более предпочтителен, чем aj (ri< rj ),

π ij={–1, если объект a

i

менее предпочтителен, чем a

j

(r

>r

).

i

j

Коэффициент ранговой корреляции Спирмена

ρ µν =1−

S (d 2 )

,

(6)

1 n (n2

−1)

6

где

S (d 2 ) = ∑n ( r − r

)2 .

i =1

iµ

iν

Если ранжирования нестрогие (соответствуют слабому упорядочению объектов), то появляются связные ранги и значения π ij =0 (соот- ветствующие связным рангам ri = rj), а указанные коэффициенты принимают следующий вид:

τ µν =	S				,	(7, а)
	−T	) ( 1 n (n −1)	−T
( 1 n (n −1)				)
2	µ	2	ν

1 n( n2

−1) − S ( d2 ) − (T +T

ν

)

ρ µν =

6

µ

,

(7, б)

( 61 n ( n2−1) −2Tµ) ( 61 n ( n2−1)

−2Tν )

где T = 1 ∑n ( t2 − t

)

– показатель связных рангов (T

µ

– для µ-го экс-

2 i =1

i

i

перта, T

– для ν-го эксперта);

ν

ti – число повторений i-го ранга в ранжировании эксперта.

Более известным способом вычисления коэффициента ρ для не-

строгих ранжирований является формула коэффициента парной ран-

говой корреляции

ρ µν =1−

S (d 2 )

,

(8)

1 n ( n2 −1) − 1

(T + T

ν

)

6

12

µ

98

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

где T =

∑L ( t3 − t

)

– показатель связных рангов (T

– для µ-го экспер-

l =1

l

l

та, T – для ν-го эксперта);

µ

ν

L – количество групп связных рангов в ранжировании соответ-

ствующего эксперта;

tl

– количество связных рангов в l-й группе.

Введем обобщенное обозначение Г={τ , ρ

} и рассмотрим основные

свойства коэффициентов ранговой корреляции.

1. Диапазон значений – Г [–1, 1]. Значение 1 соответствует пол-

ному совпадению ранжирований двух экспертов; значение -1 – проти-

воположным ранжированиям; значение 0 – независимым (некоррели-

рующим) ранжированиям.

2. Ранговая корреляция может вычисляться только при выполне-

нии условия ∑n

r

= 1 n (n +1) в ранжировании каждого эксперта.

i =1

i

2

3. Для оценки статистической значимости коэффициентов ранго-

вой корреляции используется следующий критерий: если наблюдае-

мая величина S принимает значение S0

, такое, что случайное появле-

ние величины S0

или большей маловероятно, то гипотеза о независи-

мости ранжирований отвергается; т.е. если P{ |S|

≥

S0 }< P0 , то полу-

ченный коэффициент τ считается значимым (значимость коэффициен-

та ρ констатируется, если P{S(d 2 ) ≤

S

0

}< P

0

). Величиной P задают-

0

ся как уровнем значимости (обычно принимается 5%-ный уровень зна-

чимости, т.е. P0 =0,05) и сравнивают вычисленное значение S с таб-

личным для данного уровня значимости (такие таблицы для n ≤ 10 раз-

работаны Кендэллом и приведены в [5]; для n >10 считается, что рас-

пределение частот для S стремится к нормальной кривой с параметра-

ми σ

τ

=

1 n ( n −

1) ( 2n + 5) и σ =

1 (n −1)).

18

ρ

4. Между τ и ρ существует простое приближенное соотношение

ρ ≈ 3τ

/ 2. Коэффициент ρ вычисляется проще и быстрее, чем τ и ис-

пользуется, когда бывает необходимо быстро прикидочно оценить

корреляцию. Мощность критерия ρ

несколько выше, чем критерия τ .

Однако с помощью ρ нельзя измерить частные корреляции для отдельных объектов.

99

ГЛАВА 5

Приведем два примера анализа ранговой корреляции. Пусть два
эксперта выполнили строгое ранжирование 9 объектов. Результаты
ранжирования и вычисленные значения d 2											представлены в табл. 11.
Там же приведены наддиагональные (для i< j) фрагменты матриц от-
ношений, соответствующих ранжированиям Rµи Rν. Коэффициенты
ранговой корреляции вычисляются по формулам
(5):	S=24,		τ =2×			24/9×		8 ≈ 0,67;
(6):	S(d 2)=16,				ρ	=1–6× 16/9× (81–1) ≈ 0,87.
Корреляция ранжирований двух экспертов оказывается значимой при
уровне P0=0,05:
P (S ≥ 24)=0,0063<0,05; P(S(d 2 ) ≤ 16)=0,0022<0,05.
						Строгое ранжирование						Таблица 11
Объекты	Ранги				d 2			Матрицы отношений
a
i	Rµ	Rν						Ï(Rµ)				Ï(Rν)
1	6		5		1		-1 1 -1 -1 -1 1 1 -1					-1 1 -1 -1 -1 1 1 1
2	4		4		0			1 -1 -1 -1 1 1 1				1 -1 -1 -1 1 1 1
3	9		7		4			-1 -1 -1 -1 -1 -1				-1 -1 -1 1 1 -1
4	1		2		1			1 1 1 1 1				-1 1 1 1 1
5	3		1		4			-1 1 1 1				1 1 1 1
6	2		3		1			1	1	1		1	1	1
7	7		9		4				1 -1				-1 -1
8	8		8		0					-1				-1
9	5		6		1

Теперь рассмотрим вычисление этих же коэффициентов для нестрогого ранжирования. Результаты ранжирования, значения d 2 и фрагменты матриц отношений приведены в табл. 12. В ранжировании µ-го эксперта выделяются две группы связных рангов, содержащих по 3 и 2 связных ранга соответственно. В ранжировании ν -го эксперта – одна группа, содержащая 3 связных ранга. Коэффициенты ранговой корреляции вычисляются по формулам

(7, а): S=22; Tµ=11; Tν=9; τ =		22		≈ 0,85	;
	8		8
( 9		−11) ( 9		− 9 )
2		2

100