konspect_2010

де ki – кількість груп рівних рангів, уведених i -м експертом;
tij	– кількість дрібних рангів в j -й групі, уведених i -м експертом.
Статистичну значущість ранжирування перевіряють, вибираючи
ймовірність	помилки P	. Вважають, що величина	N(n 1)W	має 2 -
	пом
розподіл з	(n 1) степенем вільності. За Pпом за спеціальними таблицями
знаходять табличне значення W . Якщо коефіцієнт			W , отриманий при

реалізації експертизи, більше чи дорівнює W , то отримане ранжирування

вважають статистично значущим.

Приклад 3. Визначимо статистичну значущість прикладу 2. Нехай необхідно, щоб ймовірність помилки, тобто ймовірність того, що отримане

ранжирування	являється	випадковим,		Pпом 0,01.		Визначимо		величину
N(n 1)W 10 5 0,69 34,5.		З	таблиць розподілу		2	для	числа ступеня
вільності, що	дорівнює	5,	знаходимо	02,01 (5) 15,086 ,			що	відповідає
табличному значенню величини N (n 1)W .					Знайдене		значення, яке

дорівнює 34,5, більше табличного, тобто отримане ранжирування статистично значуще.

Вище малося на увазі, що експерти мають рівну компетентність. Однак, якщо компетентність експертів різна та може бути оцінена деяким числом, то формули (19)-(23) вимагають уточнення.

Нехай компетентність j -го експерта оцінюється додатною величиною i (вага експерта). Будемо вважати ці величини нормованими

	N
	j
	j 1

1 . Суму рангів ri об’єктів будемо розраховувати за формулою

N

ri rij j . Коефіцієнт конкордації з врахуванням компетентності

j 1

експертів визначається за формулою (23). Перевірку статистичної значущості здійснюють аналогічно (перевіряють значущість погодженості думок експертів).

Метод парних порівнянь для нежорсткого ранжирування.

Експериментально встановлено, що велику складність для експерта являє побудова ранжирування на основі одночасного обліку декількох різних ознак, за якими оцінюються об’єкти. У цих випадках експерти вирішують задачі попарного порівняння.

Визначимо експертизу Е6 для рішення задачі нежорсткого ранжирування:

– множина всіх перестанов;

e – множина всіх матриць A (aij ) ,

де aij 0,1 ,aij a ji 1( i j ),aij 0 ( i j		);
	1,n		(24)

L – експерти ізольовані;

Q – зворотній зв’язок відсутній.

20

Відображення задається наступним чином: визначають матрицю

	N
A (aqt ) A j ,				де A j (aqtj ) – оцінка		j -го експерта. Знаходять величини
	j 1
n
as ais	(s 1, n)			. Об’єкти впорядковують у відповідності до величини as .
i 1
Об’єкти з мінімальним as					отримують ранг 1 та так інше.
У	методі			парних	порівнянь	кожний з експертів здійснює C 2
						n

порівнянь, тобто порівнює кожний об’єкт з кожним. Результат порівняння j -го експерта представляється матрицею розміру n n , де aikj 1, коли на

думку j -го експерта i -му об’єкту надається перевага у порівнянні з k -м. Для будь-якої пари об’єктів p, q чи надається перевага p у порівнянні з q , чи навпаки. Це й відображається умовами (24) aiij 0 за визначенням.

Матриця A j , подана j -м експертом j 1, N , являється матрицею деякого бінарного відношення, яке називається відношенням наданих переваг експерта.

Коефіцієнтом сумісності думок експертів називається величина

1 24d /(n3		n), якщоn парне,
			(25)
v
1	24d /(n3	4n), якщоn непарне;

де d – кількість циклів довжини 3. Величину v можна використовувати в якості оцінки компетентності експерта при експертизах

типу Е6.
	Рангова кореляція
Нехай	i1 ,..., in , j1 ,..., jn			–	два		нежорстких	ранжирування.
Припустимо
			0, якщоis				it ,
	ast						it ,		(26)
		1, якщоis
			1, якщоis it ;
аналогічно визначимо величини bst				для 2-го ранжирування. Коефіцієнтом
рангової кореляції Кендалла називається величина
			n	n
			ast bst
			s 1	t 1		.			(27)
			n(n 1) / 2
Розрахувавши коефіцієнт , оцінимо значущість зв’язку між
ранжируваннями. Для цього позначимо чисельник (27)								через	S . Якщо
зафіксувати	одне ранжирування та				розглядати усі n!			інших	жорстких

ранжирувань, можна знайти частоту всіх можливих значень S . При n 10 розподіл S наближується до нормального з середньоквадратичним

21

			n 10 розподіл S
відхиленням n(n 1)(2n 5) /18 . При				можна знайти у
спеціальних таблицях.
У загальному випадку, якщо величина S набуває				значення S0 чи

більш маловірогідне, то гіпотеза про незалежність ранжирування
відвертається. Якщо Pr		S		S0 p0 ,	то отриманий		коефіцієнт
вважається	значущим. Величину p0				задають як	рівень значущості;
порівнюють	розраховане значення S				з табличним	для	даного рівня
значущості	p0 .

Приклад 4. Складено таблицю результатів ранжирування 6 об'єктів (О1,…,О6) п'ятьма експертами (Е1,…,Е5) (табл. 4). Необхідно обчислити коефіцієнт узгодження експертів (коефіцієнт конкордації) і оцінити його значущість.

Таблиця 4 - Вихідні дані

Об'єкт			Експерт
	Е1	Е2	Е3		Е4	Е5
О1	1	2	1,5		1	2
О2	2,5	2	1,5		2,5	1
О3	2,5	2	3		2,5	3
О4	4	5	4,5		4,5	4
О5	5	4	4,5		4,5	5,5
О6	6	6	6		5,0	5,5

1 Розрахуємо середні значення рангів

				1	m d		1
	r				rij			(1 2 ... 5.5 5.5) 17,33 .
				m i 1 j 1		6
	2 Розрахуємо варіацію
				6		5				2
				V (rj					17,33)	361.
					i 1	j 1

Так як у матриці є зв'язані ранги, то розраховуємо коефіцієнт погодженості. Для цього розрахуємо Tj.

Для експерта 1: Е1: H1=1; h1=2; T1=23–2=6. Для експерта 2: Е2: H2=1; h1=3; T2=33–3=24.

Для експерта 3: Е3: H3=2; h1=2;h2=2; T3=23–2+23–2=12. Для експерта 4: Е4: H4=1; h1=2; h2=2; T4=23–2+23–2=12. Для експерта 5: Е5: H5=1; h1=2; T5=23–2=6.

T j 6 24 12 12 6 60 .

Підставляємо значення Tj, V, m=6, d=5.

22

W			12 361				0,874 .
		(63 6) 5
52						60
Якщо W>1, то збільшується ступінь погодженості судження
експертів.
Розрахуємо 2спостер:
2					12 361				21,8,
cпостер				5 6	(6 1) 0,2 60
2			2 (0,05;5) 11,7.
таблич
Так як 2					> 2			.(21,811,7) гіпотеза H приймається.
			спостер		таблич				0

Якщо гіпотеза H0 прийнята, то можна вважати, що індивідуальні оцінки експертів утворять компактну групу й завданням обробки думок експертів стає побудова узагальненого ранжирування за індивідуальним ранжируванням експертів.

Ранжирування об'єктів на основі бальних оцінок

Нехай d експертів оцінюють m об'єктів за i показниками. Результати оцінювання дані у вигляді величини xish , де i – номер об'єкта, s – номер експерта, h – номер показника (ознаки порівняння).

Потрібно знайти групову оцінку об'єктів. Обробка результатів істотно залежить від методів виміру. Методи виміру можуть бути наступними:

а) за ранжируванням, xish – ранги;

б) метод безпосереднього оцінювання;

в) метод послідовного порівняння, тоді величини xish числа або

бали.

Нехай у рамках даного завдання величини xish ( s 1, d; i 1, m h 1, I ) знайдені методом безпосереднього порівняння, тобто xish визначено у балах.

Алгоритм рішення

1 Знайдемо середнє значення оцінки для кожного об'єкта:

I d	h
xi qh ks x	,	(28)
h 1 s 1	is

де qh – коефіцієнти вагомості показників порівняння об'єктів; ks – коефіцієнти компетентності експертів.

23

Дані величини є ранжируваними:

I	d
qh 1 та	ks 1.	(29)
h 1	s 1

Сума qh:

d
qh qhs ks , (h 1, I ) ,	(30)

s 1

де qhs – коефіцієнт вагомості h-го показника, що задається s-м експертом.

Коефіцієнти компетентності експертів можуть бути обчислені за апостеріорними даними, тобто за результатами оцінки об'єкта.

Якщо експерти вимірюють об'єкти у порядковій шкалі методом ранжирування, тобто величини xish – ранги, то завданням обробки думки експертів є побудова узагальненого ранжирування за індивідуальним ранжируванням експертів. Процедура проводиться за допомогою матриці попарних порівнянь, тобто

			x
	1, якщо	x		kj
		ij
yij		xij		,	(31)
	0, якщо		xkj

де xij, xkj – ранги, що привласнюються j-м експертом, відповідно, i -му й k-му об'єктам. Зокрема, якщо експертами об'єкти ранжирувані у наступному порядку: О1 О2~О3 О4 О5, то матриця попарних порівнянь буде мати такий вигляд (табл. 5).

Таблиця 5 - Матриця парних порівнянь

i				k
	О1	О2	О3		О4	О5
О1	1	1	1		1	1
О2	0	1	1		1	1
О3	0	1	1		1	1
О4	0	0	0		1	1
О5	0	0	0		0	1

24

Якщо є d експертів, то кожен експерт пропонує своє ранжирування, якому відповідає матриця парних порівнянь, отже, кількість матриць

парних порівнянь дорівнює кількості експертів.

Для розрахунку різниці між побудованими матрицями застосовується наступна формула (метрика):

m
ysj	yiks	yikj	,	де s, j 1, d .			(32)
k 1

Формула (35) означає, що відмінність між матрицями виражена кількістю розрядних розбіжностей всіх елементів матриці й дозволяє визначити узагальнене ранжирування як матрицю попарних порівнянь.

Поняття найкращого узгодження на практиці називають медіаною (формула 33) – це така матриця парних порівнянь, в якої сума відстаней до всіх матриць є мінімальною.

				d m
			yik*	min	yikS	yik	.	(33)
				S 1 k 1
		Принцип побудови матриці
		1 чи 0 - модуль різниці змінних дорівнює 0 або 1.
1	yiks yik
2 Позначимо

d

yiks aik , s 1

де aik – це кількість голосів, наданих експертом за перевагу об'єкта в порівнянні з k -м об'єктом.

2 У результаті математичних перетворень маємо:

(34)

i -го

	s					d
d m			m
min	yik	yik	max yik aik				.	(35)
			i,k 1			2
S 1 k 1

4 Максимум за змінними yik, які набувають значення 0 або 1, досягається за умови

	1,	якщо	aik		d
					2
s								,	(36)
yik						d
	0,	якщо	aik		2

де d – кількість експертів.

25

Так як aik – це кількість голосів, відданих експертами за перевагу i-го об'єкта в порівнянні з k-м об'єктом, то в узагальненій матриці парних порівнянь yik-му елементу варто поставити 1, якщо більше половини експертів висловилися за цю перевагу. Таким чином, усі елементи узагальненої матриці парних порівнянь визначаються за правилом більшості голосів.

Визначення залежності між судженнями

Під час рішення цього завдання визначається компетентність експертів і проводиться узагальнене ранжирування. Для обліку компетентності вводиться коефіцієнт компетентності:

	1,	якщо	bik		1
					2
*
Yik						1 ,
	0,	якщо	bik			2

d

bik ks yik , i, k 1, m ,

s 1

де yik – елемент матриці.

½ показує, що i -й об'єкт можна вважати краще k-го.

(37)

(38)

Якщо відомі ймовірності p1,p2,...,pn виникнення кожної ситуації (кількість ситуацій), то можна побудувати узагальнене ранжирування, усереднене за всіма ситуаціями:

	n	d	m
yik*	min Ks p j			yiks	yikj	.	(39)
	j 1	S 1	K 1

Після перетворень одержуємо:

	1,	якщо	bik		d
					2
*
Yik						d .			(40)
	0,	якщо	bik			2

Приклад 5. У результаті проведення ранжирування чотирьох об'єктів п'ятьма експертами були впорядковані об'єкти (табл. 6). На підставі цієї таблиці необхідно побудувати матрицю парних порівнянь для кожного експерта й узагальнену матрицю.

26

Таблиця 6 - Вихідні дані

	Експерти			Об'єкти
		О1	О2		О3	О4
Е1		2	1		4	3
Е2		3	2		4	1
Е3		1	2		3	4
Е4		3	1		2	4
Е5		1	2		4	3

Розв’язання:

1 Будуємо матрицю парних порівнянь для кожного експерта. Для першого експерта:

Таблиця 7

i	Об'єкти (експерт 1), k
	О1	О2	О3	О4
O1	1	0	0	0
O2	0	1	0	0
O3	1	1	1	1
O4	1	1	0	1

Для другого експерта:

Таблиця 8

i	Об'єкти (експерт 2), k
	О1	О2	О3	О4
O1	1	1	0	1
O2	0	1	0	1
O3	1	1	1	1
O4	0	0	0	1

Для третього експерта:

Таблиця 9

i	Об'єкти (експерт 3), k
	О1	О2	О3	О4
O1	1	0	0	0
O2	1	1	0	0
O3	1	1	1	0
O4	1	1	1	1

27

Для четвертого експерта

Таблиця 10

	Об'єкти (експерт 4), k
i
	О1	О2	О3	О4
O1	1	1	1	0
O2	0	1	0	0
O3	0	1	1	0
O4	1	1	1	1

Для п'ятого експерта

Таблиця 11

	i			Об'єкти (експерт 5), k
				О1			О2			О3			О4
	O1			1			0			0			0
	O2			1			1			0			0
	O3			1			1			1			1
	O4			1			1			0			1
		Сумарна матриця
		Таблиця 12
	i			Об'єкти (експерт 5), k
				О1			О2			О3		О4
	O1			5		3			1			1
	O2			2		5			0			1
	O3			4		5			5			3
	O4			4		4			2			5
		Узагальнена матриця має вигляд:
		Таблиця 13
i			Об'єкти (експерт 5), k
			О1		О2			О3			О4
O1			1		1			0			0
O2			0		1			0			0
O3			1		1			1			1
O4			1		1			0			1

28

У загальній матриці кожен елемент сумарної матриці визначається з відношення d/2=5/2=2,5. Якщо елементи матриці більше або рівні 2,5, то їм привласнюється значення 1, якщо менше – то 0.

Висновок: О3>O4>O2>O1, де «>» означає «краще».

Вагові коефіцієнти показників можна знайти експертним шляхом. Якщо qhs – коефіцієнт ваги h-го показника, привласненого s-м експертом, то середній коефіцієнт ваги h-го показника за всіма експертами визначається за формулою

d
qh qhs ks,	h 1, I .	(41)

s 1

Коефіцієнт компетентності експертів можна обчислити за апостеріорними даними, тобто за результатами оцінювання об'єктів. Основною ідеєю цього обчислення є наступна гіпотеза: компетентність експертів оцінюється за ступенем погодженості їхніх оцінок із груповою оцінкою об'єктів.

Алгоритм обчислення коефіцієнта компетентності експертів у вигляді рекурентної процедури

Запишемо три формули середніх оцінок першого наближення:

d
xit xis kst	1 ,	i 1, m,	t 1,2,...;

s 1

	m	d
t xis xit ,
	i 1	s 1
kst	1	xis xit ,
	t

Обчислення починаються з t=1.

		1	m
	kst		xis xit ,
		t
			i 1

t 1,2,...;

s 1, d;			t 1,2,...

s 1, d;			t 1,2,...

(42)

(43)

(44)

(45)

У формулі початкові значення коефіцієнтів компетентності беруть

	однаковими й такими, які рівні k s0			1	.
				d
	Тоді групові оцінки	першого		наближення			дорівнюють середнім
						1	d
	арифметичним значенням оцінок експертів: xi1						xis .
						d
							s 1
	Потім обчислюють 1	за формулою

29