Конспект Математическое моделирование. Автор: профессор МГОТУ Вилисов В.Я

Самой информативной является абсолютная шкала. Все остальные шкалы являются более грубыми по отношению к ней. Измерения, не различимые в более грубых шкалах, различимы в абсолютной шкале.

Особенности шкал проявляются в том, какие преобразования (x) над измерениями

допустимы, без изменения их значений в данной шкале.

Абсолютная шкала позволяет измерить объекты в конкретных, заданных эксперту единицах (рублях, днях, кг., …).

Пример.

Трудоемкость проекта, выполненного каждым из двух подрядчиков, измеренная в человеко-днях, составит, например, соответственно 100 и 200. Любые преобразования этих значений (умножение и/или прибавление к ним какого-то числа) приведѐт к изменению исходных оценок (100 и 200), а значит и к изменению последующих характеристик проекта, например, его стоимости.

▲

Шкала отношений применяется там, где необходимо иметь характеристики отношения объектов. Для этой цели масштаб измерения не играет роли.

Пример.

Пусть в предыдущем примере цель экспертизы заключается в том, во сколько раз трудоѐмкость работ в исполнении вторым подрядчиком будет больше чем первым. Здесь единица измерения трудоемкости (человеко-дни, человеко-года, …) не имеет значения, и каждый эксперт может выбрать свою единицу. Важен лишь результат - отношение трудоемкостей. Т.е. умножение абсолютных единиц измерения на некоторое число не изменит отношение величин.

▲

Шкала разностей позволяет оценивать, насколько некоторая характеристика одного объекта превышает характеристику другого, в отличие от шкалы отношений, где определяется - во сколько раз.

Пример.

Если перед экспертами стоит задача определения, на сколько человеко-дней трудоемкость одного подрядчика будет выше трудоѐмкости другого, то одни эксперты могут принимать во внимание то, что часть работ оба подрядчика могут отдать для выполнения другим организациям, а другие – что оба подрядчика всѐ выполняют сами. Важна лишь разность. Т.е. прибавление или вычитание к абсолютным значениям некоторого числа не повлияет на результат – оценку разности.

Эти свойства позволяют сравнивать варианты хозяйственных операций по маржинальной прибыли (без постоянных затрат).

▲

Шкала интервалов обладает свойствами двух предыдущих типов шкал и применяется там, где необходимо измерить отношение разностей некоторых характеристик объектов, т.е. во сколько раз приращение одного больше приращения другого.

Пример.

Пусть перед экспертами стоит задача: определить, во сколько раз больше превышение трудоемкости одного нового алгоритма относительно старого варианта, чем превышение трудоемкости другого нового алгоритма относительно того же старого варианта.

▲

Шкала порядка необходима там, где надо лишь упорядочить объекты (ранжировать, выстроить по порядку). Для оценивания объектов по этой шкале каждый из экспертов может пользоваться любым правилом упорядочения, главное требование заключается в том, чтобы для (x) сохранялась монотонность.

Пример.

Пусть экспертам необходимо ранжировать все новые варианты алгоритмов по их трудоемкости. Тогда каждый из них может пользоваться своими единицами измерения

31

трудоѐмкости: человеко-часами, количеством операторов и т.п. Важно лишь то, чтобы более сложным соответствовали большие значения в тех или иных шкалах.

▲

Номинальная шкала применяется в тех случаях, когда необходимо разбить объекты по классам, эквивалентным по тем или иным признакам (по классам эквивалентности).

Пример.

Известно, что если при разработке программного обеспечения используется технология структурного программирования, то алгоритмически законченный блок должен содержать 50...60 операторов. Пусть эксперт решает задачу классификации вновь создаваемых алгоритмов на простые (состоящие из одного блока) и сложные (состоящие из нескольких блоков). Т.е. если даже для разных объектов абсолютные значения и отличаются, но в определѐнных пределах, то эти объекты считаются идентичными (относящимися к одному классу).

▲

Таким образом, точность измерений снижается от абсолютной шкалы к номинальной.

4.2. Ранжирование объектов

Ранжирование – это процедура упорядочения объектов, выполненная экспертом.

В	результате ранжирования каждому	объекту ai	из множества альтернатив
a1 , a2 ,	an ставят в соответствие натуральное число		ri , как место i – го объекта в
ряду упорядоченных объектов. Числа r1 , r2 , rn		называются рангами.

Наиболее предпочтительному объекту присваивается 1-й ранг, следующему по предпочтительности – 2-й ранг и т.д. Для эквивалентных объектов назначают одинаковые ранги, равные среднему арифметическому рангов, присваиваемых одинаковым объектам.

Результатом ранжирования является ранжировка R – это совокупность числовых значений рангов объектов. Множество ранжируемых объектов может иметь несколько ранжировок, например, выполненных разными экспертами. Так ранжировка, выполненная k- м экспертом: Rk r1k , r2k , ..., rnk .

Пример. Множество упорядоченных объектов может иметь вид

a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 ,

где символом " " обозначен, что объект, стоящий слева, более предпочтителен, чем объект, стоящий справа; символом " " обозначена эквивалентность объектов.

	В	этом	примере	объектам a1 , a2 , a6 , a7 , a8		присваиваются		соответственно	ранги
r1 1; r2 2; r6			6; r7 7; r8 8 .		Ранги объектов a3 , a4 , a5		будут одинаковыми и равными:
r3	r4	r5 (3 4 5) / 3 4 . Аналогично одинаковыми					будут ранги объектов a9		и a10 :
r9	r10	(9 10) / 2 9.5 .		Тогда	ранжировку этой	группы объектов		можно записать так:
R 1,		2, 4, 4, 4, 6, 7, 8, 9.5, 9.5 .

▲

Практика показывает, что при числе объектов, большем 15-20, эксперты затрудняются их ранжировать.

4.3. Парные сравнения

Парные сравнения устанавливают взаимные предпочтения всех возможных пар объектов. Т.е. для любой пары объектов ai , a j эксперт устанавливает: ai a j либо a j ai .

Все парные сравнения записывают в виде таблицы или матрицы, где строки и столбцы соответствуют объектам, а элементы матрицы соответствуют числовым значениям предпочтений.

Варианты заполнения матриц парных сравнений.

32

Дискретное представление результата парных сравнений.

	Числовое			представление результата ( bij ) сравнения пары объектов ai и a j
осуществляют обычно одним из следующих двух способов:
		2,		если	ai	a j
	bij				ai	a j .
1.		1,		если
					ai	a j
		0,		если
			1,	если	ai		a j
	bij				ai		a j .
2.			0,	если
		1,		если	a	i	a	j

Пример. В таблице приведены парные сравнения трѐх объектов одним экспертом при использовании первого варианта представления bij .

ai		a j
	a1	a2	a3
a1	1	2	0
a2	0	1	2
a3	2	0	1

По диагонали матрицы парных сравнений (МПС) проставлены единицы т.к. каждый объект эквивалентен самому себе.

Из матрицы следует, что объект a1 предпочтительнее объекта a2 , объекту a3

предпочтительнее объект a1 и т. д. Из этой МПС можно получить МПС второго типа путѐм вычитания из каждого элемента 1.

▲

Непрерывное представление МПС (Метод Неймана-Моргенштерна).

Здесь при сравнении объектов ai		и a j рассматривается непрерывная шкала значений
оценок bij 0;	1 , а не дискретная bij 0;		1; 2 .
Такие оценки интерпретируются как смешанные стратегии матричных игр: из двух
объектов { ai ,	a j } с вероятностью	p	эксперт отдаѐт предпочтение объекту ai , а с

вероятностью (1 p ) - объекту a j . Непрерывное представление позволяет эксперту более

тонко дифференцировать степень предпочтения объектов.

Пример. Предыдущий пример при непрерывном представлении может иметь, в частности, следующий вид.

ai		a j
	a1	a2	a3
a1	0.5	0.7	0.2
a2	0.3	0.5	0.6
a3	0.8	0.4	0.5

▲

33

4.4. Обработка матрицы парных сравнений (один эксперт)

Матрицы парных сравнений являются удобной формой получения данных от эксперта. На их основе обычно ранжируют объекты, измеримые в абсолютной шкале или шкале порядка.

Пусть выполнены парные сравнения n объектов, т.е. известны элементы МПС B bij nn

. Для элементов матрицы выполняется условие нормировки вида bij bji 1.

Задача заключается в том, чтобы по МПС найти вектор весов объектов

n

p p1 , p2 , ..., pn T , для которых должно выполняться условие нормировки: pi 1.

i 1

Метод сложения.

Самый простой и универсальный способ обработки МПС, представленной в дискретной или непрерывной форме, заключается в сложении элементов строк. Полученная сумма отражает общий вес предпочтительности i-го объекта по сравнению со всеми другими:

n

pi bij . j 1

Часто используют нормированную форму весов:

	n
	bij
pi	j 1
		.
	n n
	bij
	i 1 j 1

Пример. Пусть матрица парных сравнений имеет вид:

0.5	0.7	0.2
B 0.3	0.5	0.9 .
0.8	0.1	0.5

Тогда, вектор нормированных весов, полученных методом сложения, следующий:

0.31 p 0.38 .

0.31

Метод перемножения.

Интерпретируя элементы bij МПС по Нейману-Моргенштерну, как вероятность того, что i -й объект предпочтительнее j - го, можно вычислить вероятность того, что i -й объект

предпочтительнее всех других, как произведение вероятностей событий. Учитывая условие нормировки, получаем:

	n
	bij
pi	j 1
		.
	n n
	bij
	i 1 j 1

Пример. Пусть МПС та же, что и в предыдущем примере, тогда получим:

0.29 p 0.55 .

0.16

34

Видно, что векторы весов метода сложения существенно отличаются от метода перемножения.

Ранжировать эти объекты, с учѐтом вычисленных вероятностей можно так: a2 a1 a3 , а их ранжировка: R 2, 1, 3 .

▲

Метод, основанный на аксиоме Льюса.

Сущность аксиомы заключается в том, что отношение вероятности i - го объекта к вероятности j - го объекта не зависит от количества и типа других объектов в ранжируемом множестве:

	p	i		bij	const .
	p j			b ji

Откуда:

pi b ji p j . bij

Просуммируем обе части по j (т.е. для каждой строки МПС) и после преобразований

получим:
pi		1			.
		b ji
		n
			b
		j 1 ij
Пример. По МПС из предыдущего примера, получим следующие оценки на основе
аксиомы Льюса:
	0.18
p	0.29 .
	0.10
		n
Здесь pi					1. После нормировки получим:
		i 1
	0.32
p		0.51 .
	0.17

Эти оценки близки к тем, которые получены методом перемножения. Рассмотрим, насколько этим оценкам можно доверять.

Анализ МПС показывает, что эксперт из-за низкой квалификации или дефицита информации об объекте плохо выполнил парные сравнения. Проявилось это в нарушении

транзитивности: a1 a2 (т.к. b12 0.7 ); a2 a3 (т.к. b23 0.9 ); a3 a1 (т.к. b31 0.8 ). В

такой ситуации дальнейшие действия могут быть следующими:

парные сравнения следует выполнить другим экспертом;

повторить парные сравнения тем же экспертом, но после сообщения ему дополнительных сведений об объекте.

Пусть после повторной экспертизы предпочтения изменились таким образом, что в МПС b23 0.1; b32 0.9 . При этом транзитивность уже не нарушается. Новый вектор оценок примет вид:

0.18 p 0.09 .

0.73

35

▲

Прежде чем строить оценки любым из методов, следует проверить данные МПС на транзитивность.

Примечание. В данном разделе показано, как можно ранжировать объекты, если имеется матрица парных сравнений. Возможна и обратная процедура – если объекты ранжированы, то можно построить матрицу их парных сравнений. Т.е. эти две формы представления предпочтительности объектов взаимнооднозначны (только для дискретных МПС).

4.5. Обработка данных групповой экспертизы

Пусть в экспертизе участвуют K экспертов, каждый из которых сформировал МПС. При этом возникают следующие задачи:

оценить показатель компетентности каждого из экспертов для учѐта его вклада в итоговую ранжировку объектов по группе экспертов;

объединить мнения всех экспертов и построить единую ранжировку объектов.

Рассмотрим три наиболее известных подхода к решению второй задачи, полагая пока, что 1-я решена и эксперты равнокомпетентны.

1. Суммирование рангов объектов.

Поскольку ранг отражает степень предпочтительности объекта, то при известных коэффициентах компетентности k суммарный ранг:

K
ri k rik	,
k 1
где rik - ранг i	– го объекта, присвоенный		k –	м экспертом. Для	k обычно	должно
	K
выполняться условие нормировки: k		1.
	k 1
Тогда на	основании упорядоченного		ряда	суммарных рангов	объектов	можно

упорядочить и объекты по их предпочтительности.

Пример. Пусть три объекта ранжированы тремя экспертами, а ранжировки приведены в

таблице.
	Эксперты		Объекты ( j )				k
	( k )	1		2		3
	1	1		2		3	1
	2	1		2		3	1
	3	2		1		3	1
	Сумма	4		5		9
	рангов
	Здесь суммарные ранги можно упорядочить так: r1 r2								r3 , а значит и объекты по их
предпочтительности выстроятся так:						a1 a2	a3 . И если далее перейти к стандартной

ранжировке, как номеру места в ряду объектов, то итоговая ранжировка будет такой:

R 1, 2, 3 . Т.е. итоговая ранжировка совпадает при равной компетентности экспертов с

мнениями первых двух экспертов, а это можно интерпретировать, как правило большинства

– итоговое мнение совпало с мнением большинства экспертов.

▲

На практике, когда экспертов больше и/или объектов больше чем в данном примере, одинаковых ранжировок может и не быть, но метод суммирования рангов также применим.

36

2. Построение медианы Кемени – т.е. такой ранжировки (или матрицы парных сравнений), которая была бы в каком-то смысле средней по множеству ранжировок экспертов.

Опр. Расстоянием Кемени для двух МПС - A aij nn и B bij nn называют:

D( A, B) 1 n n aij bij . 2 i 1 j 1

Пример. Пусть две МПС имеют вид:

		0 1		1		0	1 1
	A 1 0			1 ;	B 1		0 1
		1 1		0		1 1 0
Тогда расстояние Кемени составит:
	D(A, B) 4 .
	▲
Опр. Медиана Кемени для множества K МПС – это такая МПС A , сумма расстояний
Кемени до			которой		от всех		K МПС, соответствующих ранжировкам экспертов, Ak
						K
минимальна:			AMK	arg min D( A, Ak )
					A	k 1

Медиана Кемени, в общем случае, может не совпадать ни с одной из имеющихся МПС,

однако, еѐ можно искать лишь среди имеющегося набора МПС Ak .

Пример. Пусть три объекта ранжированы тремя экспертами, а ранжировки приведены в таблице.

Эксперты		Объекты ( j )
( k )	1		2		3
1	1		2		3
2	1		2		3
3	2		1		3

Таблица всех возможных ранжировок для трѐх объектов состоит из 13 вариантов:

	Номер					Сумма
						расстояний	Сумма
	ранжи		Пред-
					Ранжировки	Кемени S j до	квадр.
	-	почтения
						ранжировок 3-	расст.
	ровки
						х экспертов
	1	a1	a2	a3	{1, 2, 3}	0+0+2=2	4
		a1	a2	a3	{1.5, 1.5, 3}	1+1+1=3
	2							3
	3	a2	a1	a3	{2, 1, 3}	2+2+0=4	8
	4	a2	a1	a3	{2.5, 1, 2.5}	3+3+1=7	19
	5	a2	a3	a1	{3, 1, 2}	4+4+2=10	36
	6	a2	a3	a1	{3, 1.5, 1.5}	5+5+3=13	59
	7	a3	a2	a1	{3, 2 ,1}	6+6+4=16	88
						37

8	a3 a1	a2	{2.5, 2.5, 1}	5+5+5=15	75
9	a3 a1	a2	{2, 3, 1}	4+4+6=14	68
10	a1 a3	a2	{1.5, 3, 1.5}	3+3+5=11	43
11	a1 a3	a2	{1, 3, 2}	2+2+4=8	24
12	a3 a2	a1	{3, 1.5, 1.5}	1+1+3=5	11
13	a1 a2	a3	{2, 2 ,2}	3+3+3=9	27

Последняя колонка используется в следующем п.3 (средняя ранжировка по Кемени). Графически эти ранжировки (их коричневые номера проставлены у точек, среди

которых синие соответствуют ранжировкам 3-х экспертов) и расстояния Кемени между ними (зелѐные цифры) можно представить следующим образом:

		1
	2	1	1	12
3
	1				1
		2	2			11
1	2	13		2		1
4						10
1		2	2			1

5	1			1	9
	6	1	1	8

7

Рассмотрим, например, как вычисляется расстояние Кемени между ранжировками 4 и 5,
для которых соответственно R4 2.5, 1,	2.5 ,	R5 3, 1,	2 . Дискретные матрицы

парных сравнений для них будут соответственно:

0	1	0	0	1	1
B 4 1	0 1 ;		B5 1 0		1	.
0	1	0	1	1	0

Тогда:

		1	n	n			1		1
	D(B4 , B5 )				bij4 bijk			(0 0 1 0 0 0 1 0 0)		(2) 1
		2 i 1					2		2
				j 1

Задача выбора одной из этих 13 ранжировок в качестве медианы Кемени заключается в переборе всех 13 точек с подсчѐтом для каждой из них суммы расстояний Кемени от всех точек-ранжировок экспертов до данной точки и с последующим выбором той из 13-ти точек, для которой эта сумма оказалась минимальной.

Так, например, сумма для 4-ой точки	( S 4 )	рассчитывается следующим образом.
Ранжировка для 4-й точки такая: R4 2.5, 1,	2.5 .	А МПС, соответствующая ей:

38

0	1	0
B 4 1	0	1 .
0	1	0

Обозначим ранжировки, предложенные экспертами, соответственно Q1 ,Q2 ,Q3 , которые

соответствуют 1-й, 1-й и 3-й ранжировкам (см. табл.):											Q1 1, 2,	3 ,	Q2 1,	2, 3 ,
Q3 2,	1, 3 . Соответствующие им матрицы обозначим C1 ,C 2 ,C 3 :
	0	1	1		0	1	1		0	1	1
C1 1		0	1	; C 2	1	0	1	; C 3	1	0	1 .
	1	1	0		1	1	0		1	1	0

Тогда S 4 D(B4 ,C1 ) D(B4 ,C 2 ) D(B4 ,C3 ) 3 3 1 7 . Аналогично вычисляются и

остальные.

В нашем примере надо перебрать 13 точек-кандидатов, для каждой из которых будет по 3 слагаемых – парных расстояний Кемени до точек, соответствующих ранжировкам, предложенным 3-мя экспертами. Результаты приведены в 4-й колонке таблицы. Они могут быть вычислены и как кратчайший пути на графе (минимальная суммарная длина дуг).

В результате расчѐтов медианой Кемени является первая из ранжировок {1, 2, 3}.

▲

3. Построение средней ранжировки Кемени (далее – Среднее Кемени).

Опр. Среднее Кемени для множества К МПС – это такая МПС A , до которой от всех К

K

МПС сумма квадратов расстояний Кемени минимальна: AСK arg min D2 ( A, Ak ) .

A k 1

В этом методе учитывается не абсолютные значения расстояний Кемени, а их квадрат.

K

Пример. (продолжение) Значения всех D2 ( A, Ak ) для предыдущего примера

k 1

приведены в 5-й колонке таблицы, откуда видно, что наилучшей является ранжировка 2 (на

графике эта точка	помечена желтой заливкой). Эта ранжировка ( R2 1.5, 1.5,		3 и
соответствующие	предпочтения a1 a2 a3 ) не является	одной из предложенных
экспертами и может быть интерпретирована, например, так:		поскольку мнения экспертов

расходятся (противоположенные) в оценках рангов первых двух объектов, то эти объекты считаются эквивалентными.

4.6. Оценивание качества экспертов

На практике эксперты не всегда являются эффективными «измерительными приборами». Их качество можно представить рядом характеристик, существенные из которых следующие:

компетентность;

креативность (творческое отношение к задаче);

отношение к экспертизе;

конформизм (подверженность влиянию авторитетов);

аналитичность и широта мышления;

конструктивность мышления (прагматичность);

коллективизм (этика поведения);

самокритичность (самооценка).

Эти характеристики непосредственно не связаны с объектами экспертизы, носят качественный характер. Их обычно учитывают на этапе отбора экспертов из некоторой расширенной группы претендентов.

39

При обработке данных экспертизы часто используют лишь показатели компетентности в виде весовых коэффициентов.

Оценивание компетентности экспертов.

Воспользуемся алгоритмом решения задачи о лидере.

Пусть множество экспертов оценивают компетентность друг друга в определѐнной предметной области по бинарной шкале:

	1,	если j й счѐл i г о эксперта компетентным
xij		если j й НЕ счѐл i г о эксперта компетентным
	0,

т.е. число единиц в i-й строке матицы X xij KK – это количество экспертов (из общего

количества К), признавших i-го эксперта компетентным. Тогда, простейший вариант оценки компетентности можно вычислить так:

		K
		xij
		j 1
	i		, i 1, K .
		K K
		xij
		i 1 j 1

В этой оценке не учтены показатели компетентности экспертов, формирующих матрицу X. Т.е. оценка коэффициентов компетентности должна иметь рекурсивную структуру:

	K
	hj	1 xij
h	j 1
				, i 1, K		, h 1, 2, ,
	K K
i
	hj		1 xij

i 1 j 1

где предыдущие оценки следует использовать в итерационной процедуре как оценки 0-го шага.

Эта процедура сходится за 3-4 шага даже для К=10-20. В результате будет получена совокупность коэффициентов компетентности экспертов 1 , 2 , K , .

Тогда j можно использовать при вычислении суммарного ранга:

K

ri j rij , j 1

где rij - ранг i – го объекта, присвоенный j – м экспертом. Для j обычно должно

K

выполняться условие нормировки: j 1.

j 1

Пример. Пусть 3 эксперта, участвующие в предыдущей экспертизе, оценили друг друга следующим образом:

Эксперты		Эксперты ( j )				j по шагам итераций
( i )
	1		2		3	0	1	2
1	1		1		1	0.4285	0.4118	0.4146
2	1		1		0	0.2857	0.2941	0.2927
3	1		0		1	0.2857	0.2941	0.2927

Таким образом, если достаточно двух знаков, то уже на 0-й итерации коэффициенты компетентности экспертов можно принять (с учѐтом условий нормировки) соответственно:

0.42; 0.29; 0.29.

▲

Оценивание согласованности мнений экспертов.

Мнения экспертов в группе обычно расходятся. Степень расхождения может быть разной. Большое расхождение может свидетельствовать либо о плохом подборе группы либо о низком качестве предоставленной экспертам информации об объекте экспертизы.

40