ATT00025-Экспертные оценки от Анохина

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

Трудно сформулировать объективный критерий качества экспертных оценок. Так, оценки, кажущиеся «бредовыми», крайне противоречивыми и неполными, могут на самом деле содержать рациональное зерно и новый, нетрадиционный взгляд на проблему. И наоборот, аккуратные, тщательно вписанные компетентными экспертами цифры довольно часто отражают господствующий стереотип, ничего нового не дающий для решения исследуемой проблемы. Невозможно дать универсальные рекомендации для распознавания подобных ситуаций - в каждом отдельном случае нужно полагаться на добросовестность и интуицию исследователя.

Очевидно, что наибольшее влияние на качество и достоверность высказываний эксперта оказывает уровень его специальных знаний (впервые это было продемонстрировано в исследованиях группы американских психологов еще в 30-е гг.). Основные методики, позволяющие оценить (в том числе и количественно) уровень качества полученных экспертных оценок, используют такие достаточно традиционные факторы как уровень компетентности эксперта, cтепень понимания им стоящей задачи, тщательность и аккуратность заполнения анкет, качество постановки и проведения экспертизы и др. Рассмотрим более подробно способы их формализации и анализа влияния (прямого или косвенного) этих факторов на качество оценок.

Компетентность экспертов. Широко известны несколько подходов к анализу компетентности экспертов, основанные на тестовых, документационных, взаимо- и самооценочных данных.

Методы взаимооценки и самооценки. Взаимооценка выполняется двумя способоми. В первом – каждый предполагаемый эксперт оценивает компетентность, объективность и другие качества всех остальных предполагаемых экспертов. Во втором – оценку качества предполагаемых экспертов осуществляет специальная аналитическая группа, участвующая в организации и проведении опроса.

При самооценке эксперт сам в достаточно детализованном виде определяет степень своего знакомства с предметом экспертизы и некоторыми специальными вопросами. На основании самооценки может быть определен коэффициент компетентности эксперта. Для каждого из l вопросов экспертного анализа (напомним, что l – число факторов, составляющих эвристическую модель предметной области) эксперт указывает

81

ГЛАВА 4

степень своего знакомства с данным вопросом – СЗ [0,1] (С =1 означает полную осведомленность, а С =0 – абсолютное незнание вопроса);

степень влияния (высокая, средняя, низкая) каждого из шести перечисленных в табл. 6 источников аргументации на ответ по данному вопросу. На основании структуры аргументации определяется сте-

пень аргументированности

CA = ∑6 CAi i =1

(значения CAi приведены в табл. 6 и являются количественной оценкой степени влияния аргументов).

	Шкала оценок источников аргументации			Таблица 6
N		Степень влияния (C i )
ï/ï	Источник аргументации				A
(i)		Высокая	Средняя		Низкая
1	Производственный опыт	0,5	0,4		0,2
2	Теоретический анализ	0,3	0,2		0,1
3	Обобщение работ отечественных	0,05	0,05		0,05
	авторов
4	Обобщение работ зарубежных	0,05	0,05		0,05
	авторов
5	Личное знакомство с состоянием	0,05	0,05		0,05
	дел за рубежом
6	Интуиция	0,05	0,05		0,05

Коэффициент компетентности j-го эксперта по k-му вопросу определяется как среднее арифметическое степени знакомства и аргументированности

Cj k=(CЗ+ СА)/2 . (1)

В качестве более грубой и приблизительной оценки компетентности может использоваться коэффициент осведомленности эксперта, определяемый как относительная способность эксперта отвечать на возможно большее число вопросов:

82

Cj = l j	∑m lj ,	(2)
	j = 1
где lj – количество вопросов, на которые может ответить j-й эксперт.
Подобным же образом определяется коэффициент активности
экспертов по каждому из исследуемых вопросов:
Еk= mk / m ,
где mk – количество экспертов, считающих себя компетентными по k-
му вопросу. Среднее значение этого коэффициента может служить
групповой оценкой компетентности коллектива экспертов.
Как показывает опыт, самооценка бывает достаточно точна;
имеющиеся данные свидетельствуют об обратной зависимости меж-
ду средней групповой ошибкой экспертизы и средней самооценкой.
Тестовый метод предназначен для проверки эрудиции и аналити-
ческих способностей эксперта. Для этого может быть использована
специальная анкета, содержащая тестовые вопросы или задачи, отра-
жающие специфику предмета экспертизы. В условиях ограниченного
времени (например, 5-10 минут) потенциальный эксперт дает ответы,
оцениваемые в баллах (от 1 до 5). В качестве теста может рассматри-
ваться прошлый опыт работы с экспертом, его оценки и показатели
участия в аналогичных экспертизах.
Можно также провести контрольную экспертизу с заведомо извест-
ным результатом. Это позволит оценить надежность эксперта, пред-
ложенную О. Хелмером, автором метода Дельфы. Под степенью на-
дежности	эксперта понимается относительная частота случаев, ког-
	ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

да эксперт приписал наибольшую вероятность гипотезам, которые
впоследствии оказались верными (подтвердились). Если эксперт рабо-
тает в коллективе, вводят понятие его относительной надежности
–
R j = Pj /P ,	–
где Pj – степень надежности j-го эксперта, P – средняя степень надеж-
ности группы из m экспертов.
Документационный метод предполагает оценку компетентности
эксперта на основании таких объективных документальных данных
как число публикаций и ссылок на его работы, ученая степень, стаж,
занимаемая должность и т.д. В монографии [11] упоминаются также

83

ГЛАВА 4

следующие качества, позволяющие делать выводы о продуктивности ученых (а следовательно, и о компетентности, т.к. экспертное оценивание – та же исследовательская работа, да и сами ученые нередко выступают в качестве экспертов):

возраст (отмечается, что основной пик продуктивности ученого наступает в возрасте около 40 лет, а примерно через 10-15 лет после этого наступает второй пик);

разносторонность (чем больше число различных функций выполняет ученый и чем больше областей его специализации, тем выше продуктивность);

степень новаторства (гибкости) и консерватизма (кумулятивного опыта), проявляемых экспертом (одним из показателей этого качества является продолжительность работы над данной проблемой, причем молодые ученые больше выигрывают от продолжительной работы над одной проблемой, чем их старшие коллеги);

мотивация и увлеченность работой (ученые, глубоко увлеченные своей работой, всегда способны на наивысшую продуктивность);

коммуникация, контакты с коллегами, участие в конференциях, семинарах и т.д.;

оригинальность (научное творчество предполагает наличие оригинальности, однако продукты оригинальности могут и не быть творческими);

стиль подхода к работе (предпочтение глубоко разрабатывать некоторые узкие проблемы или стремление к обобщающему подходу и абстрактным понятиям – последнее способствует повышению продуктивности);

уровень карьеры (соответствие определенного возраста, званий, авторитета, занимаемой должности и т.д.).

Известны также способы определения компетентности эксперта по результатам обработки экспертных оценок. Мерой компетентности при этом может служить степень влияния данного эксперта на общую согласованность группы (этот случай более подробно будет рассмотрен в разд. 5.4) либо относительная частота вхождения эксперта в элитные высокосогласованные группы (см. разд. 5.3).

Противоречивость оценок. Самосогласованность оценок эксперта и последовательность его суждений является важнейшим показателем качества экспертизы. Противоречивые оценки свидетельствуют

84

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

о непонимании экспертом смысла исследуемых понятий, неудачном
выборе шкалы и способа оценивания или просто об отсутствии у экс-
перта устоявшегося взгляда на анализируемую проблему.
Противоречивость оценок обнаружить нелегко. Одним из наибо-
лее эффективных способов является введение в модель избыточных
(априорно коррелирующих друг с другом) факторов, как это было по-
казано в разд. 2.5.
В противном случае противоречия можно выявить лишь в парных
сравнениях, когда противоречивость (несовместность) оценок прояв-
ляется в форме нарушения свойства транзитивности и образования
петель в многоугольнике предпочтений. Коэффициент непротиворе-
чивости оценок
η			=1 −		γ / γ max ,			(3)
где γ		– число высказанных экспертом противоречивых суждений,
γ	max – максимально возможное число противоречивых суждений
				при парном сравнении данного количества объектов.
Диапазон значений – η [0,1]. Значение 1 соответствует абсолют-
ной непротиворечивости оценок, 0 – полностью противоречивой мат-
рице. Рассмотрим вычисление величин γ и γ max для различных случа-
ев использования парных сравнений: классификации, простого упоря-
дочения и слабого упорядочения n							объектов.
При классификации матрица парных сравнений содержит значения
	π		ij	=	1, если объекты ai и aj эквиваленты (ai aj ),
				{ 0 – в противном случае.
Суждение противоречиво, если ai aj , aj al , ai / al .
При простом упорядочении элементы матрицы
π			ij	=	1, если ai предпочтительнее, чем aj (ai > aj),
				{ 0 – в противном случае.
Суждение противоречиво, если ai >aj , aj >al , al >ai .
Для случаев классификации и простого упорядочения
γ max =					{n (n2 –1) / 24, если n – нечетно,
					n (n2 – 4) /24, если n – четно,
γ =				1 n	(n −1) (n − 2) − 1 ∑n S	(S		−1) ,
				6	2 i =1 i		i

85

ГЛАВА 4

где S i = ∑n

π

ij – строчные суммы матрицы П.

j

=1

При слабом упорядочении, когда в парных сравнениях допуска-

ются равноценные объекты, возможны следующие нарушения свой-

ства транзитивности:

ai >aj , aj >al , al >ai

, ai =aj

, aj =al , ai >al , ai >aj , aj >al , ai = al .

Число троек объектов, на которых произошло нарушение свой-

ства транзитивности соответствующего типа, обозначим через γ 1, γ

2 ,

γ 3 . Тогда

γ = γ1 + γ 2

+ γ 3

γ

1

= 1

∑n∑

n b

ij

a

ji

,

γ

3

= ∑n

∑

n b

ij

(1− d

ij

)

,

3 i

=1 j =1

i

=1 j =1

γ

2

=

n

∑n ∑

n d

ij

+ 1

∑n

∑n

c

ij

d

ij

−∑ ∑n n

c

ij

,

2 i =1

j =1

2 i =1

j =1

i =1 j=1

1, если ai предпочтительнее, чем aj ,

где aij ={0 – в противном случае;

bi j

=

∑n aik akj ;

сi j

= ∑n d ik dkj ;

dij = aij + aji .

k

=1

k =1

(13 n3 –24 n2 – 4 n) / 96, если n =4 k,

γ

=

(13 n3 – 24 n2 –19 n +30) / 96, если n=4k+1,

max

(13 n3 – 24 n2 – 16 n) / 96 , если n=4 k+2 ,

(13 n3 – 24 n2 – 19n+18) / 96 , если n=4 k+3 .

Качество постановки опроса. О качестве подготовки эспертизы можно судить не только по степени противоречивости оценок, но и по ряду других косвенных признаков. Так, многочисленность ответов «не знаю», «не понял» свидетельствует об усложненной постановке вопросов, полное совпадение мнений – о стандартной (стереотипной) постановке, большое число замечаний – о неудачной формулировке целей и задач экспертизы, отказы от ответов – о плохом объяснении или неудачной структуре анкеты.

86

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

Выводы

1.Проведение экспертного опроса включает в себя подбор экспертов, выбор метода проведения опроса, заполнение анкет, анализ качества оценок.

2.На подбор экспертов влияют следующие факторы: сложность и широта (абстрактность) проблемы, время и средства, заинтересованность экспертов в результате, субъективные факторы.

3.Методы проведения опроса делятся на очные и заочные, индивидуальные и групповые. Среди групповых методов наиболее распространены методы комиссии, суда, мозговой атаки, Дельфы. С групповым опросом связана проблема определения численности группы, сохранения конфиденциальности и другие этические и психологические моменты, в том числе оплата труда эксперта.

4.Основными показателями качества оценок являются их непротиворечивость и компетентность экспертов. Для анализа компетентности используются методы взаимо- и самооценки, тестовый и документационный методы. Противоречивость оценок обнаруживается введением в модель избыточных факторов либо в виде нарушений транзитивности в парных сравнениях.

87

ГЛАВА 5

Глава 5

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

Целью обработки оценок является получение обобщенного мнения на основании множественных суждений экспертов. Совместной обработке обычно подлежат оценки, полученные в ходе одной экспертизы. Из-за возможных существенных различий в организации каждая экспертиза разрабатывается отдельно, а методы обработки зависят от типа шкалы, по которой производилось оценивание, способа оценивания, формы проведения опроса и характера полученных результатов. В отличие от методов обработки, последовательность обработки универсальна и включает, как правило, четыре основных этапа:

унификацию результатов, состоящую в преобразовании результатов экспертизы (экспертных оценок) в форму, пригодную и удобную для обработки;

анализ согласованности мнений экспертов, принимавших участие в экспертизе;

выделение высокосогласованных подгрупп, характеризующихся близостью мнений входящих в них экспертов;

синтез обобщенного мнения (мнений), состоящий в объединении частных оценок в общий итоговый показатель.

Рассмотрим более подробно каждый из перечисленных этапов.

5.1. Унификация результатов

Рассмотрим основные виды результатов, которые могут быть получены в ходе одной экспертизы. В зависимости от используемого метода оценивания и шкалы результатом работы одного эксперта, анализирующего n объектов в одной экспертизе, являются

88

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

вектор рангов – R={ri | i=1...n};

вектор относительных значимостей – Λ ={λ i | i=1...n}; матрица парных сравнений – П={π ij | i, j =1...n}; вектор идентификаторов – C ={ci | i=1...n};

вектор оценок – X={xi | i=1...n}.

Вектор рангов (ранжирование) отражает выполненное одним экспертом ранжирование n объектов (ri – ранг i-го объекта). Напомним, что известны три вида ранжирований – простые, слабые и частичные. Исключим из рассмотрения частичное ранжирование, которое можно интерпретировать как разделение всей совокупности объектов на несколько непересекающихся групп, внутри которых выполнено простое или слабое ранжирование (хотя на практике получить непересекающиеся группы удается далеко не всегда из-за нарушения транзитивности оценок). Простое (строгое) ранжирование должно удовлетворять следующим условиям.

1. Ранг наиболее предпочтительного объекта должен равняться единице, а ранг наименее предпочтительного объекта – n.

2. Все присвоенные ранги должны быть натуральными числами, среди которых отсутствуют одинаковые.

3. Сумма рангов, полученная в результате ранжирования n объектов, равна сумме чисел натурального ряда – SN = n(n+1)/2.

Слабое ранжирование отличается от простого наличием равных рангов. Когда эксперт не в состоянии различить несколько объектов, он присваивает им один и тот же ранг. Такие ранги называются связными (в литературе также встречаются и другие названия – стандартизированные, объединенные, связанные, неразличимые). Связный ранг определяется как среднее арифметическое мест, поделенных между собой объектами с одинаковыми рангами

r*l = t1l k∑t=l 1rk ,

где tl – количество связных рангов в l-й группе, r*l – связный ранг l-й группы.

Рассмотрим пример слабого ранжирования 10 объектов (табл.7). Выделяются две группы объектов, поделивших места 1-3 (объекты 1, 5, 6; t1=3) и места 6-7 (объекты 4, 7; t2=2). Связные ранги этих групп

89

ГЛАВА 5

			Вычисление связных рангов						Таблица 7
Объекты	1	2	3	4	5	6	7	8	9	10
Места	1-3	9	10	6-7	1-3	1-3	6-7	4	5	8
Ранги	2	9	10	6,5	2	2	6,5	4	5	8

r	* =(1+2+3) /3=2; r*=(6+7)/2=6,5.
	1	2
Несмотря на то, что ранги обозначаются числами (натуральными
и вещественными), они не являются численной мерой предпочтения и
не несут количественной информации. К рангам невозможно приме-
нить арифметические операции, хотя в ряде случаев, особенно на эта-
пе интерпретации оценок, это бывает необходимо. При наличии ин-
формации о расстояниях между объектами, занимающими соседние
места, вектор рангов можно было бы преобразовать в более сильный
вектор относительных значимостей. Если же этой информации нет, то
можно воспользоваться формулой, пересчитывающей ранги в норма-
лизованные относительные значимости, исходя из предположения о
равенстве расстояний
λ	i	=	2(n +1− ri )	.
			n (n +1)

Результатом пересчета является линейная убывающая последовательность. В действительности же это преобразование нельзя считать корректным, т.к. реальные расстояния неизвестны, они могут сильно отличаться друг от друга, не подчиняясь при этом ни одному из законов распределения.

Вектор относительных значимостей отражает мнение одного экс-

перта об относительных значимостях n объектов (λ i – относительная значимость i-го объекта). В различных работах и публикациях встречаются также синонимы относительной значимости – относительный вес, вклад, важность, предпочтительность, приоритет и т.д.

Основным требованием к унификации вектора относительных значимостей является его нормированность. Нормирование выполняется приведением суммы элементов вектора к единице (для получения процентных соотношений нормированные относительные значимос-

90