2.6.3. Взаимооценка экспертов (коллективная взаимная оценка)

Взаимная оценка представляет собой среднее значение оценки эксперта из оценок, назначенных всеми другими экспертами. Здесь может быть два пути.

Первый путь таков, когда каждый эксперт назначает количественную оценку своему коллеге. Затем определяется средняя оценка по каждому эксперту.

Такой подход основан на обстоятельстве того, что существует непосредственная связь между компетенцией специалиста и усредненной оценкой, которую он получает от своих коллег по работе. Метод оправдан при не большом количестве экспертов (n  15 человек) или, если в рассматриваемом коллективене существуетгрупп, которые специально предусматривают искусственное формирование завышенных приоритетов одних и занижение других членов этого коллектива.

Второй путь, при большом количестве экспертов (n  15), предусматривает следующие процедуры:

1. Каждый эксперт формирует всех экспертов, допустим в 3 группы, и назначает им уровни квалификации: выше средней, средней и ниже средней.

2. Затем эксперт ранжирует экспертов каждой подгруппы (от 1 до m), гдеm- число экспертов в подгруппе, значение которого должно быть не более 50% от общего состава группы.

3. Каждому эксперту присваивается оценка с учетом назначенного диапазона изменения оценок в рассматриваемой подгруппе (в рамках 1...10, с точностью до 1,0 или 0,5 балла).

4. На основе полученных оценок формируется матрица и определяется средняя оценка по каждому эксперту.

(2.2)

где средняя взаимная оценкаi-го эксперта;

- оценка, представленнаяi-му экспертуj-ым;

n - число экспертов, оценивающихi-го эксперта. Если какой-то эксперт плохо знает кого-то из своих коллег, то он может сделать прочерк, поэтому считают, что в любом случае при экспертизе должно бытьn  0,5 n.

Расчеты выполняют в табличной и матричной форме. Ниже приведен пример заполнения анкеты и определения взаимной оценки одним из экспертов

Таблица 2.3. Пример заполнения анкеты и определения взаимной оценки.

		Квалификация			Ранги по группам			Оценки экспертов
№	Ф.И.О. экспертов	 ср. 8-10	ср. 4-7	 ср. 1-3	 ср. 8-10	ср. 4-7	 ср. 1-3	 ср. 8-10	ср. 4-7	 ср. 1-3
1.		+			3			8
2.			+			5			5
3.		+			1			10
4.			+			4			5,5
5.			+			1			7
6.			+			3			6
7.				+			2			2
8.		+			2			9
9.				+			1			3
10.			+			2			6,5

Затем составляют матрицу оценок и среднюю оценку по каждому эксперту.

Считают, что для экспертизы можно допускать экспертов, средний уровень которых не ниже 6по шкале 0...10.

Кроме того, экспертную группу проверяютна согласованность.

Этот метод заключается в следующем.

1. Каждый эксперт (объект) дает оценку другим своим коллегам.

2. Определяют сумму баллов для каждого объекта

, (2.3)

где a_ij - рангi-го эксперта уj-го объекта.

3. Подсчитывают среднюю сумму баллов по выражению

. (2.4)

4. Вычисляют математическое ожидание оценок по всей матрице данных

. (2.5)

5. Определяют среднее квадратичное отклонение (стандарт) по зависимости

. (2.6)

6. Вычисляют коэффициент вариации по зависимости:

. (2.7)

По существующему опыту, принимают, что если:

V= менее 0,10 - согласованность среди экспертов высокая;

V= 0,11 ... 0,15 - согласованность выше среднего;

V= 0,16 ... 0,25 - согласованность средняя;

V= 0,26 ... 0,35 - согласованность экспертов ниже среднего;

V= более 0,36 - согласованности нет.