4. Оценка качества экспертов персоналом рабочей группы.

Цель этой экспертизы - получить количественную характеристику заинтересованности эксперта в данной работе, оценить его собранность и активность в ходе опроса (К_РГ). Эту оценку дают технические работники, которые проводят опрос.

В этом случае применяют также 10-бальную шкалу.

Члены рабочей группы, уполномоченные для этой цели, дают оценку персонально каждому эксперту. Затем определяют усредненную оценку по каждому эксперту.

5. Статистические оценки качества экспертов.

Среди множества статистических методов определения качества экспертов, наиболее применимым является метод оценки по отклонению от среднего мнения экспертной группы, считая это мнение за истинное значение. В этом случае определяют дисперсию или стандарт согласно теории случайных процессов, как это сказано выше.

При оценке качества продукции несколько другим по форме является метод, основанный на использовании «коэффициента конкордации». Суть этого метода заключается в следующем.

1. Каждый эксперт ранжирует все объекты, параметры, исследуемых экспертов и т.п. Каждому объекту… присваивает свой уровень, находящийся в рамках общего количества объектов. Например, если пять объектов, то ранжирование осуществляют в пределах от 1 до 5, а если семь объектов, то от 1 до 7 и т.д.

Причем эксперт может присвоить нескольким объектам одинаковый ранг, но при этом сумма рангов не должна превышать их потенциальное значение. Например, из пяти объектов эксперт хочет первым трем дать одинаковые оценки. Тогда он может дать им ранги 2, 2, 2, 4 и 5, т.е. в сумме количество рангов равно должно быть равно 15 = 1+2+3+4+5:

а_1j, a_2j, a_3j, ......., a_nj

2. Затем определяют сумму рангов, полученную каждым объектом ,

где m – число экспертов;

n – число объектов, показателей, исследуемых экспертов и т.п.;

3. Вычисляют среднюю сумму рангов для всех объектов по выражению:

4. Определяют сумму квадратов отклонений рангов по формуле:

5. Вычисляют значение коэффициента конкордации, который при строгом ранжировании (в условиях отсутствия одинаковых рангов) равен:

,

Коэффициет конкордации позволяет характеризовать степень согласованности мнений специалистов.

Если эксперты присваивают одинаковые ранги двум или более объектам (экспертам), то имеет место нестрогое ранжирование и тогда значение коэффициента конкордации вычисляют по следующей зависимости:

,

где - число одинаковых рангов вi – ранжировании у j го эксперта.

При 0  W_N  1,0 отсутствует полная согласованность между экспертами.

При W_N = 0 отсутствует какая-либо согласованность между экспертами.

При W_N = 1,0 имеется полная согласованность между экспертами.

Таблица . Определение значения коэффициента конкордации при строгом ранжировании

Объекты, n	Эксперты, m
	1	2	3	4	5	6	aij
1	6	1	6	6	6	6	31		100
2	4	5	4	5	5	3	26		25
3	2	2	2	3	3	2	14		49
4	1	4	3	2	2	4	16		25
5	3	3	1	1	1	1	10		121
6	5	6	5	4	4	5	29		64
								L=21

Статистическую значимость ранжировки, проведенную экспертами, можно проверить по критерию Пирсона ² , предполагая, что значение m (n-1) W имеет  -распределение с (n-1) степенью свободы.

Расчетное значение критерия при строгом ранжировании можно определить

по формуле:

Принимая значение доверительной вероятности (ошибки) равной 0,01 и имея величину степени свободы (n-1) = (6-1) = 5, по специальным таблицам, применяемым в статистике, определим .

При можно утверждать, что согласованность мнений специалистов не случайная и результаты экспертного анализа являются статистически значимыми.

Приведем также в табличной форме пример определения значения коэффициента конкордации при не строгом ранжировании.

Объек-ты, n	Эксперты, m
	1	2	3	4	5	6	aij
1	6	2,5	6	6	5,5	6	32	121
2	4,5	5	4	5	5,5	3	27	36
3	2	2,5	2	3	3	1,5	14	49
4	2	2,5	3	2	2	4	15,5	30,25
5	2	2,5	1	1	1	1,5	9	144
6	4,5	6	5	4	4	5	28,5	56,25
							L=21

Расчетное значение критерия при не строгом ранжировании можно определить по формуле:

Принимая значение доверительной вероятности (ошибки) допустим равной 0,01 и имея величину степени свободы (n - 1) = (6 - 1) = 5, по специальным таблицам, применяемым в статистике, определим .

При можно утверждать, что согласованность мнений специалистов не случайная и результаты экспертного анализа являются статистически значимыми.

Существуют и другие методы, например метод ранговой корреляции, который предусматривает определение корреляции между ранжировкой отдельного эксперта и средней ранжировкой.