2. Экспертные оценки

Метод экспертных оценок заключается в выявлении суждений экспертов и формировании на их основе обобщающих выводов. Как самостоятельный инструмент исследования метод экспертных оценок применяется с 40-х годов ХХ века. Метод применим к проблемам, в отношении которых имеется достаточный объем информации.

Основными этапами осуществления экспертной оценки являются следующие:

1. Формирование экспертной группы

2. Определение вида экспертной оценки и проведение экспертизы

3. Обработка полученных результатов

Формирование экспертной группы

Эксперты – это специалисты по рассматриваемой проблеме. С одной стороны, чем больше экспертов будет участвовать в экспертной оценке, тем достоверность оценки будет выше. Но, с другой стороны, эксперты должны быть «настоящими», то есть иметь реальный опыт по проблеме, признанный не только ими лично или узким кругом друзей и знакомых, но и большинством экспертного сообщества.

Существуют эмпирические зависимости достоверности экспертизы от количества экспертов (см. рис. )

Вероятность

совпадения

экспертной

оценки с фактическим 0,8

состоянием оцениваемого 0,7

объекта 0,6

0,5

0,4

0,3

0,2

1 3 5 7 9 11 Количество экспертов

Рис. Достоверность экспертизы в зависимости от количества экспертов

Найти большое количество специалистов по конкретной проблеме не так-то просто. Кроме того, чем больше экспертов, тем дороже обойдется экспертиза. На практике минимальным (и достаточным) количеством экспертов считается 7.

Важным при формировании экспертной группы является обеспечение ее качественного состава. Для подбора наиболее квалифицированных экспертов используются два метода:

• самооценки

• групповой оценки

Опыт многочисленных экспертиз и в России, и за рубежом показал, что группы экспертов с высокой самооценкой, как правило, ошибаются в своих суждениях меньше, чем группы с низкой самооценкой. Одна из применяемых методик самооценки заключается в определении коэффициента компетенции эксперта.

К_к = (К_з + К_а ) : 2

где

К_к -коэффициент компетенции эксперта

К_з - коэффициент знакомства эксперта с проблемой; определяется самим экспертом по шкале от 0,1 до 1,0.

К_а -коэффициент аргументации; определяется по таблице:

Источник аргумента	Степень влияния источника на компетентность
	Высокая	Средняя	Низкая
Проведенное аналогичное исследование	0,3	0,2	0,1
Производственный опыт	0,5	0,4	0,3
Обобщение работ отечественных авторов	0,05	0,04	0,03
Обобщение работ зарубежных авторов	0,05	0,04	0,03
Личное знакомство с состоянием дел за рубежом	0,05	0,04	0,03
Интуиция	0,05	0,04	0,03

Предположим, что эксперт оценил степень своего знакомства с проблемой в 0,7. А источники своей компетенции он оценил, как в таблице (значения, выделенные полужирным курсивом)

Тогда К_а = 0,3+0,4+0,03+0,03+0,04+0,05 =0,85

К_к = (0,7+0,85): 2 = 0,775

Групповая оценка предполагает формирование экспертной группы из числа экспертов, знающих друг друга по публикациям и может быть лично.

Предположим, что группа экспертов состоит из 10 человек. Они должны выбрать по их мнению пять самых компетентных. В таблице 1 представлена матрица взаимных оценок экспертов. Эксперты отмечают самых квалифицированных экспертов, проставляя, как в данном случае, число 1.

Таблица 1

Первая матрица взаимных оценок экспертов

Эксперт, которого выбирают	Эксперт, который выбирает экспертов											Первая оценка: сколько раз назван		Какое место занимает эксперт
	1	2	3	4	5	6	7	8	9	10
1	Х			1	1	1		1		1	5		4, 5, 6, 7
2	1	Х	1	1		1	1	1	1	1	8		1, 2
3		1	Х		1						2		9, 10
4	1	1		Х			1	1		1	5		4, 5, 6, 7
5	1	1	1	1	Х	1	1		1		7		3
6			1		1	Х	1	1	1		5		4, 5, 6, 7
7	1	1	1	1	1	1	Х		1	1	8		1, 2
8				1				Х		1	2		9, 10
9		1	1		1	1	1		Х		5		4, 5, 6, 7
10	1							1	1	Х	3		8
Итого	5	5	5	5	5	5	5	5	5	5	50		Не пойми чего!

Затем строится вторая матрица, в которой выбор соответствующих экспертов заменяется количеством его выборов другими экспертами. То есть оценки каждого эксперта заменяются его условной квалификацией, весомостью его выбора.

Таблица 2

Вторая матрица взаимных оценок экспертов

Эксперт, которого выбирали	Эксперт, который выбирал											Вторая оценка		Какое место занимает эксперт
	1	2	3	4	5	6	7	8	9	10
1				5	7	5		2		3	22		7
2	5		2	5		5	8	2	5	3	35		3
3		8			7						15		8
4	5	8					8	2		3	26		5
5	5	8	2	5		5	8		5		38		2
6			2		7		8	2	5		24		6
7	5	8	2	5	7	5			5	3	40		1
8				5						3	8		10
9		8	2		7	5	8				30		4
10	5							2	5		12		9

Теперь становится понятно, каков уровень квалификации экспертов, определенной вполне объективным образом. Далее можно исключить из числа экспертов тех, кто оказался менее квалифицированными, или учесть весомость их суждений.

Определение вида экспертной оценки и проведение экспертизы

Для исследования систем управления целесообразно применять

• «Метод «круглого стола» (дискуссия). Эксперты собираются «за круглым столом» и высказывают свои оценки и суждения. Обязательно должен быть ведущий или модератор. Достоинства метода: возможность ведущего управлять процессом обсуждения, стимулирование активности экспертов при открытом столкновении различных точек зрения. Недостатки:

возможность конформного поведения экспертов, возможность давления на экспертов наиболее авторитетных или красноречивых участников или модератора, опасность того, группа экспертов в своих выводах будет руководствоваться логикой компромисса, а не логикой анализа проблемы.

• Метод интервью (беседа). Желательно при проведении беседы использовать «административный ресурс»: встречу интервьюера с экспертом должен организовать начальник эксперта. В этом случае эксперт будет более обязательным. Интервьюер должен иметь заранее заготовленный вопросник. Для того, чтобы эксперт чувствовал себя наиболее комфортно и высказывался наиболее откровенно, беседу следует проводить на рабочем месте эксперта (опрашиваемого). Интервьюер должен больше слушать, чем говорить («нерефлексивное слушание»), не должен давать негативные оценки, тем более спорить. Его главная задача - получить максимум необходимых сведений, а их анализ следует проводить за пределами беседы. Следует стараться оставить о себе доброе впечатление, поскольку интервьюеру может понадобиться еще одна встреча.

• Метод независимых суждений (анкетирование без обратной связи). Отобранные эксперты получают разработанный вопросник и отвечают на вопросы. Качество вопросника должно быть таково, чтобы эксперты не обращались за разъяснениями.

• Метод «Дельфи» (анкетирование с обратной связью). Анкетирование проводится в несколько туров. После каждого тура ответы экспертов объединяются в один документ, который раздается всем экспертам. Они анализируют ответы своих коллег и должны снова высказать свои суждения. При этом они могут оставить в силе свои суждения или изменить их. В любом случае они должны аргументировать свои суждения. То есть объяснить, почему они изменили или сохранили свои суждения. Так продолжается до тех пор, пока эксперты не перестанут менять свои суждения или оценки. Метод Дельфи позволяет экспертам более критически отнестись к своим суждениям и сделать их максимально обоснованными с учетом мнений других экспертов.

Проведение экспертизы

Она заключается в формировании группы управления, которая:

• формирует состав экспертов

• осуществляет выбор метода проведения экспертизы

• готовит анкеты и методы обработки результатов

• осуществляет выводы по результатам экспертизы и оформляет необходимые документы

Обработка полученных результатов заключается в обобщении оценок, их интегрировании и интерпретации. По результатам экспертизы может быть подготовлен заключительный документ с пояснительной запиской и подписями лиц, проводивших экспертизу (группа управления).