Определение численности экспертной группы

Очевидно, что из общего числа потенциальных экспертов должны быть отобраны эксперты с наиболее высокой компетентностью.

Малое число экспертов не позволяет обеспечить достаточную статистическую достоверность их выборочного группового суждения, его соответствие мнению генеральной совокупности экспертов, т.е. истинной оценке прогнозируемого объекта. Кроме того, при малом числе экспертов на общую групповую оценку оказывает излишнее влияние индивидуальная оценка каждого эксперта.

В то же время при очень большом числе экспертов труднее выявить их согласованное мнение, уменьшается роль оригинальных суждений, возникают организационные трудности проведения экспертизы, растут затраты времени и средства на проведение опроса. Отбор экспертов начинается с определения областей научных, технических, экономических и административных вопросов, которые охватывают объект будущей экспертизы.

Далее для этих областей составляется предварительный список потенциальных экспертов. При формировании этого описка необходимо исходить прежде всего из уровня квалификации потенциальных экспертов, широты их кругозора, эрудиции в смежных областях и т.д.

Исходный список потенциальных экспертов целесообразно составлять путем проведения ряда последовательных итераций, когда каждого эксперта из числа отобранных на предыдущей итерации просят рекомендовать специалистов, способных дать заключение по каждому вопросу анкеты.

Первоначальный отбор может осуществляться с помощью сотрудников управляющего органа для данной отрасли, ведомства, организации, подразделения, организаторов экспертизы и т.п.

Итеративный процесс заканчивается после стабилизации совокупности рекомендованных экспертов, т.е. на той итерации, в результате которой итоговый список потенциальных экспертов не пополнится новыми специалистами.

В настоящее время при соблюдении общих требований существует два основных способа определения оптимальной численности экспертной группы, и хотя оба они не являются достаточно совершенными, их применение, однако, обеспечивает более высокую надежность результатов экспертного опроса, чем «волевые» решения о назначении участников экспертизы:

• метод случайного поиска численности группы экспертов;

• метод минимальной и максимальной границ.

Метод случайного поиска численности группы экспертов

Этот способ может быть рекомендован в тех случаях, когда для целей экспертизы достаточно получить на каждый из ряда вопросов ответ по крайней мере одного эксперта и на первый план выступает требование минимальных затрат времени и средств на организацию и проведение коллективной экспертной оценки. Тогда решение задачи о выборе экспертов может быть осуществлено методом случайного поиска.

При условии, что затраты времени или средств на проведение опроса каждого эксперта одинаковы, данная задача сводится к нахождению такого минимального по численности множества экспертов, которое соответствовало бы множеству всех вопросов, т.е. на каждый вопрос хотя бы один эксперт может дать заключение.

Введем показатель «веса» эксперта, понимая под «весом» относительную способность эксперта отвечать на возможно большее число вопросов. Очевидно, тогда показатель «веса» каждого эксперта следует определять как отношение вопросов, на которое он может ответить |τ_i⁰| , к сумме вопросов, на которые могут ответить все эксперты |τ⁰| :

В соответствии о полученным распределением показателей «веса» экспертов (P₁⁰…P_n⁰) строится датчик случайных чисел, который последовательно генерирует номера экспертов так, что вероятность появления на выходе номера i-го эксперта прямо пропорциональна показателю его «веса» P_i⁰. Эксперт, номер которого датчик случайных чисел выдал в первую очередь, помещается в формируемую экспертную группу и исключается из множества всех оставшихся экспертов, а из множества всех вопросов исключаются те вопросы, по которым данный эксперт может дать заключение. Процесс этот продолжается до тех пор, пока после выбора r-го эксперта множество всех вопросов не окажется пустым. В результате образуется группа из r экспертов, которая может ответить на все вопросы.

Затем описанная процедура повторяется. В результате образуется последовательность различных вариантов групп экспертов, которая из которых может ответить на все вопросы. При большом числе таких этапов будет найдена минимальная по численности группа экспертов, способная дать заключение по всем вопросам множества.

Для ограничения числа этапов перед каждым новым этапом датчик случайных чисел должен перестраиваться в соответствии с предыдущими результатами таким образом, что вероятности появления на его выходе номеров экспертов с возможно большими сферами компетентности и меньшей пересеченностью сфер друг с другом должны увеличиваться.

Метод минимальной и максимальной границ численности группы экспертов

Второй способ определения численности экспертной группы основан на соблюдении для нее двух основных условий:

1) высокой средней компетентности группы;

2) стабилизации средней оценки прогнозируемой характеристики.

Первое условие используется для определения максимальной численности группы экспертов n_max:

где

C - константа;

k_max - максимально возможная компетентность по используемой шкале компетентности;

k_i - компетентность i-го эксперта.

Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать «истинным». Для определения константы использовано понятие «кворума» при голосовании, в соответствии с которым решение считается принятым, если за него отдано не менее 2/3 голосов.

На основании второго условия определяется минимальная численность экспертной группы. Условие стабилизации средней оценки прогнозируемой характеристики формулируется следующим образом: включение или исключение эксперта из группы незначительно влияет на среднюю оценку группы:

- средняя оценка прогнозируемой характеристики, данная экспертной группой;

- средняя оценка прогнозируемой характеристики, данная экспертной группой, из которой исключен (или в которую включен) один эксперт;

- максимально возможная оценка прогнозируемой характеристики в принятой шкале оценок;

- заданная погрешность средней оценки.

В зависимости от заданной (допустимой) погрешности средней оценки можно определить минимальную численность экспертной группы:

Окончательная численность экспертной группы формируется на основании последовательного исключения малокомпетентных экспертов. При этом используется условие ,

где η - допустимая величина отклонения компетентности i-го эксперта от максимальной.

Численность группы устанавливается в пределах

Кроме описанных выше процедур, в методах коллективной экспертной оценки используется подробный статистический анализ экспертных заключений, в результате которого определяются характеристики группы экспертов. В соответствии с этими характеристиками в процессе проведения экспертизы качественный и количественный состав экспертной группы может корректироваться.