Статистическая обработка результатов экспертных опросов

Цель обработки материалов коллективной экспертной оценки - определение показателя обобщенного мнения и степени согласованности мнений экспертов по каждому вопросу, а также выявление экспертов, высказывавших оригинальные суждения (резко отличающиеся от мнения большинства), и групп экспертов, придерживающихся противоположных точек зрения. Характер указанных показателей, а следовательно, и методика обработки материалов коллективной экспертной оценки определяются типом поставленного перед экспертами вопроса. Вопросы, сформулированные в анкете, могут требовать ответов в количественной или в качественной форме.

Обработка результатов экспертного опроса по вопросам, требующим ответов в количественной форме, основана на теории статистических выборок, формируемых исходя из предполагаемого закона распределения вероятностей в данной статистической выборке. Если предполагается нормальное распределение экспертных оценок данной выборки, то показатели обобщенного мнения определяются в соответствии с нормальным законом распределения вероятностей.

Чем больше число экспертов в группе, тем ближе к нормальному закон распределения оценок.

Как правило, при ограниченном числе экспертов их оценки представляют собой малые статистические выборка, для которых предполагается распределение Стьюдента при условии, что распределение оценок генеральной совокупности экспертов подчиняется нормальному закону распределения вероятностей.

Чем больше выборка , тем меньше t -распределение отличается от нормального распределения.

Особенности методики обработки результатов экспертных оценок в количественной форме зависят от числа оцениваемых объектов, заключенных в одном вопросе. По числу объектов, оцениваемых в рамках одного вопроса, различают два случая:

• в одном вопросе оценивается один объект;

• в одном вопросе оценивается совокупность объектов.

Обработка результатов экспертных оценок одного объекта, заключенного в одном вопросе

В процессе данной обработки рассчитываются следующие показатели обобщенного мнения:

1. Средняя величина прогнозируемой характеристики (математическое ожидание величины ). Она определяется как средняя арифметическая

или как средневзвешенная по компетентности экспертов

2. Границы доверительного интервала для средней оценки.

С помощью доверительного интервала точечная обобщенная групповая оценка преобразуется в интервальную.

Смысл доверительного интервала заключается в том, что обобщенная оценка с определенной вероятностью должна оказаться в пределах, ограниченных верхней и нижней границами доверительного интервала

где

t - параметр кривой распределения вероятностей;

σ - среднеквадратическое отклонение оценок.

Параметр t связан с определенным уровнем доверительной вероятности Р при степенях свободы k=n-1. Он определяется по специальным таблицам, в которых для заданной вероятности устанавливается связь t с числом степеней свободы.

Показателями согласованности мнений экспертов относительно средней оценки (математического ожидания) являются:

1. среднее линейное отклонение,

2. среднеквадратическое отклонение,

3. дисперсия оценок,

4. коэффициент вариации.

В некоторых случаях при обработке результатов опроса на практике используют более простой статистический прием, предполагающий упорядоченное расположение всех количественных оценок на равномерной шкале и построение полигона или гистограммы распределения оценок экспертов. Для построенного распределения устанавливаются его статистические характеристики - медиана, которая принимается за обобщенный показатель групповой оценки; квартили, диапазон которых принимается за показатель согласованности оценок экспертов. Медиана и квартили в достаточной мере характеризуют совокупность полученной прогнозной информации.

Медиана (ее обозначают t_0,5) определяет положение на принятой оси среднего члена упорядоченной совокупности оценок и делит всю совокупность на две равные по числу оценок части (число оценок более низких и более высоких одинаково).

Квартили - нижний t_0,25 и верхний t_0,75 - определяют положение на оси оценок, отделяющих соответственно 25% всей совокупности оценок: более низких, чем t_0,25, и более высоких, чем t_0,75.

Таким образом, значения, и разбивают всю совокупность оценок на четыре равночисленные группы.

Чем меньше разность t_0,75 - t_0,25 тем выше согласованность мнений экспертов об оцениваемом событии.

В процессе анализа полученных результатов экспертов, чьи оценки выходят за пределы диапазона квартилей (t_0,75 - t_0,25), просят обосновать причины расхождения их суждений. Если условиями экспертизы предполагается проведение ее в несколько туров, то с этими обоснованиями и выводами знакомят остальных экспертов с целью получения меньшего разброса оценок в последующих турах.