7.6.2 Влияние состава экспертов на результат экспертизы.
Коэффициент конкордации
При проведении процедуры оценивания важно сколько и кто является экспертами. Если экспертов недостаточно, то возможно получение субъективных оценок, что может исказить результаты и выводы. Не менее важны и личностные и профессиональные характеристики экспертов. Специалисты с диаметрально противоположными взглядами, вкусами и пр., безусловно, также могут дать не достоверную суммарную оценку. Поэтому разработаны способы расчета оптимального количества необходимых экспертов и методики подбора состава экспертных групп. Другой способ проверки достоверности результатов экспертной группы - определения степени согласованности, использование специальной меры - коэффициента конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить.) Коэффициент получил имя ученного предложившего данный алгоритм расчетов.
Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 – полная несогласованность, 1 - полное единодушие.
Приведем пример определения степени согласованности мнения экспертов.
В данном примере определяется степень согласованности мнения пяти экспертов по результатам ранжирования семи объектов.
Таблица 7.6.3 Данные для оценки согласованности мнений пяти экспертов
Номер объекта экспертизы |
Оценка эксперта |
Сумма рангов |
Отклонение от среднего |
Квадрат отклонения |
||||
1 |
2 |
3 |
4 |
5 |
||||
1 |
4 |
6 |
4 |
4 |
3 |
21 |
1 |
1 |
2 |
3 |
3 |
2 |
3 |
4 |
15 |
-5 |
25 |
3 |
2 |
2 |
1 |
2 |
2 |
9 |
11 |
121 |
4 |
6 |
5 |
6 |
5 |
6 |
28 |
8 |
64 |
5 |
1 |
1 |
3 |
1 |
1 |
7 |
-13 |
169 |
6 |
5 |
4 |
5 |
6 |
5 |
25 |
5 |
25 |
7 |
7 |
7 |
7 |
7 |
7 |
35 |
15 |
225 |
Оцениваем среднеарифметическое число рангов:
Qср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.
Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:
где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n - число экспертов;
m - число объектов экспертизы.
W = 12 * 630 / 25 * (343 - 7) = 0,9.
Следовательно, данной экспертной группе и полученным результатам можно полностью доверять.
7.7 Опросные методы
Опрос – метод сбора первичных данных от самого индивида или группы людей. Это один из самых простых доступных и поэтому распространенных методов оценки. В этой связи, рассмотрим данный метод более глубоко.
В процессе сбора информации могут возникать какие-либо погрешности, поэтому специалисты в области экспертных методов большое внимание уделяют разработке правил подготовки и проведения экспертиз.
Для подготовки экспертизы (опроса) должна быть сформирована группа специалистов-организаторов, она обеспечивает условия для эффективной деятельности, разрабатывает процедуру экспертизы.
В задачу группы входят:
постановка проблемы, определение целей и задач экспертизы, ее основных этапов;
разработка процедуры экспертизы;
отбор экспертов;
проведение опроса;
формализация полученной информации, ее обработка и анализ.
Численность группы-организаторов не должна быть малой, иначе теряется смысл экспертных оценок.
Перед экспертным опросом должны быть разработаны правила его проведения и организации. Они обеспечивают соблюдение условий благоприятствующих формированию экспертами объективного мнения.
К таким условиям относятся:
независимость формирования экспертами собственного мнения об оцениваемых событиях;
сохранение анонимности ответов;
возможность коллективного обсуждения оцениваемого события;
предоставление экспертам требуемой информации.
Подготовку экспертизы начинают с постановки проблемы. Здесь знакомятся с предысторией и состоянием проблемы. После этого проводится анализ проблемы, для этого организаторы экспертизы выдвигают центральный вопрос, который составляет существо проблемы, а затем расщепляют его на подвопросы.
Методы опроса:
индивидуальный или коллективный;
личный или заочный;
устный или письменный.
В основе любого опроса лежит вопросник, с помощью которого и осуществляется сбор требуемой информации.
Данные, полученные от экспертов, можно разделить на:
жесткие - если результаты измерения можно оценить с помощью физических или денежных единиц;
мягкие - когда используются качественные оценки или суждения.
По форме и условиям общения исследователя с респондентом различают письменный (анкетирование) и устный (интервьюирование) опросы.
Главное различие между анкетированием и интервьюированием состоит в форме контакта исследователя и опрашиваемого. Причём при анкетировании их общение опосредуется анкетой, где фиксируются ответы респондентов. Содержащиеся в ней вопросы и их смысл респондент интерпретирует самостоятельно, в пределах имеющихся у него знаний. Он формулирует ответ и фиксирует его в анкете тем способом, который либо указан в тексте анкеты, либо объяснен анкетером. При интервьюировании контакт между исследователем и респондентом осуществляется при помощи интервьюера, который задает вопросы, предусмотренные исследователем, организует и направляет беседу с каждым отдельным человеком, фиксируя полученные ответы согласно инструкции в бланке интервью. Специфика интервью заключается в целенаправленности процесса общения интервьюера с респондентом согласно программе исследования.