М Литвак б. Г. Разработка управленческого решения.— м.: Дело, 2001.Етоды получения количественных экспертных оценок

Непосредственная количественная оценка (нормирование). Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, измеряемого количественно, так и в случае, когда надо оценить степень сравнительной предпочтительности различных объектов.

В первом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Если эксперт затрудняется указать конкретное значение показателя, он может указать диапазон, в котором лежит значение оцениваемого показателя.

Во втором случае, когда оценивается сравнительная предпочтительность объектов по тому или иному показателю, количественная оценка определяет степень их сравнительной предпочтительности.

Метод средней точки. Метод используется, когда альтернативных вариантов достаточно много. Если через f(a₁) обозначить оценку первого альтернативного варианта, через f(a₂) — оценку второго, то далее эксперту предлагается подобрать третий альтернативный вариант a₃, оценка которого расположена в середине между значениями f(a₁) и f(a₂) и равна f(a₁) + f(a₂) / 2.

При этом в качестве первого и второго альтернативных вариантов целесообразно выбирать наименее и наиболее предпочтительные варианты.

Далее эксперт указывает альтернативный вариант a₄, значение которого f(a₄) расположено посредине f(a₁) и f(a₃), и альтернативный вариант a₅ ,значение которого расположено посредине между значениями f(a₁₎ и f(a₄).

Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернатив.

Оценка по вербально-числовой шкале. Этот метод предполагает установление соответствия между вербальными описаниями степени интенсивности проявления какого-либо свойства оцениваемого объекта или параметра решения и его количественными (условными) значениями. Основным требованием к таким шкалам является однозначное их восприятие теми руководителями, которые выбирают и реализуют решения. Одной из таких шкал является универсальная шкала Харрингтона, полученная в результате обработки и анализа большого статистического материала. Подробно эта шкала будет рассмотрена в главе, посвященной оценке эффективности решения.

Оценка согласованности мнений экспертов

После обработки результатов экспертизы необходимо проверить выполнение ряда требований, прежде всего:

• распределение оценок, полученное от экспертов, должно иметь небольшой разброс. В случае многомодального распределения должна быть установлена причина, по которой различные эксперты по-разному интерпретируют одну и ту же проблему;

• групповая надежность, означающая, что две групповые оценки по определенной проблеме, данные двумя одинаковыми подгруппами, выбранными случайным образом, будут близкими.

 Групповое ранжирование объектов, полученное на основе близких индивидуальных ранжирований, вызывает обычно большее доверие, чем ранжирование, полученное на основе существенно различающихся индивидуальных ранжирований. Количественная оценка согласованности экспертных ранжирований и выяснение причин имеющихся расхождений очень важны для анализа результатов экспертизы. Такой анализ позволяет обнаружить ошибки расчета, а в ряде случаев выявляет существенное различие в подходах экспертов к оценке некоторых объектов⁸⁵.

Для оценки согласованности двух экспертных ранжирований можно использовать коэффициент ранговой корреляции Кендалла k r .

Коэффициент ранговой корреляции k r , как и обычный коэффициент корреляции, принимает значения от – 1 до + 1. При полном совпадении экспертных ранжирований k r = 1, а при строго противоположных ранжированиях k r = – 1.

В качестве показателя согласованности группового ранжирования М. Кендалл ввел коэффициент конкордации W (англ. concord – согласие), оценивающий относительную величину суммы квадратов разности рангов. При этом рассматривается разность между суммой рангов i , приписываемых всеми экспертами i - му объекту, и средним значением такой суммы ср .

При решении практических задач близость показателя согласованности экспертных ранжирований к одному из крайних значений считаются нежелательной. Если величина показателя согласованности близка к нулю, то это обычно свидетельствует либо о недостаточной компетентности по крайней мере части экспертов, либо о нечеткой формулировке организаторами экспертизы того качественного признака, по которому объекты сравниваются между собой. Величина показателя согласованности оказывается близкой к единице чаще всего в случаях, когда задача ранжирования объектов тривиальна и в действительности нет необходимости в создании экспертной группы для ее решения.

Итак, экспертные оценки применяются в случает, если количественная оценка альтернатив невозможно или затруднена. Основные этапы проведения экспертизы включает следующие этапы:

• формулирование решаемой проблемы, цели и задач экспертизы

• разработка процедуры и определение методов опроса;

• отбор, проверка компетентности и формирование группы экспертов;

• проведение опроса и получение оценок;

• анализ и обработка информации, полученной от экспертов;

• оценка степени согласованности экспертных мнений

• представление результатов экспертизы ЛПР.

К методам экспертных оценок относят: «мозговую атаку», «метод комиссий», «метод отнесенной оценки», «метод Дельфи», анкетирование, экспертную классификацию, метод ранговой корреляции, метод парных сравнений, метод векторов предпочтений, метод нормирования, метод средней точки и др.

 Задание 3. Охарактеризуйте методы количественных экспертных оценок.