11.3. Метод экспертных оценок

Экспертные оценки (ЭО) отражают опыт, интуицию и знания специалистов относительно анализируемого объекта или явления. Несмотря на субъективность, они содержат полезную объективную информацию. В общем случае под экспертными оценками понимают методы выявления, формализации и обработки неявной, качественной или полуколичественной, субъективной информации, которая может содержаться в мнениях и высказываниях людей. Таким образом, задачей ЭО является количественное описание объекта оценки путем обработки данных, полученных в результате направленного опроса экспертов.

Исследование, проводимое организатором опроса (руководителем либо группой уполномоченных лиц), состоит из нескольких этапов:

•   выбор объекта исследования;

•   формулирование конкретной цели исследования;

•   выбор экспертов, которые должны быть опрошены;

•   проведение опроса;

•   обработка результатов опроса в очной и заочной форме;

•   принятие решения.

Анкеты состоят из вопросов, на которые эксперты должны дать ответ в определенной форме. Ответ j–го эксперта на i-й вопрос анкеты в дальнейшем будем обозначать X_i^j

Обычно к опросу привлекают специалистов, принадлежащих к возможно большему числу различных направлений или научных школ в исследуемой области. Это позволяет рассмотреть объект экспертизы с различных точек зрения и ограждает от ошибок, связанных с не вполне четкой постановкой задачи. При составлении экспертной группы часто предусматривают возможность взвешивания ответов экспертов согласно их компетентности.

Ранги и их корректировка. Рассмотрим ситуацию, когда эксперт должен оценить шесть работников по степени совместимости каждого из них с коллективом и определить их ранги. Результаты ранжирования сведены в табл. 11.2.

Таблица 11.2

Экспертные оценки работников по степени совместимости каждого из них с коллективом, представленные одним из экспертов

№ объекта оценки (i)	Объект оценки	Первоначальный ранг (Xi)	Скорректированный ранг Xi*
1	Иванов	1	1
2	Петров	2	2,5
3	Сидоров	3	5
4	Кузнецов	3	5
5	Федоров	2	2,5
6	Алексеев	3	5
Сумма рангов		14	21

Видно, что эксперт не смог присвоить всем руководителям разные ранги. В этом случае он может приписать нескольким из них одинаковые ранги, так что общее количество различающихся рангов окажется меньше числа ранжируемых работников. Дальнейшая обработка заключается в корректировке исходных рангов. Видно, что Петров и Федоров в исходной ранжировке поделили между собой места 2–е и 3–е. В новой ранжировке им приписан ранг, равный

Сидоров, Кузнецов и Алексеев поделили между собой места 4, 5 и 6–е. В скорректированной ранжировке они получили одинаковый ранг:

Проверка наличия связи между двумя показателями деловой оценки. Рассмотрим следующую ситуацию. Требуется установить, имеется ли соответствие между оценками, поставленными экспертом каждому из 12 руководителей по двум качествам: умению работать с персоналом (x) и чувству личной ответственности за порученное дело (у) – см. табл. 11.3.

Таблица11.3

Результаты ранжирования

Качества руководителей	Ранги, проставленные руководителю №
	1	2	3	4	5	6	7	8	9	10	11	12
Умение работать с персоналом (x)	5	1	3	10	8	9	7	4	2	12	6	11
Чувство личной ответственности за порученное дело (у)	6	2	1	8	10	11	7	4	3	9	5	12

Для характеристики степени связи между элементами двух ранжировок нельзя использовать обычный коэффициент корреляции, поскольку ранги не являются непрерывными величинами (они дискретны). Вместо этого используют коэффициент ранговой корреляции Спирмена:

ρ = 1 – ,

где n = 12 (число ранжируемых объектов);

i = 1,2,..., 12, – порядковый номер объекта;

X_i – ранг объекта по свойству x;

Y_i – ранг объекта по свойству у.

Подстановка данных ранжирования в эту формулу позволила рассчитать коэффициент ранговой корреляции Спирмена:

ρ = 1 –

Возможный диапазон этого коэффициента – от 0 до 1. В данном случае он достаточно велик, что говорит о наличии явной связи между сопоставляемыми показателями.

Поскольку экспертные оценки базируются на обработке достаточно субъективных мнений, следует рассматривать их результаты (в том числе и коэффициент ранговой корреляции) как случайные величины. Соответственно коэффициент ρ считают статистически значимым, если выполняется неравенство ρ ≥ ρ_кр, где ρ_кр – критическое значение, определяемое по табл. 11.4.

Как и любое статистическое суждение, вывод о величине коэффициента ранговой корреляции необходимо дополнять значением вероятности того, что этот вывод неверен. Эту вероятность называют уровнем значимости, обозначая его греческой буквой а. Естественно стремление к тому, чтобы уровень значимости был приемлемо мал.

Таблица11.4

Критические значения коэффициента Спирмена при уровне значимости α = 0,05

Число ранжируемых объектов (n)	5	6	7	8	9	10	12	15	20
Критическое значение коэффициента (ρкр)	0,98	0,88	0,8	0,74	0,69	0,65	0,59	0,52	0,45

В нашем случае n = 12; υ_кр = 0,59; υ = 0,895 > 0,59, поэтому можно утверждать, что корреляция (соответствие) двух качеств руководителей существенна (статистически значима).

Проверка взаимного соответствия оценок нескольких экспертов. Десять экспертов должны проставить баллы шести работникам, в разной степени обладающим умением анализировать информацию и делать из нее практические выводы. Баллы проставляются таким образом, что минимальный балл по этому качеству составляет 1, максимальный равен 10 (табл. 11.5).

Таблица11.5

Итоги первоначального ранжирования

Кандидаты	Эксперты
	Э1	Э2	Э3	Э4	Э5	Э6	Э7	Э8	Э9	Э10
Иванов	1	1	1	3	7	1	1	1	1	1
Петров	2	8	4	8	9	1	1	2	3	4
Сидоров	2	3	7	1	1	3	2	3	4	4
Смирнов	2	6	8	4	5	2	2	3	3	2
Федоров	3	10	6	8	6	2	2	3	4	4
Сергеев	3	10	10	8	6	3	3	3	4	4

Видно, что не все эксперты воспользовались полным диапазоном возможных баллов, кроме того, некоторые эксперты поставили одинаковые баллы нескольким кандидатам. Ранее мы выяснили, что для перехода от баллов к рангам (т.е. величинам, выраженным в порядковой шкале) необходимо переформировать исходные данные.

Эксперты: "Что же дальше?!"

Переформируем ранги (по тем же правилам, которые использовались в табл. 11.2), сведя результаты в табл. 11.6.

Таблица11.6

Переформированные экспертные оценки

Кандидаты	Эксперты										Сумма рангов	Средний ранг
	Э1	Э2	Э3	Э4	Э5	Э6	Э7	Э8	Э9	Э10
Иванов	1	1	1	2	5	1,5	1,5	1	1	1	16	1,6
Петров	3	4	2	5	6	1,5	1,5	2	2,5	4,5	32	3,2
Сидоров	3	2	4	1	1	5,5	4	4,5	5	4,5	34,5	3,5
Смирнов	3	3	5	3	2	3,5	4	4,5	2,5	2	32,5	3,3
Федоров	5,5	5,5	3	5	3,5	3,5	4	4,5	5	4,5	44	4,4
Сергеев	5,5	5,5	6	5	3,5	5,5	6	4,5	5	4,5	51	5,1
Число связанных рангов	3,2	2	0	3	2	2,2	2,3	4	2,3	4
Tj	30	6	0	24	6	18	30	60	30	60

Здесь вспомогательная величина T_j (j =1, 2,..., 10) рассчитывается по формуле:

T_j = (n_a³ – n_a) + (n_b³ – n_b) + (n_c³ – n_c) + ...,

где n_a, n_b, n_c – количество связанных рангов, образующих группы a, b, с в составе ранжировки, выполненной экспертом j.

Например: Т₁ = (3³ – 3) + (2³ – 2) = 30;

Т₆ = (2³ – 2) + (2³ – 2) + (2³ – 2) = 18.

Проверить степень достоверности проведенной экспертизы можно с помощью коэффициента конкордации (т.е. согласованности, от фр. concorde – согласие) W, который показывает, насколько мнения экспертов согласуются друг с другом, то есть принадлежат к одной и той же генеральной совокупности оценок. Величина коэффициента конкордации может меняться в пределах от 0 до 1, причем его равенство единице означает полную согласованность мнений экспертов, а равенство нулю означает, что связи между оценками, полученными от разных экспертов, не существует. В случае, если W < 0,2 – 0,4 говорят о слабой согласованности экспертов, а при W > 0,6 – 0,8 можно говорить о существовании сильной согласованности экспертов. Слабая согласованность обычно является следствием следующих причин:

• в рассматриваемой группе экспертов действительно отсутствует общность мнений;

• внутри группы существуют коалиции с высокой согласованностью мнений, однако обобщенные мнения коалиций противоположны.

,

где 12 - постоянная величина в формуле расчета коэффициента конкордации, предложенной Кендаллом;

n - число показателей;

m - число экспертов;

Rj- сумма баллов j- го показателя;

- средняя сумма баллов всех показателей.

S =

где m – количество экспертов;

n – количество ранжируемых работников;

S_i – суммы рангов, расположенные в строках предпоследнего столбца табл. 11.6.

Как и обычный коэффициент корреляции, коэффициент W может принимать значения от 0 до 1. В рассматриваемом примере S = 641,5;

  T_j = 264.

Подставив все требуемые величины в формулу для расчета коэффициента конкордации, получим: W= 0,466. Значимость коэффициента конкордации проверяют с помощью статистического критерия χ² ("хи–квадрат"), некоторые значения которого приведены в табл. 11.7.

Таблица11.7

Значения статистического критерия χ² при α = 0,05

n	2	3	4	5	6	7	8	9	10	15	20	30
χ^2	3,8	6	7,8	9,5	11,1	12,6	14,1	15,5	16,9	23,7	30,1	42,6

Коэффициент конкордации значим, и различия в оценках экспертов не существенны, если выполняется неравенство m(n – l)w ≥ χ².

В нашем случае m(n – l)w = 23,3, что превышает табличное значение χ² = 11,1. Таким образом, экспертные оценки взаимно непротиворечивы, поэтому их можно усреднить по каждому из шести ранжируемых работников. Результаты усреднения приведены в последнем столбце табл. 11.7. Обобщая результаты, построим гистограмму средних рангов (рис. 11.1).

На последующих этапах организаторами опроса обобщается полученная информация и делаются выводы по ее практическому применению.

Следует помнить, что полученные результаты экспертных оценок не только дают информацию относительно качеств работников, но и позволяют принять решение по их дальнейшему эффективному использованию.

Рис. 11.1. Гистограмма средних рангов