12.3. Формирование и аттестация экспертных комиссий

Экспертную оценку качеству продукции может дать один специалист, однако в целях повышения достоверности оценки предпочтение отдается групповому методу оценивания. Для обеспечения эффективности оценок должна тщательно подбираться и аттестовываться экспертная комиссия.

Основой для отбора кандидатов в экспертную комиссию является проверка их компетентности путем тестирования. Для этого каждому кандидату предлагается ответить на вопросы специальных анкет. Полученные ответы оцениваются по балльной шкале, и при удовлетворительных результатах кандидат включается в группу.

При формировании группы существенные затруднения связаны с проблемой обеспечения согласованности и независимости оценок экспертов. С одной стороны, группа может оказать серьезное давление на своих членов группы, вынуждая, например, одного из них соглашаться с большинством, даже если тот понимает, что точка зрения большинства ошибочна. С другой — наиболее влиятельные члены группы могут повлиять на общее мнение.

На завершающем этапе формирования комиссии целесообразно провести самооценку и взаимооценку экспертов. Самооценка заключается в том, что каждый из членов группы в строго ограниченное время отвечает на вопросы анкеты, сравнивает их с соответствующими ответами и, таким образом, проверяет свои знания, давая себе оценку. Практика показывает, что экспертные группы с высокими самооценками реже ошибаются в оценке качества объектов. Взаимооценка производится по той же методике с той лишь разницей, что эксперты оценивают друг друга.

Все эти меры должны обеспечить необходимую согласованность мнений при оценивании свойств реальных объектов. Для проверки согласованности мнений т экспертов каждому из них предлагается дать оценку g, определенному свойству объекта. Если мнение аттестуемого эксперта не оказывается крайним (наибольшим или наименьшим) в полученном ряду оценок, то квалификационный уровень его можно считать соответствующим уровню комиссии. В противном же случае данную им оценку считают «противоречивой» групповому мнению при доверительной вероятности 0,95 (или α = 0,05), если , где Q — среднее арифметическое значение оценки; S — среднее квадратическое отклонение индивидуальных оценок в группе.

Значение коэффициента (3 для α = 0,05 принимают из табл. 12.1 в зависимости от количества членов группы.

Пример. В результате опроса десяти специалистов (т = 10) получены следующие индивидуальные оценки некоторого свойства:

Q₁ = 10 , Q₂, = 8 , Q₃ = 15, Q₄ = 11, Q₅ = 13, Q₆ = 12, Q₇= 9, Q₈ = 10, Q₉=8, Q₁₀ =11.

Групповая оценка Q = (10+8+15+11 + 13+12+9+10+8+11):10 =10,7.

Оценим на противоречивость мнение третьего эксперта, оценка которого максимальна.

Расчет СКО дает: 5 = 4,9. По табл. 12.1 при α = 0,05 и m =10 находим, что  = 2,18. Поскольку 15 - 10,7 < 4,9-2,18, то оценку третьего эксперта следует считать противоречивой с вероятностью 0,95.

Более глубокой является оценка согласованности мнений группы по коэффициенту конкордации W, представляющего собой общий коэффициент ранговой корреляции для группы.

Такая оценка производится по количественным оценкам некоторых свойств (факторов), оказывающих влияние на один конечный результат (качество).

Коэффициент конкордации рассчитывается по формуле

,

где т — число экспертов в группе; п — число оцениваемых факторов.

Таблица 12.1

Число экспертов в группе	3	4	5	6	7	8	9	10
Коэффициент р	1,15	1,46	1,67	1,82	1,94	2,03	2,11	2,18

В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от нуля (при отсутствии согласованности) до единицы (при полном единодушии). Для оценки значимости коэффициента конкордации необходимо и достаточно, что бы

(n-1) mW > x².

Значение x² принимают по таблице в зависимости от числа степеней свободы, у = п – 1 и принятой доверительной вероятности [12].

Пример. Пяти экспертам было предложено проранжировать семь факторов, влияющих на технологический процесс. Результат ранжирования представлен в табл. 12.2.

Эксперт	Оцениваемый фактор
	1	2	3	4	5	6	7
Первый	1	2	6	4	7	3	5
Второй	1	2	7	6	3	5	4
Третий	7	1	6	4	2	5	3
Четвертый	3	1	5	6	4	7	2
Пятый	1	2	6	4	5	7	3
Сумма рангов	13	8	30	24	21	27	17
Отклонение от средней суммы рангов	-7	-12	10	4	1	7	-3
Квадраты отклонений	49	144	100	16	1	49	9

В результате расчета получим: СКО – S = 7,83; коэффициент конкордации W = 0,526. Такой коэффициент конкордации оказывается значимым для α = 0,05. Это дает основание утверждать, что существует не случайная согласованность в оценках экспертов.

Какова должна быть численность экспертной группы?

Теоретически, эффективность групповой оценки с увеличением количества экспертов возрастает. На практике же число экспертов в группе рекомендуется не менее 7 и не более 20 человек. Слишком малое число экспертов резко увеличивает недостоверность групповой оценки, слишком большое — не повышая, практически, эффективность этой оценки, приводит к ненужным дебатам.