12.4. Способы получения экспертных оценок
Мнения экспертов выясняются путем их индивидуального или группового опроса. При решении задачи оценивания перед ними могут быть поставлены следующие задачи.
1. Произвести ранжирование однородных объектов по степени выраженности заданного показателя качества.
2. Дать количественную оценку показателей качества продукции в условных единицах (долях единиц, баллах) или оценить веса этих показателей.
Рассмотрим обе задачи.
Для построения ранжированного ряда (т.е. шкалы порядка) обычно применяют способ попарного сопоставления объектов. Сначала объекты сопоставляются между собой попарно и для каждой пары результат сопоставления выражается в форме «больше -меньше», «лучше - хуже». Затем, на основании результатов попарного сопоставления, производится ранжирование.
Решение. Ранжированный ряд (шкала порядка) имеет вид
Q3 >Q1i> Q2> Q6 > Q5 > Q4,
где Q — оценка качества работы по шкале порядка.
Для количественной экспертной оценки показателей качества используют безразмерные шкалы — в долях единиц или баллах. Балльная шкала позволяет приписать объектам количественные характеристики, отражающие интенсивность того или иного свойства продукции, определяющего его качество. Основной характеристикой балльной шкалы является диапазон (балльность) шкалы — количество градаций, которое включает шкала, т.е. количество оценочных точек. Число градаций определяется характером решаемой задачи, квалификацией экспертов, требуемой достоверностью результата. В нашей стране приняты десяти-, двадцатипяти- и стобалльные шкалы. Исключение составляет пятибалльная шкала оценивания качества знаний в учебных заведениях.
Принцип построения балльной шкалы проиллюстрируем примером построения шкалы балльных оценок для отнесения продукции к определенной сортности. Для этого:
Устанавливают максимальную общую оценку продукции в баллах.
Каждому отдельному показателю качества, входящему в принятую модель качества продукции, эксперты присваивают определенный вес, устанавливая, таким образом, его роль в формировании качества.
Исходя из общей максимальной оценки, с учетом весов отдельных показателей, устанавливают балльную оценку каждого показателя качества.
Устанавливают скидки от показателей качества идеальной продукции, при различной степени снижения уровня качества. Например, если идеальное качество поверхности изделия оценивается в 7 баллов, то при наличии незначительных царапин оно снижается на 2 балла.
Определяют число степеней качества исходя из возможных балльных оценок соответствующего свойства. Например, могут быть приняты четыре степени качества: отличное, хорошее, удовлетворительное и плохое.
12.5. Обработка данных экспертных оценок качества продукции
Оценки, получаемые членами экспертной комиссии, обрабатывают с целью нахождения обобщенной оценки качества продукции. При ранжировании вначале необходимо проверить массив данных, полученных экспертами, на однородность.
Для проверки однородности массива данных рассчитывают суммарную оценку рангов:
, (12.1)
где j — номер ранга;j = 1, 2, 3, ..., п; п — число рангов; i — номер эксперта; i = 1, 2, 3, ..., т; т — число экспертов; Rij— ранги, присвоенные каждым экспертом.
Массив данных считается однородным, если R >Rkp.
Значение критической оценки суммы рангов Rкр находят по табл. 12.4, рассчитанной для уровня значимости 0,05.
Если согласованность данных достаточная, то по оценкам отдельных экспертов находят обобщенную оценку в виде обобщенной ранжировки:
.
Если согласованность данных недостаточная, то эксперты должны быть ознакомлены с полученными результатами, приняты меры к повышению их квалификации и экспертиза проведена повторна.
Значение критической оценки находят умножением числа, найденного в поле таблицы при заданных п и т, на множитель, помещенный в нижней строке таблицы.
Число экспертов |
Количество рангов |
||||||
3 |
4 |
5 |
6 |
7 |
8 |
9 |
|
2 |
6,6 |
1,2 |
2,2 |
3,6 |
5,0 |
7,1 |
9,7 |
3 |
12,6 |
2,6 |
4,7 |
7,6 |
11,1 |
15,8 |
21,6 |
4 |
21.7 |
4,5 |
8,1 |
13,3 |
19,7 |
28,1 |
38,4 |
5 |
33,1 |
6,9 |
12,4 |
20,8 |
30,8 |
43,8 |
60,0 |
6 |
47,0 |
9,8 |
17,6 |
30,0 |
44,4 |
63,1 |
86,5 |
7 |
63,0 |
13,1 |
23,8 |
40,7 |
60,5 |
85,0 |
115,0 |
8 |
81,7 |
17,0 |
29,8 |
48,3 |
73,2 |
105,0 |
145,0 |
9 |
102,6 |
21,4 |
37,5 |
60,9 |
92,8 |
135,0 |
185,0 |
10 |
126,1 |
26,3 |
46,2 |
75,0 |
113,8 |
160,0 |
225,0 |
Множитель |
10 |
100 |
100 |
100 |
100 |
100 |
100 |
Пример. Мнения пяти экспертов о семи объектах экспертизы выражены следующим образом:
первый эксперт |
|
Q5<Q3<Q2<Q1<Q6<Q4<Q7 |
второй эксперт |
|
Q5<Q3<Q2<Q6<Q4<Q1<Q7 |
третий эксперт |
|
Q3<Q2<Q5<Q1<Q6<Q4<Q7 |
четвертый эксперт |
|
Q5<Q3<Q2<Q1<Q4<Q6<Q7 |
пятый эксперт |
|
Q5<Q3<Q1<Q2<Q6<Q4<Q7 |
Требуется: по сумме рангов каждого объекта экспертизы построить ранжированный ряд, являющийся результатом группового оценивания; определить веса членов ряда.
Решение. 1. Для проверки однородности массива рассчитаем суммарную оценку рангов по (12.1.); получим R = 17956. По табл. 12.4 определим Rкр = 3080. Условие R > Rкт выполняется. Массив считаем однородным.
Найдем сумму рангов для каждого объекта.
Сумма рангов
для Q1 |
4+6+4+4+3=21 |
для Q2 |
3+3+2+3+4=15 |
для Q3 |
2+2+1+2+2=9 |
для Q4 |
6+5+6+5+6=28 |
для Q5 |
1 + 1 +3+1 + 1=7 |
для Q6 |
5+4+5+6+5=25 |
для Q7 |
7+7+7+7+7=35 |
Отсюда следует, что результат группового оценивания Q5<Q3<Q2<Q1<Q6<Q4<Q7
3. Для нахождения весов коэффициентов найдем сумму рангов всех объектов; она равна 140. Тогда весовые. коэффициенты
