4.6.1. Метод экспертной оценки ранжированием

При экспертном оценивании качества аналогичных, но не идентичных объектов методом ранжирования, эксперты представляют объекты в виде (возрастающего) ранжированного ряда. Численное определение итоговых оценок качества осуществляют поэтапно.

При этом:

1) Все объекты оценивания Q_i нумеруются произвольно.

2) Эксперты ранжируют объекты по шкале порядка.

3) Ранжированные ряды объектов, составленные экспертами, сопоставляются.

Например:

Эксперт № 1 – Q₅ < Q₃ < Q₂ < Q₁ < Q₆ < Q₄ < Q₇

Эксперт № 2 – Q₅ < Q₃ < Q₂ < Q₆ < Q₁ < Q₄ < Q₇

Эксперт № 3 –Q₅ < Q₂ < Q₃ < Q₁ < Q₆ < Q₇ < Q₄

Ранги R: 1 2 3 4 5 6 7

Наименее значимому объекту (предмету или его свойству), поставленному экспертом на первое место в возрастающем ранжированном ряду объектов, присваивается 1 ранг (R=1), следующему 2 ранга (R=2) и т.д. Наибольшее число рангов R равно числу оцениваемых объектов. В нашем примере число объектов m=7 и R_max=7. Число рангов объекта соответствует его месту в ранжированном ряду.

4) Определяем суммы рангов каждого объекта полученных от всехn экспертов.

В данном примере это:

,

,

,

,

,

,

.

5) На основании полученных сумм рангов строят обобщенный ранжированный ряд.

В нашем примере: Q₅ < Q₃ < Q₂ < Q₁ < Q₆ < Q₄ < Q₇ .

6) Рассчитывают обобщенные экспертные оценки качества рассматриваемых объектов (коэффициенты весомости)

. (31)

где n – количество экспертов; m – число оцениваемых объектов или показателей; R_ij – ранг j-го показателя свойства, который дал i-й эксперт.

Общее количество рангов в данном примере

В примере:

g₁ = 13 / 84 = 0,15; g₂ = 8 / 84 = 0,10; g₃ = 7 / 84 = 0,08;

g₄ = 19 / 84 = 0,23; g₅ = 3 / 84 = 0,04; g₆ = 14 / 84 = 0,17;

g₇ = 20 / 84 = 0,24.

Анализируя полученные результаты, можно указать какой объект лучше и на сколько.

7) Точность экспертных оценок определяют по согласованности мнений экспертов.

Степень совпадения оценок экспертов характеризует качество экспертизы и выражается коэффициентом конкордации W (0<W<1):

, (32)

где S – сумма квадратов отклонений рангов или баллов каждого объекта от среднего арифметического значения;

n – количество экспертов;

m – количество оцениваемых объектов.

Значение S рассчитывают по формуле:

(33)

или

,

где ;

R_ij – оценка в рангах данная i-му объекту j-м экспертом;

R_cp – среднеарифметическое значение рангов.

При W=0 имеем абсолютную несогласованность, а при W=1,0 – полное совпадение мнений.

В примере:

R_cp = (13 + 8 + 7 + 19 + 3 + 14 + 20) / 7 = 84 / 7 = 12

S = 1² + 4² + 5² + 7² + 9² + 2² + 8² = 240

W = 12  240 / (9  (343 – 7)) = 2880 / 3024 = 0,87

Повысить точность экспертных оценок показателей качества можно, если произвести двукратное сопоставление и ранжирование.

4.6.2. Метод попарного сопоставления

При экспертной оценке качества методом попарного сопоставления эксперты находят сколько предпочтений N_i имеет каждый объект по сравнению с другими.

Наибольшее число предпочтений любого из рассматриваемых объектов, полученное от одного из экспертов, равно

, (34)

где m – количество оцениваемых относительно друг друга объектов.

Частота предпочтений i-го объекта F_i находится как частное от деления N_i и N_max, т.е.

. (35)

Общее число суждений одного эксперта С, связанное с количеством объектов экспертизы m, получают по формуле:

. (36)

Зная значения F_i и С рассчитывают показатель качества или весомости i-го объекта по формуле (31), преобразованной к виду

, (37)

где m – число оцениваемых объектов;

n – число экспертов в группе.

В идеале сумма всех показателей качеств g_i, как коэффициентов весомости, должна равняться единице.

Показатель согласованности решений (оценок, мнений) экспертов, т.е. коэффициент конкордации W, рассчитывают также по формуле (32).

Если иW на много меньше единицы, то экспертизу повторяют. Для двухкратного сопоставления объектов экспертами в первоначально избранной ими последовательности и в другой последовательности при повторном определении предпочтений имеем:

;

; (38)

.

И в этом случае значения g_i рассчитывают по формуле (37).

По результатам расчетов значений g_i легко составить ранжированный ряд рассматриваемых объектов по их качетсву.