2. Определение коэффициентов весомости показателей качества.
Для определения ранга каждого показателя качества сначала вычисляют сумму рангов каждого показателя качества по формуле:
,
(1)
где Рi – сумма рангов i-го показателя качества, pij – ранг i-го показателя качества, присвоенный j-тым экспертом; m – количество экспертов.
Сумма рангов проставляется в графе 12 табл. 1.1.
Далее определяются коэффициенты весомости каждого показателя качества по формуле:
,
(2)
где Qi – коэффициент весомости I-го показателя качества, n – количество показателей качества.
3. Проверка согласованности и достоверности экспертных оценок.
Оценка качества моделей-аналогов может считаться достаточно надежной только при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от экспертов, должна включать в себя оценку степени согласованности мнений экспертов.
Согласованность мнений экспертов проверяется по двум критериям: коэффициенту конкордации W и коэффициенту ранговой корреляции Спирмэна .
Коэффициент конкордации показывает одновременно согласованность всех экспертов сразу. Для его расчета используют формулу, предложенную Кендалом:
,
(3)
где n – число показателей качества, m – количество экспертов, S – сумма квадратов отклонений между суммарным рангом по каждому показателю и средней суммой рангов:
,
(4)
где pij – ранг i-го показателя качества, присвоенный j-тым экспертом.
Коэффициент конкордации может принимать значения в диапазоне от 0 до 1. Его равенство 1 означает, что все эксперты дали одинаковые оценки, а равенство 0 – что связи между оценками, полученными от разных экспертов, не существует.
Для оценки значимости коэффициента конкордации используется критерий 2 при n-1 степенях свободы. Сначала вычисляется значение
2 = W*m*(n-1), (5)
а затем оно сравнивается с табличным значением (табл. 1.2). Если 2>2табл, то коэффициент конкордации значим с вероятностью 0,95. Следовательно, с вероятностью 95 % можно утверждать, что существует определенная согласованность мнений экспертов в оценке рассматриваемых показателей.
Таблица 1.2
2табл при n-1 степенях свободы
|
n-1 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
2табл |
3,8 |
6,0 |
7,8 |
9,5 |
11,1 |
12,6 |
14,1 |
15,5 |
16,9 |
18,3 |
|
| ||||||||||
|
n-1 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
|
2табл |
19,7 |
21,0 |
22,4 |
23,7 |
25,0 |
26,3 |
27,6 |
28,9 |
30,1 |
31,4 |
В том случае, когда необходимо оценить расхождение мнений отдельного эксперта и всей группы экспертов, используют индивидуальный коэффициент ранговой корреляции Спирмэна.
Для расчета коэффициента ранговой корреляции Спирмэна используется формула:
,
(6)
где d – разность между рангом данного эксперта и средним значением ранга, определяемым мнениями всех экспертов.
Коэффициент Спирмэна может принимать значение в диапазоне от –1 до +1. В случае наименьшей зависимости эта величина равна 0. С учетом того, что при больших n распределение частот для коэффициента Спирмэна стремиться к нормальному со среднеквадратичным отклонением
,
(7)
то с вероятностью 95 % можно утверждать наличие согласованности мнений данного эксперта и всей группы, если
,
(8)
прямоугольные скобки обозначают взятие целой части.
В том случае, когда для одного или нескольких экспертов согласованности нет, желательно заменить или удалить тех экспертов, мнения которых учитывать не рекомендуется и выполнить заново работу по ранжированию показателей качества и определению их коэффициентов весомости.
Затем определяются существенно значимые показатели качества.
Если
бы все показатели качества были бы
одинаково значимыми, то их коэффициенты
весомости были бы одинаковы и равны
1/n.
Существенно значимыми показателями
считаются те, для которых
.
Так как сумма значимых показателей качества должна быть равна 1, коэффициенты весомости значимых показателей качества пересчитываются по формуле:
,
(9),
в которой используются только значимые показатели качества (N – количество значимых показателей качества).
Эти коэффициенты весомости используются для комплексной оценки качества моделей-аналогов.