Обработка экспертных оценок по методу классификации

Анализ оценок каждого эксперта. В методе классификации единственным требованием к оценкам объектов является условие отнесения каждого объекта только к одному классу. Это следует из того, что метод основан на теории четких множеств. Формально это условие записывается в следующем виде:

.

Если это условие не выполняется, то необходимо предъявить обна руженную ошибку эксперту для исправления. Оценку объекта, по которому обнаружена ошибка, можно исключить из рассмотрения. Обычно, чтобы таких ошибок не наблюдалось, эксперту предлагается вместо запол нения матрицы при оценке объекта указать номер класса, к ко торому он относит объект.

Определение групповых оценок объектов. В качестве групповой оценки объекта j в методе классификации используется мода распределения личных оценок экспертов j объекта. Для определения моды распределения вычисляются величины , где m_j – число экспертов, оценивших j объект.

определяет количество экс пертов, отнесших объект j к классу k.

Групповой оценкой объекта j является индекс класса, соответст вующий Другими словами, в методе классификации для опреде ления групповых оценок используется правило большинства: объект j от носят к тому классу, к которому отнесло его большинство экспертов.

Бинарную матрицу групповых оценок обозначим через .

Анализ достоверности групповых оценок. Согласованность экспертов по объекту j определяется коэффициентом согласия:

,

Где , S - количество классов, m_j – число экспертов, оценивших j объект.

Значимость коэффициента согласия используется статистика:

распределенная по закону Пирсона с числом степеней свободы . Эта статистика используется при числе экспертов более 15.

Для проверки гипотезы H₀ необходимо задать уровень значи мости , который характеризует требования к надежности групповых оценок, по таблицам распределения определить .

При малом числе экспертов для проверки значимости следует использовать таблицы распределения при малых выборках.

Решающим правилом для того, чтобы считать коэффициент со гласия значимым и, соответственно, групповую оценку объекта O_j досто верной, является следующее неравенство: или .

Согласованность экспертов по всей совокупности объектов определяется усреднением коэффициента по объектам:

Проверка значимости коэффициента согласия E по всей совокупности объектов осуществляется аналогично Е_j. При этом статистика вычисляется по формуле:

,

число степеней свободы равно .

Говоря о сравнении оценок объектов, данных различными экспер тами, необходимо остановиться на коэффициенте корреляции.

В результате преобразования получим:

.

Подсчет осуществлять довольно просто: достаточно вычислить количество объектов, по которым оценки экспертов совпали, и отнести результат к общему числу объектов n.

10. Метод ранжирования. Экспертные методы.

Оценка объектов по методу ранжирования. Эксперту предлагается упорядочить объек ты по предпочтению. При этом, кроме отно шения порядка между объектами, могут устанавливаться и отношения эквивалентности. Например, семь объектов упорядочены следующим образом: ~ O₄ ~ ~

В качестве рангов используются числа натурального ряда, причем наиболее предпочтительному объекту присваивается ранг, равный единице. Таким образом, ранг объекта обо значает его порядковый номер в упорядоченном ряду. Так, в приведенном выше примере объекту O₃ соответствует ранг 1, а объекту О₆ – ранг 7.

Если между несколькими объектами при их оценке установлено отношение эквивалентности (в приведенном примере это подмножества и ), то имеют место связанные ранги для объ ектов, входящих в классы эквивалентности. Значения связанных рангов определяются как среднее из чисел, характеризующих места эквивалентных объектов в упорядоченном ряду. Так, связанный ранг объектов O₁, O₄ и O₅ будет равен (2+3+4)/3 = 3, а связанные ранги O₂ и O₇ равны (5+6)/2 = 5,5.

Ранг, присвоенный экспертом i объекту j, будем обозначать . Отметим также, что при использовании метода ранжирования экс перты должны обязательно оценивать все объекты.

Таким образом, оценками объектов эксперта i являются ранги объектов .