2. Экспертные методы нахождения коэффициентов весомости

2.1. Алгоритм экспертного метода

Достоверность получаемых в результате опроса экспертов значений в значительной степени зависит от того, насколько совершенны процедуры опроса экспертов, обработки и анализа полученных данных, насколько грамотно составлены пояснительные записки и анкеты. Этой теме посвящены исследования как в квалиметрии [2, 7, 10, 18, 19], так и в других областях науки. Однако, по признаниям специалистов, пока ещё свойства групповой экспертизы изучены недостаточно.

В большинстве литературы определение коэффициентов весомости показателей с использованием экспертных методов рекомендуется выполнять в следующем порядке [7].

1. Предварительный этап.

1.1. Выбор состава и численности экспертной группы.

1.2. Выбор способа опроса экспертов.

1.3. Выбор способа назначения балльных оценок весомости.

1.4. Выбор способа выполнения контрольной операции.

1.5. Составление анкеты.

1.6. Опрос экспертов и получение индивидуальных оценок.

2. Проверка индивидуальных оценок каждого эксперта на внутрен­нюю непротиворечивость (индивидуальная воспроизводимость) и, в случае обнаружения противоречий, повторный опрос.

3. Проверка согласованности индивидуальных оценок между собой (согласованность мнений экспертов или межэкспертная воспроизводимость) и выявление выпадающих индивидуальных оценок или отдельных внутренне согласованных групп оценок («еретиков» и «школы»).

В случае обнаружения «еретиков» или «школ» выполняют последо­вательно следующие действия:

• проводят собрание экспертной группы, на котором обсуждают обнаруженные разногласия и выполняют повторное назначение оценок;

• если оценки вновь рассогласованы, то принимают решение вы­полнять дальнейшую разработку в нескольких вариантах – по числу обнаруженных согласованных групп оценок. Если это решение не может быть выполнено, то расформировывают имеющуюся экспертную группу, выбирают другой способ ее формирования и вновь формируют экспертную группу.

4. Определение обобщенных значений коэффициентов весомости.

Коэффициенты весомости рассчитываются по формуле

, (8)

где N – количество участвующих в экспертизе экспертов;

M_i – коэффициент весомости i-го показателя качества;

M_ij – величина весомости i-го показателя качества, данная j-м экспертом.

5. Нормирование коэффициентов весомости частных и комплексных показателей в каждой их группе по всем уровням, исключение малозначимых показателей и перенормировка.

Обоснование выбора того или иного метода необходимо привести в МОК (Методике оценки качества).

2.2. Классификация экспертных методов нахождения коэффициентов весомости

При экспертном определении параметров весомости показателей качества, как и многих других задач по управлению качеством, наибольшее распространение получили методы оценивания и сопоставления, кроме того, существуют и комбинированные методы, сочетающие элементы как оценивания, так и сопоставления (см. рис. 1).

Методы оценивания в зависимости от применяемой шкалы оценки делятся на метод непосредственного ранжирования (метод предпочтения, метод рангов) – в случае использования шкалы рангов и метод непосредственного оценивания (приписывания баллов) – в случае использования шкал интервалов или отношений.

В зависимости от вида этих шкал (вспомогательная процентная шкала, симметричная шкала и др.) методы непосредственного оценивания могут очень отличаться друг от друга как видом таблиц опроса, так и способом проведения контрольной операции.

Определение параметров весомости экспертным методом сопо­ставлений проводят парным и последовательным сопоставлением. При парном сопоставлении эксперт сравнивает показатели качества по их важности попарно, устанавливая в каждой паре наиболее весомый.

Суть всех этих методов заключается в стремлении в максимальной степени упростить работу эксперта, свести ее к элементарным операциям, при которых эксперту, вообще говоря, можно даже не пользоваться числами. Эти методы можно классифицировать по разным признакам и прежде всего, по используемым при этом шкалам.

Эксперт может просто отмечать «более важный» и «менее важный» показатели, присваивая соответственные ранги. Однако, парно сравнивая, он может по специально разработанным шкалам интервалов или отношений отмечать «на сколько» или «во сколько раз» одно свойство в паре важнее другого [11].

На результат парного сопоставления могут оказать влияние психологические факторы – предпочтение иногда получает не тот показатель, который действительно более важен, а тот, который в перечне пар записан первым, поэтому проводить парное сопоставление целесообразно и в обратном порядке, что рождает методы как частичного сравнивания (сравниваются свойства А – В, А – С, А–D и т.д.), так и полного сравнивания (сравниваются не только пары свойств А – В, А – С, А–D и т.д., но и пары В–А, С–А, D–А и т.д.).

Кроме того, свойства для сравнения могут предъявляться эксперту как в форме таблиц парного сравнения, так и в форме списков. Список пар характеристик при способе проведения опроса смешанным анкетированием может предлагаться как в письменной, так и в устной форме. При этом наименования свойств даются вразброс.

У каждого из представленных способов есть свои достоинства и недостатки, свои сферы применения, поэтому выбор каждого из них требует обоснования с точки зрения ситуации оценивания, структуры свойств, численности и квалификации экспертов и других важных факторов.

Кроме того, применение экспертных методов для определения параметров весомости требует соблюдения всех правил и выполнения полного комплекса экспертных процедур, что и при использовании классических экспертных методов. Только при соблюдении этих условий использование экспертных методов для определения параметров весомости показателей позволит получить корректную оценку уровня качества объекта.