18. Метод экспертных оценок: постановка задачи и применения.

Метод экспертных оценок

Постановка задачи

Методы получения, обработки и анализа информации в слабоструктурированных системах с использованием знания и опыта специалистов получили название метода экспертных

оценок.

Основная идея экспертных методов состоит в том, чтобы

использовать интеллект людей, их способность находить решения в слабоформализованных задачах при большом количестве качественной информации, наличии противоречивых целей, критериев и ограничений.

Способы организации экспертного оценивания, критерии оценки объек-

тов могут существенно отличаться в зависимости от специфики рассматриваемой проблемы. Вместе с тем сама технология организации экспертного опроса и математические методы обработки достаточно упорядочены и формализованы.

организации экспертного оценивания, состоящий из трех этапов:

1) организации работ по проведению экспертизы;

2) проведении экспертизы;

3) формирования экспертного заключения и ознакомления участников с

результатами экспертного оценивания.

Начальный этап организации работ по проведению экспертного оценивания предполагает прежде всего создание конкурсной комиссии, основными

обязанностями которой являются:

• определение целей и задач экспертизы;

• определение условий и сроков организации работ и представления документов;

• подготовка необходимых организационно-распорядительных документов (приказа о проведении экспертизы, методики организации работ, объявления о конкурсе и т.д.);

• организация приема и регистрации документов, описывающих объекты

экспертизы;

• выбор и обоснование системы критериев оценки объектов и их относи-

тельной важности;

• формирование экспертной комиссии и организация ее работы.

Процедура проведения экспертизы может состоять из трех этапов:

1) предварительной экспертизы, проводимой конкурсной комиссией на

предмет формального соблюдения правил представления материалов об объектах экспертизы;

2) основной экспертизы, проводимой экспертами в сроки и по технологии, согласованной с заказчиком;

3) повторной экспертизы, проводимой в том случае, если результирующий коэффициент согласованности экспертов не удовлетворяет заданному

уровню достоверности оценок; при этом экспертам предлагается публично обсудить результаты и повторно провести экспертное оценивание, иначе конкурсная комиссия изменяет состав экспертов.

Экспертное заключение составляется на основе материалов, представленных экспертами, и результатов обработки экспертного оценивания проектов,

содержит краткие сведения о представленных объектах экспертизы, краткие

сведения об экспертах, сроки и порядок проведения экспертизы, результаты математической обработки, степень согласованности экспертов, выводы и рекомендации, приложения.

19)Формальные методы описания предпочтения объектов и определения предпочтений экспертов.

1.Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.

Результатом проведения ранжирования является ранжировка.

Если имеется n объектов, то в результате их ранжирования j-ым экспертом каждый объект получает оценку x_ij – ранг, приписываемый i-му объекту j-ым экспертом.

Значения x_ij находятся в интервале от 1 до n. Ранг самого важного фактора равен единице, наименее значимого – числу n.

Ранжировкой j-го эксперта называется последовательность рангов x_1j, x_2j, …, x_nj.

Достоинством метода является его простота, а недостатком - ограниченные возможности использования. При оценке большого количества объектов экспертам очень трудно строить ранжированный ряд, поскольку приходится учитывать множество сложных связей.

2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.

Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.

Результаты попарного сравнения удобно представлять в виде квадратной матрицы, на пересечении строки i и столбца j которой ставится 1, если объект i предпочтительнее объекта j, 0 – если объект; предпочтительнее объекта i, ¹/₂ – если объекты одинаковы по предпочтительности, и прочерк (–), если объекты несравнимы. Представленная ниже матрица показывает, например, что объект а предпочтительнее, чем объект b, объект b предпочтительнее объекта с, а объекты а и с несравнимы:

1>>-СТРОГОЕ ПРЕВОСХОДСТВО

0.5>-ПРЕВОСХОДСТВО

0-ЭКВИВАЛЕНТНОСТЬ

3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие.

В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10.

Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Смысл метода состоит в том, что эксперт помещает каждый из анализируемых объектов в определенный интервал (приписывает балл). Измерителем при этом является степень обладания объекта тем или иным свойством.

Число интервалов, на которые разбивается диапазон изменения свойства, может быть различным для разных экспертов. Кроме того, метод разрешает давать одну и ту же оценку (т.е. помещать в один и тот же интервал) различным объектам.

Например, метод непосредственной оценки используется при проведении экзаменов. Здесь диапазон, характеризующий уровень знаний студентов мысленно разбивается экспертом-преподавателем на интервалы, подобно тому, как показано на рисунке 7.2.

4. Последовательное сравнение представляет собой комплексную процедуру измерения, включающую как ранжирование, так и непосредственную оценку.

При последовательном сравнении эксперт выполняет следующие операции:

• осуществляет ранжирование объектов;

• производит непосредственную оценку объектов, полагая, что числовая оценка первого в ранжировке объекта равна единице;

• решает, будет ли первый объект превосходить по предпочтительности все остальные вместе взятые объекты. Если да, то эксперт увеличивает значение числовой оценки первого объекта так, чтобы она стала больше суммы числовых оценок остальных объектов. В противном случае он изменяет величину функции так, чтобы она стала меньше, чем сумма оценок остальных объектов;

• решает, будет ли второй объект предпочтительнее, чем все последующие вместе взятые объекты;

• продолжает операцию сравнения предпочтительности последующих объектов и изменяет числовые оценки этих объектов в зависимости от своего решения о предпочтении.

Существуют различные модификации процедуры последовательного сравнения, которые незначительно отличаются от рассмотренного выше метода. Опыт применения этого метода и его модификаций доказал свою эффективность.