- •Лекция 2. Интуитивные методы прогнозирования индивидуальные экспертные оценки
- •Коллективные экспертные оценки
- •Методы «мозговых атак»
- •Методы анкетного экспертного опроса
- •Метод «Дельфи»
- •Формирование экспертной группы
- •Оценка компетентности экспертов
- •Определение численности экспертной группы
- •Метод случайного поиска численности группы экспертов
- •Зонирование анкет экспертного опроса
- •Статистическая обработка результатов экспертных опросов
- •Обработка результатов экспертных оценок одного объекта, заключенного в одном вопросе
- •Обработка результатов экспертных оценок совокупности объектов, заключенных в одном вопросе
Формирование экспертной группы
Самостоятельным этапом прогнозных исследований методом коллективной экспертной оценки является формирование коллектива экспертов - экспертной группы.
При формировании экспертной группы решается вопрос о ее численности и составе. Основные требования к экспертной группе сводятся к обеспечению ее репрезентативности, т.е. представительности по компетентности экспертов и их численности.
Оценка компетентности экспертов
Качество экспертного прогноза в значительной степени определяется уровнем компетентности привлекаемых к опросу экспертов. Поэтому высокая компетентность эксперта является основным условием привлечения его к участию в разработке прогноза.
Все многообразие качественных характеристик компетентности чаще всего сводят к трем основным:
эрудиция в смежных отраслях, определяемая научно-практическим кругозором эксперта;
способность к научному предвидению;
осведомленность эксперта в исследуемой области знаний.
В настоящее время наиболее распространенными являются следующие способы оценки компетентности экспертов:
самооценка (субъективная оценка);
оценка группой экспертов каждого специалиста;
оценка на основе опыта и результатов прошлой деятельности экспертов.
В различных случаях используют либо один из этих трех способов, либо некоторую их совокупность.
Способом объективной оценки, как правило, оценивают эрудицию и способность к предвидению. В ряде случаев для объективной оценки компетентности используют коэффициент аргументированности суждений эксперта. Этот коэффициент учитывает структуру аргументов, послуживших эксперту основанием для того или иного суждения.
Источники аргументации, влияющие на мнение эксперта |
Степень влияния источника | ||
Высокая |
Средняя |
Низкая | |
Производственный опыт |
0,5 |
0,4 |
0,2 |
Проведенный теоретический анализ |
0,3 |
0,2 |
0,1 |
Обобщение работ отечественных авторов |
0,05 |
0,04 |
0,03 |
Обобщение работ зарубежных авторов |
0,05 |
0,04 |
0,03 |
Личное знакомство с состоянием дел за рубежом |
0,05 |
0,04 |
0,03 |
Интуиция |
0,05 |
0,04 |
0,03 |
При составлении этой таблицы принималось во внимание следующее:
а) коэффициент аргументированности Ка не должен превышать 1;
б) значению Ка=1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации; Ка=0,8 - средняя степень влияния; Ка=0,5 - низкая степень влияния;
в) Ка уменьшается при переходе от «производственного опыта» к «теоретическому анализу» и от последнего к прочим источникам аргументации. В других анкетах объективной оценки, используемых для определения компетентности эксперта, формулируются такие характеристики компетентности, как, например, стаж научной работы, занимаемая должность, ученая степень и звание, число научных трудов и т.д.
В качестве примера в таблице приведена подобная шкала с соответствующими градациями и баллами оценки для определения уровня проводимой экспертом научной работы.
Проводимая в настоящее время научная работа | |
Градация шкалы |
Баллы оценки |
Руководитель разработки системы или проекта |
10 |
Руководитель разработки ряда подсистем |
9 |
Руководитель разработки подсистемы |
8 |
Руководитель разработки подсистемы (ряда элементов) |
7 |
Руководитель разработки элемента подсистемы |
6 |
Участие в разработке системы |
5 |
Участие в разработке ряда подсистем |
4 |
Участие в разработке подсистемы |
3 |
Участие в разработке элементов подсистем |
2 |
Участив в разработке элементов подсистемы |
1 |
Оценку по каждой шкале также делят на максимально возможный балл (в данном случае равный 10). Таким образом, может быть получен ряд коэффициентов, характеризующих эрудицию эксперта.
Оценкой компетентности экспертов является и определение уровня их осведомленности на основе количественной оценки специализации экспертов и степени предпочтительности той или иной специализации для решения данного вопроса.
В этом случае результатом оценки является матрица компетентности экспертов, характеризующая уровень осведомленности каждого из экспертов по каждому из вопросов, содержащихся в предлагаемой анкете экспертного опроса.
Для построения матрицы компетентности экспертов каждому эксперту предлагается заполнить таблицу, характеризующую уровень осведомленности по соответствующей специализации.
Специализация |
Уровень осведомленности (в баллах) | ||||||||||
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 | |
Динамика, баллистика |
|
|
|
|
|
+ |
|
|
|
|
|
Аэродинамика |
|
|
|
|
+ |
|
|
|
|
|
|
Силовые установки |
|
|
|
|
|
+ |
|
|
|
|
|
Точность конструкции |
|
|
|
|
|
|
+ |
|
|
|
|
Оборудование |
|
|
|
+ |
|
|
|
|
|
|
|
Системы управления |
|
|
|
|
+ |
|
|
|
|
|
|
Эффективность |
|
|
+ |
|
|
|
|
|
|
|
|
Каждый эксперт, заполнив такую таблицу, указывает свой уровень осведомленности по каждой из приведенных там специализаций. В дополнение к таблице должны быть даны градация осведомленности (от 1 до 10).
Далее строится матрица специализация экспертов по каждому вопросу анкеты
Специализация |
Эксперты | ||||||
1 |
2 |
3 |
… |
i |
… |
n | |
1 |
θ11 |
θ12 |
θ13 |
… |
θ1i |
… |
θ1n |
2 |
θ21 |
θ22 |
θ23 |
… |
θ2i |
… |
Θ2n |
3 |
Θ31 |
θ32 |
θ33 |
… |
θ3i |
… |
θ3n |
… |
… |
… |
… |
… |
… |
… |
… |
α |
Θα1 |
θα2 |
θα3 |
… |
θαi |
… |
θαn |
… |
… |
… |
… |
… |
… |
… |
… |
s |
Θs1 |
θs2 |
θs3 |
… |
Rsi |
… |
θsn |
Здесь используются следующие обозначения:
i- порядковый номер экспертов (1…n);
α - порядковый номер специализации (1…s);
θαi - условное число (балл), характеризующее уровень осведомленности i-го эксперта в α-й специализации (1…10).
Кроме этого, необходимо иметь заранее разработанную специалистами матрицу, характеризующую степень предпочтительности специализации эксперта, для установления наибольшей компетентности в конкретных вопросах, содержащихся в анкете:
Специализация |
Вопросы анкеты | ||||||
1 |
2 |
3 |
… |
β |
… |
m | |
1 |
R11 |
R12 |
R13 |
… |
R1β |
… |
R1m |
2 |
R21 |
R22 |
R23 |
… |
R2β |
… |
R2m |
3 |
R31 |
R32 |
R33 |
… |
R3β |
… |
R3m |
… |
… |
… |
… |
… |
… |
… |
… |
α |
Rα1 |
Rα2 |
Rα3 |
… |
Rαβ |
… |
Rαm |
… |
… |
… |
… |
… |
… |
… |
… |
s |
Rs1 |
Rs2 |
Rs3 |
… |
Rsβ |
… |
Rsm |
β - порядковый номер вопроса (1…m);
Rαβ - степень предпочтительности α-й специализации по β-му вопросу.
Для количественной оценки можно воспользоваться, например, следующей шкалой оценки предпочтительности
Шкала оценки предпочтительности специализации |
Значение |
Для данного вопроса эта специализация эксперта весьма существенна |
2 |
Для данного вопроса эта специализация эксперта полезна |
1 |
Для данного вопроса такая специализация эксперта несущественна |
0 |
На основе матрицы специализации экспертов θαi и матрицы предпочтительности специализации экспертов Rαβ рассчитываются коэффициенты компетентности экспертов
где kiβ - коэффициент компетентности (вес i-го эксперта по β-му вопросу).
В тех случаях, когда эксперт не ответил по каким-либо причинам на данный вопрос, его компетентность в этом вопросе считается равной нулю (kiβ = 0).
Одним из путей объединения ряда объективных и субъективных оценок является определение обобщающего коэффициента компетентности для каждого i-го эксперта (αi):
где
kiz- оценка (коэффициент) компетентности i-го эксперта, полученная z-м способом;
lz - весовой коэффициент z-го способа оценки в общей системе оценок;
z - индекс применяемого способа оценки (1…r).
Рассмотренные подходы к определению компетентности экспертов наиболее широко используются в методах коллективной экспертной оценки.