- •Оглавление
- •1) Исследователь вносит гипотезу о структуре ящика
- •2) Определение неизвестных коэффициентов a0 и a1 модели
- •3) Проверка
- •Линейная множественная модель
- •Звено первого порядка
- •Звено второго порядка (колебательное звено)
- •1. Линейный коэффициент корреляции
- •3. Коэффициент корреляции двух динамических рядов
- •4. Корреляция внутри динамического ряда
- •5. Поиск периодичности ряда
- •7. Связь двух признаков
- •Аналитический способ решения задачи 1
- •Численный способ решения задачи 1
- •Формально-математический способ
- •Методы Рунге-Кутты третьего и четвертого порядков
- •Метод Эйлера с итерациями
- •Метод Милна
- •Уравнение диффузии
- •Уравнение тепломассопереноса
- •Задача анализа (прямая задача)
- •Задача синтеза (обратная задача)
- •Тренажеры
- •Метод Монте-Карло
- •Моделирование случайного события
- •Моделирование полной группы несовместных событий
- •Метод ступенчатой аппроксимации
- •Метод усечения
- •Метод взятия обратной функции
- •Свойства нормального распределения
- •Табличный метод генерации нормально распределенных чисел
- •Метод генерации нормально распределенных чисел, использующий центральную предельную теорему
- •Метод Мюллера
- •Биномиальное распределение
- •Нормальное распределение
- •Распределение Пуассона
- •Пуассоновский поток
- •Моделирование неординарных потоков событий
- •Моделирование нестационарных потоков событий
- •Анализ временной диаграммы
- •Синтез смо
- •Принцип Δt
- •Особенности реализации принципа Δt
- •Принцип особых состояний
- •Принцип последовательной проводки заявок
- •Объектный принцип моделирования
- •Марковский процесс с дискретным временем
- •Марковские случайные процессы с непрерывным временем
- •Вычисление средних
- •Вычисление геометрии распределения
- •Оценка (по Колмогорову) совпадения эмпирического закона распределения с теоретическим
- •Оценка точности статических характеристик
- •Голосование
- •Ранжирование
- •Точность и доверие к результатам экспертизы. Оценка экспертов
- •Практика № 01. Регрессионные модели
- •1Решение задачи регрессионного анализа
Точность и доверие к результатам экспертизы. Оценка экспертов
Важным вопросом экспертизы является формирование группы экспертов. Если экспертов много, то в группу с высокой вероятностью попадают некомпетентные эксперты. Если экспертов мало, то результат экспертизы существенно зависит от конкретных лиц, попавших в число экспертов. Поэтому имеет смысл, опросив экспертов ri и получив результат экспертизы R, оценить объективность каждого из членов экспертного коллектива по следующей формуле:
|
Для нашего примера можно просчитать объективность каждого эксперта. Рассмотрим уже полученное ранее решение (см. табл. 36.15).
Таблица 36.15. Матрица мнений экспертов и результат экспертизы |
||||||||||||||||||||||||||||||
|
Расстояние d(ri, R) от мнения i-го эксперта до результата (среднего мнения R): d(r1, R) = |1 – 1| + |2 – 2| + |3 – 3| + |4 – 4| = 0; d(r2, R) = |1 – 1| + |3 – 2| + |2 – 3| + |4 – 4| = 2; d(r3, R) = |2 – 1| + |1 – 2| + |3 – 3| + |4 – 4| = 2; d(r4, R) = |1 – 1| + |3 – 2| + |4 – 3| + |2 – 4| = 4. = 0 + 2 + 2 + 4 = 8. α1 = 1 – 0/8 = 1; α2 = 1 – 2/8 = 0.75; α3 = 1 – 2/8 = 0.75; α4 = 1 – 4/8 = 0.5.
Итак, как видим, первый эксперт имеет наибольшую объективность; наименьшую объективность имеет четвертый эксперт (см. рис. 36.8). Кстати, неслучайно в методе «Медиана Кемени» мнение первого эксперта было принято в качестве ответа экспертизы, а четвертый эксперт стоял на периферии многоугольника мнений экспертов ABCD (см. рис. 36.1 и рис. 36.2)…
|
||
Рис. 36.8. Диаграмма объективности экспертов |
Вообще-то рекомендуется отсеять мнения экспертов с малым значением α и результат R пересчитать снова без их учета.
Вторая проверка экспертов касается согласованности их коллектива. Для расчета согласованности мнений рассчитаем дисперсию мнений (см. табл. 36.16) и оценим ее величину статистической формулой W = 12 · D/(n2 · (m3 – m)), где n — число экспертов, m — число проектов.
Таблица 36.16. Матрица расчета согласованности мнений экспертов для группы из четырех экспертов |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Для нашего случая имеем: W = 12 · 46/(42 · (43 – 4)) = 552/960 = 0.575. При W = 1 эксперты находятся в полном согласии; при W = 0 наблюдается полная несогласованность. В нашем примере согласие экспертов слабое. Поэтому можно порекомендовать изменить число экспертов — либо удалить четвертого эксперта, как самого необъективного, либо увеличить число экспертов для большей статистической устойчивости результатов. Посмотрим, как возрастет согласованность экспертов, например, после удаления четвертого эксперта (см. табл. 36.17).
Таблица 36.17. Матрица расчета согласованности мнений экспертов для группы из трех экспертов |
|||||||||||||||||||||||||||||||||||||||||||||||||
|
W = 12 · 29/(32 · (43 – 4)) = 0.64 — как видим, согласие увеличилось.
Таким образом, экспертиза помогает нам провести неформальный анализ в моделировании, отобрав из множества предложенных методами генерации идей наиболее перспективный вариант будущего проекта. В выбранный проект в дальнейшем будут вложены значительные средства для его детализации (процесс проектирования и моделирования — см. лекцию 01. Понятие моделирования. Способы представления моделей и Рис. 1.14. Схема процесса, способов и приемов моделирования (полный вариант)).
Обычно для уверенного принятия решения, так как все методы экспертиз субъективны, используют сразу несколько методов и выводят общее решение.
Полученное решение обязательно следует проверить. Мы рассмотрели две проверки — на качество эксперта (объективность эксперта) и качество группы (согласованность группы).
Сама величина критерия, полученная в результате проверки, дает только относительную оценку. Рекомендуется наблюдать изменение величины в результате изменения некоторого существенного фактора и добиваться наилучшего значения этой величины, сознательно управляя этим фактором (см., например, табл. 36.16 и табл. 36.17). Таким фактором чаще всего может служить величина группы, качественный состав группы экспертов, система критериев, состав проектов. Хорошие результаты дает применение итераций в экспертизе.
Но всегда следует иметь в виду, что никакое количество проверок, даже очень большое, не гарантирует абсолютной правильности выбора решения