- •«Мати» – Российский государственный технологический университет им. К.Э. Циолковского
- •В.В. Мыльника
- •Предисловие
- •Часть I. Основы построения и финансирования систем управления Глава 1. Системы и их Закономерности
- •1.1. Системы
- •1.2. Классификация систем и их характеристика
- •1.3. Основные закономерности сметем
- •Литература
- •Глава 2. Управление и кибернетика
- •2.1. Управление
- •2.2. Кибернетика и ее принципы
- •2.3. Производственная организация как кибернетическая система
- •Литература
- •Глава 3. Автоматизация управления
- •3.1. Основные направления автоматизации управления
- •3.2. Классификация аису
- •3.3. Структурное построение иаису
- •3.4. Общесистемные принципы создания иаису
- •3.5. Методы синтеза структуры иаису
- •3.6. Цели и критерии эффективности систем управления
- •Глава 4. Методология разработки систем управления
- •4.1. Организация разработки систем управления
- •Взаимосвязь отдельных фаз инвестиционного проекта с сетевым графиком создания системы управления
- •4.2. Инвестиционный цикл проекта и его структура
- •Литература
- •Глава 5. Источники и методы финансирования систем управления
- •5.1. Источники финансирования
- •5.2. Основные методы финансирования
- •Литература
- •Глава 6. Методологические основы принятия решений
- •6.1. Сущность принятия решений
- •6.2. Классификация управленческих решений
- •6.3. Постановка задачи принятия управленческих решений
- •6.4. Модель процесса принятия и реализации управленческих решений
- •6.5. Человеческий фактор в принятии и реализации уоравленческих решений
- •Литература
- •Часть II. Методы исследования и оценки эффективности систем управления Глава 7. Системный анализ
- •7.1. Предмет системного анализа
- •7.2. Процедуры системного анализа
- •7.3. Разработка, построение и исследование моделей
- •Литература
- •Глава 8. Исследование операций
- •8.1. Вводные понятия
- •8.2. Методы безусловной и условной оптимизации
- •8.3. Корреляционный и регрессионный анализ
- •8.4. Робастные методы и процедуры
- •8.5. Выводы по анализу применяемых методов
- •Литература
- •Глава 9. Имитационное моделирование
- •9.1. Понятие об имитационном моделировании
- •9.2. Имитация функционирования систем с дискретными событиями
- •9.3. Методы имитации случайных факторов
- •Глава 10. Планирование экспериментов
- •10.1. Полный факторный эксперимент и дробные реплики
- •Полный факторный эксперимент для двух независимых переменных, варьируемых на двух уровнях (планирование типа 22)
- •Полный факторный эксперимент для двух независимых переменных, варьируемых на двух уровнях (планирование типа 23)
- •Первая полуреплика от полного факторного эксперимента типа 23 (планирование типа 23-1)
- •Вторая полуреплика от полного факторного эксперимента типа 23 (планирование типа 23-1)
- •10.2. Поиск области оптимума
- •Глава 11. Распознавание объектов, явлений и ситуации
- •11.1. Сущность процесса распознавания
- •11.2. Системы распознавания и их классификация
- •11.3. Задачи при создании системы распознавания
- •11.4. Математические методы распознавания
- •Глава 12. «Черный» и «белый» ящики как научные методы
- •12.1. Понятие «черного» и квелого» ящика
- •12.2. Исследование поведения «черного» ящика
- •Глава 13. Экспертные оценки
- •13.1. Сущность метода экспертных оценок
- •13.2. Подбор экспертов
- •13.3. Методы проведения опроса экспертов
- •13.4. Обработка экспертных оценок
- •Анализ оценки относительной важности влияния I-X локальных аису на статьи затрат себестоимости продукции
- •Мнение экспертов источников аргументации
- •Литература
- •Глава 14. Оценка эффективности систем управления
- •14.1. Эффективность инвестиций в системы управления
- •14.2. Методы оценки эффективности систем управления
- •14.3. Статические методы
- •14.4. Дисконтирование потоков денежных ресурсов
- •14.6. Динамические методы
- •14.6. Определение затрат на создание и эксплуатацию систем управления
- •14.7. Факторы и источники формирования социально-экономических результатов
- •14.8. Оценка социально-экономических результатов
- •14.9. Учет инфляционных процессов
- •14.10. Учет неопределенности и рисков
- •Литература
- •Глоссарий
- •Содержание
Глава 13. Экспертные оценки
13.1. Сущность метода экспертных оценок
Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.
Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.
В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:
• обеспечить адекватную оценку объекта экспертизы;
• выработать эффективные альтернативные варианты решений достижения поставленных целей;
• выбрать из них единственный оптимальный (наиболее рациональный) вариант.
Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.
13.2. Подбор экспертов
Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.
Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.
Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.
В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:
метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);
метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;
дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;
методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;
документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.
Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:
метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;
метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.
Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.
Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.
Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.