ATT00025-Экспертные оценки от Анохина

УДК 007:519.816

Анохин А.Н. Методы экспертных оценок. Учебное пособие. – Обнинск: ИАТЭ, 1996. – 148с.

Рассматриваютсяметодыизвлечения, кодирования, обработкииинтерпретацииэкспертныхсужденийприменительнокрешениюзадачсистемного анализа.Выполненаклассификацияикраткоеизложениеобщеизвестныхиоригинальныхметодикипроцедурструктурированияиорганизацииэкспертиз, анализасогласованности, выделениявысокосогласованныхгрупп, представлениярезультатовидр. специальныхвопросов. Особоевниманиеуделенометодическойпроработкематериала:даныподробныерекомендациипопрактическомуприменениюметодов;изложениесопровождаетсяпримерамииописаниемреальныхэкспертизпопроблемамфункционированияатомныхстанций.

Учебноепособиепредназначенодлястудентовстаршихкурсовфакульте- такибернетикиифизико-энергетическогофакультета,изучающихдисципли- нысистемногоанализа, теориисистем, теориипринятиярешений, управленческогоконсультированияидр.

Илл.37, табл.28, библ.15 назв.

Рецензенты: д.т.н., проф. Г.В. Дружинин

к.ф.-м.н., с.н.с. В.М. Куприянов

Темплан1996,поз.13

©АнохинА.Н.,1996г.

©Обнинскийинститутатомнойэнергетики,1996г.

Алексей Никитич Анохин

МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

Редактор З.И.Сныкова

Дизайн обложки, макета и компьютерная верстка А.Н.Анохин

Редакционно-издательскийотделИАТЭ г.Обнинск,Студгородок,1

ЛР №020713 от 02.02.1993

2

Предисловие

Кто из нас не сталкивался с проблемой, когда собственных сил и знаний не хватало, чтобы решить стоящую задачу или найти выход из сложившегося положения. Каждый раз, оказавшись в такой ситуации, мы спрашивали совета и поддержки. Передача знаний друг другу и их аккумуляция стала нашей нормальной ежедневной практикой. И неудивительно, что облачение этого процесса в строгую научную формулировку «экспертные оценки» явилось лишь малозначительной формальностью, никак не изменившей его роль в нашей жизни.

Сегодня экспертные оценки стали одной из наиболее бурно развивающихся научно-практических дисциплин, задачей которой стало структурирование и системная организация процесса получения и кодирования данных и знаний, источником которых является человекэксперт. Вобрав в себя методы и знания из психологии, математики, статистики, теории измерений, теории систем, информатики, экспертные оценки стали единственным и незаменимым средством для решения неформализуемых задач в научно-исследовательской деятельности.

За сравнительно недолгую историю существования – 30-35 лет в теории экспертных оценок обозначились два этапа развития. Начальный этап, занявший примерно 10-15 лет, сформировал методологию экспертных оценок и был направлен на разработку методов качественного и количественного оценивания экспертами отдельных свойств, объектов, процессов. Второй этап наступает сегодня и связан он с появлением экспертных систем, искусственного интеллекта и современных математических теорий, направленных на описание трудноформализуемых понятий и процессов (например, теория нечетких множеств). Это лишь усилило роль экспертных оценок, обозначив острую необходимость их семантизации и создания принципиально новых методов извлечения знаний (этим вопросам посвящены последние публикации в научных изданиях).

Неудивительно и огромное число нареканий в адрес экспертных оценок. Ведь в сегодняшнем виде методы экспертных оценок, как и любой математический аппарат, гарантируют только то, что полученные выводы являются прямым следствием принятых предположений (экспертных суждений). Однако они ни на йоту не добавляют ис-

3

тинности самим предположениям, требующим самых значительных умственных усилий. Именно поэтому процедура экспертного оценивания рассматривается рядом специалистов как разновидность научного творчества, а сами экспертные оценки – как новый научный результат, составляющий интеллектуальную собственность эксперта.

Как ни странно, несмотря на популярность методов экспертного оценивания их сущность в большинстве случаев значительно упрощается (сознательно или из-за недостаточной квалификации исследователя). Редко кто выходит за рамки трехчетырехбалльной шкалы с подсчетом среднего арифметического. Отчасти это вызвано отсутствием широко распространенной литературы, популярно и достаточно полно излагающей эти методы. Наиболее весомыми в этом плане являются изданные в 70-80 гг. монографии [5, 7, 9], содержащие довольно подробную и исчерпывающую информацию, ориентированную на специалистов в области системного анализа. Однако сегодня эти книги – библиографическая редкость, они не переиздаются, а новые не пишутся.

Предлагаемое учебное пособие призвано в какой-то мере восполнить этот пробел хотя бы в пределах одного, отдельно взятого института. Кроме того, в пособии излагается собственный опыт проведения экспертиз, накопленный автором за последние 15 лет. Этот опыт позволил более детально разработать такие проблемы как структурирование экспертного анализа, эвристическое моделирование, управление качеством модели, выделение высокосогласованных подгрупп [1-4].

Автор выражает огромную благодарность А.Ф. Терехову и С.В. Гикалу за многолетнее сотрудничество, породившее массу новых идей и результатов. Благодаря совместной деятельности и их программистскому таланту возник сначала рис. 2, а затем и программный продукт ЭКСПЕРТ. Совместно с С.В. Гикалом написан разд. 5.3. Автор крайне признателен своему учителю – В.А.Острейковскому, в значительной степени предопределившему много лет назад написание этой книги. Особая благодарность рецензентам этого пособия – Г.В. Дружинину и В.М. Куприянову, высказавшим автору немало ценных рекомендаций и замечаний. Отдельное спасибо З.И. Сныковой, способствовавшей превращению рукописи в настоящую книгу. И, конечно, никакой «писательский» труд сегодня не может состояться без поддержки семьи и близких, создававших условия для работы и разделявших стремление к творчеству.

А.Н. Анохин

4

ВВЕДЕНИЕ В ЭКСПЕРТНЫЙ АНАЛИЗ

Глава 1

ВВЕДЕНИЕ В ЭКСПЕРТНЫЙ АНАЛИЗ

1.1. Предпосылки экспертных оценок

В теории и практике современного управления можно выделить следующие категории задач: анализ, оценка, прогнозирование, оптимизация, планирование, выбор и др. Состояние точных наук сегодня позволяет для каждой из них выполнить четкую математическую постановку и перечислить соответствующие формальные методы их решения.

Использование математических моделей позволяет воспроизвести реальный мир (или хотя бы его часть – объект управления). Однако модель есть модель, и на практике оказывается, что она неадекватна и далеко не всегда способна отобразить все многообразие реальной жизни, проявления которой гораздо сложнее, чем мы о ней думаем. Основной причиной этой сложности является крайняя ограниченность наших знаний о мире (трактование сложности как степени нашего незнания было предложено, в частности, в работах И. Пригожина, определившего сложную систему как систему, поведение которой может быть для нас неожиданным и для которой у нас в данный момент нет полностью адекватной модели). Рассмотрим более подробно, в чем проявляется сложность реальных задач.

Многообразие факторов. Всякое моделирование предполагает идентификацию конечного множества объектов (элементов системы), их свойств и действующих в задаче факторов. Естественно, речь идет только о тех факторах, о существовании которых мы знаем и полагаем, что они значимы и как-то связаны с решаемой задачей. Но никто не может сказать, сколько факторов мы при этом упустили, не зная об их существовании, или зная, но не предполагая, что они как-то могут вли-

5

ГЛАВА 1

ять на стоящую проблему, или наконец, просто не желая вспоминать о них по каким-то субъективным причинам. В результате реальные проблемы обычно оказываются гораздо многообразнее их информационного образа, складывающегося в нашем сознании.

Качественная природа. Одной из причин игнорирования факторов и свойств объекта является невозможность их измерения и количественной оценки. Как, например, измерить степень удовольствия или оценить человеческие побуждения? Информация, имеющая качественный характер, присутствует практически во всех реальных задачах. И хотя сегодня недостаточная формализованность качественных понятий может быть устранена с помощью нечетких множеств, однако в этом случае в рассмотрение вводится вероятностная составляющая.

Случайный характер. Нечеткие множества и неучтенные в модели факторы являются источниками случайного характера практически всех реальных анализируемых процессов. Случайная составляющая присутствует везде – речь идет лишь о большей или меньшей уверенности и определенности. Известно, что для анализа случайных процессов существуют соответствующие вероятностно-статистические методы. Но и они в ряде случаев оказываются бессильными из-за отсутствия статистической информации или недостаточной достоверности данных. Это неудивительно, так как статистика накапливается тогда, когда известно, для чего она нужна, в то время как в реальной жизни могут постоянно возникать все новые и новые, не предусмотренные заранее цели и задачи.

Нечеткость критериев. Недостаток информации и неопределенность модели рождают еще одну проблему – размытость цели. Любая формализованная постановка задачи предполагает, прежде всего, наличие четких критериев, позволяющих судить о том, достигнута поставленная цель или нет. Однако сформулировать такие критерии бывает порой очень сложно, особенно, если представления о цели расплывчаты, ожидаемый результат оценивается приблизительно, а решаемая задача связана с риском. Как, например, четко определить, при какой вероятности банкротства компании можно продолжать вкладывать в нее средства?

Высокая стоимость. Даже сложные проблемы чаще всего все-таки поддаются формализации. Почти все перечисленные трудности мож-

6

ВВЕДЕНИЕ В ЭКСПЕРТНЫЙ АНАЛИЗ

но преодолеть, но это потребует больших трудозатрат, привлечения высококвалифицированных специалистов, вложения значительных средств и длительного времени. Далеко не всегда цель может оправдать средства, требуемые для корректного формализованного решения задачи.

Упомянутые моменты (многообразие, стохастичность, размытость и др.) – не проблема для человека, действующего на основании собственных неформальных знаний, опыта и интуиции. Только человек способен к решению нечетко сформулированных задач, генерированию идей, созданию абстрактных образов, предвидению неучтенных событий, действиям в условиях неполной и недостоверной информации. Человек безгранично гибок и чувствителен, он способен к постоянному обобщению, повышению своих возможностей и самонаблюдению.

Означает ли это, что человек составляет альтернативу формальным методам и может их заменить? Безусловно нет, так как очевидны и недостатки, присущие человеку – он плохо работает с числами, не может решать задачи большой размерности, его мышление крайне субъективно, он социален и чаще всего придерживается стереотипных взглядов.

Так что же выбрать – формализованные или интуитивные методы? Очевидно, что выбор в такой ситуации как всегда находится гдето посередине: необходимо попытаться формализовать процесс решения человеком сложных трудноструктурируемых проблем. Такая формализация и получила название «методы экспертных оценок».

1.2. История экспертных оценок

Слово «эксперт» латинского происхождения и означает «опытный», «сведущий». Несмотря на древность профессии эксперта научные методы анализа экспертных суждений получили свое развитие лишь во второй половине XX в.

Как первые шаги в направлении разработки методов экспертной оценки можно рассматривать работы группы американских психологов, начавших в 1930 г. исследовать влияние заинтересованности эксперта на характер его суждения о будущих общественно-политичес-

7

ГЛАВА 1

ких событиях. Исследования показали, что наибольшее влияние на достоверность высказываний эксперта оказывает уровень его специальных знаний.

Основным же толчком развития экспертных методов послужили многочисленные работы послевоенного времени, связанные с системным анализом сложных проблем. Одним из первых результатов этих работ явилась разработка метода экспертной оценки, известного в литературе как «метод Дельфы», заменившего открытую дискуссию серией тщательно выверенных последовательных индивидуальных опросов.

Первое практическое применение метода Дельфы к решению ряда задач оценки систем оружия Министерства обороны США было сделано корпорацией RAND, созданной в 1947 г. В 1950 г. в составе RAND был образован отдел анализа стоимости оружия, который вел разработки и широко применял стоимостные варианты анализа. Идеи этого анализа использовались в 1952 г. при разработке сверхзвукового бомбардировщика B-58, стратегических ракетных систем и систем противовоздушной обороны.

В гражданской области первое применение экспертных оценок связано с задачами выработки политики в области водных ресурсов (середина 50-х гг.), исследования сверхзвуковой транспортной авиации (1960 г.), исследования развития атомного торгового флота, анализа стратегии строительства атомных электростанций в Европе

(1966 г.) и т.д.

Значительный вклад в теорию экспертных оценок был сделан М. Кендэллом, опубликовавшим в 1955 г. монографию, посвященную применению методов ранговой корреляции для анализа экспертных оценок.

В середине 60-х гг. стали появляться основанные на экспертных оценках методы решения сложных проблем, таких как распределение ресурсов, выработка научно-технической политики и др. Наиболее известными среди них являются PATTERN и QUEST.

В нашей стране экспертные оценки также составляли основу методов научно-обоснованного организационного управления, прогнозирования и долгосрочного планирования. Широко известны работы академика В.М.Глушкова и его школы, посвященные созданию методов научно-технического прогнозирования и управления научно-тех-

8

ВВЕДЕНИЕ В ЭКСПЕРТНЫЙ АНАЛИЗ

ническим прогрессом.

Перечислим кратко основные классы современных задач, в решении которых используются экспертные оценки:

структурный анализ (анализ структуры рынка, производства, сбыта, конъюнктуры, общества, человеческой деятельности);

анализ качества (анализ качества продукции, знаний, проектов, принимаемых решений, работы);

оценка последствий (оценка отдаленных последствий принимаемых решений, оценка последствий аварий, катастроф, экологического загрязнения, военных конфликтов);

оценка актуальности (оценка актуальности проблем, задач, выявление приоритетов);

анализ и распределение ресурсов (конкурсное распределение средств, кредитная политика, разработка природных ресурсов, бюджетные ассигнования);

выбор (выбор решения, партнера, исполнителя проекта);

научно-техническое прогнозирование (прогнозирование развития научных исследований, управление научно-техническими разработками);

стратегическое планирование (долгосрочное планирование деятельности крупных структур – компаний, государственных служб, военно-промышленного комплекса, отраслей);

выработка политики (выработка финансовой, внешнеэкономической, налоговой, технической, строительной и др. политики).

1.3. Основные понятия и определения

Приступим к рассмотрению процедур и методов экспертного оценивания, а также основных проблем, связанных с его организацией.

Как уже отмечалось, решение сложных стратегических задач системного анализа – трудноформализуемый и крайне субъективный процесс, качество которого в значительной степени зависит от квалификации и творческого потенциала исследователя и привлекаемых к работе экспертов. Положение усугубляется еще и тем, что исследование, основанное на экспертных оценках – весьма трудоемкий и рутин-

9

ГЛАВА 1

ный процесс, сопряженный с большими объемами разнородной (порой не подлежащей даже сравнению) информации, многими людьми (экспертами), находящимися в разных местах, огромными кипами бумаг и опросных листов, запутанными алгоритмами обработки и т.п. Все это сказывается на качестве и эффективности решения задач системного анализа и свидетельствует о необходимости его систематизации, а именно: упорядочения процедуры построения модели; создания унифицированной технологии экспертных оценок и формализации их обработки. Это, конечно, не преследует цель свести искусство системного анализа к досконально формализованной шаблонной процедуре, однако может помочь исследователю систематизировать свою работу и дать ему в руки удобный гибкий инструмент.

Обсуждение основных методов, излагаемых в данной работе, опирается на опыт, накопленный автором за последние годы при решении задач системного анализа функционирования ядерных энергетических объектов. В число этих задач входят

анализ деятельности оператора-технолога энергоблока ВВЭР1000 – «Оператор» (для удобства мы будем использовать сокращенные наименования экспертиз);

анализ сложности и специфики технологических задач оперативного управления энергоблоком ВВЭР-1000 – «Управление»;

анализ и оптимизация плана проведения мероприятий по модернизации и реконструкции действующих энергоблоков Билибинской АЭС – «Модернизация»;

анализ старения и выявление критических элементов оборудования Калининской и Смоленской АЭС – «Старение».

Определим основные понятия и термины [2], используемые в дальнейшем изложении.

Предметом рассмотрения настоящей работы является совокупность этапов системного анализа, связанных с планированием, получением, обработкой и интерпретацией экспертных оценок. По аналогии с системным анализом, назовем процесс решения сложной задачи с помощью экспертных оценок экспертным анализом.

Обычно в процессе использования технологии экспертных оценок исследователь сталкивается с двумя аспектами работы: техническим (выбор метода оценивания, подбор экспертов, разработка анкет, обеспечение качества, обработка оценок) и содержательным (изучение

10