10. 2. Пример : как оценить проекты ?

Пусть группа частных лиц решила организовать фонд для вложения средств в научно-технические проекты прикладного характера. Известно, что подобные фонды существуют во многих странах и что именно наукоемкие проекты могут привести к большим финансовым успехам. Организатор фонда был заинтересован в эффективной системе отбора проектов. Для разработки этой системы был приглашен консультант по принятию решений.

Консультант совместно с организатором фонда (далее будем называть его ЛПР) разработал анкету для оценки проектов. В анкете нашла отражение политика ЛПР в виде перечня основных, важных для него критериев качества проектов со шкалами возможных значений по ним (оценки по каждому критерию расположены от лучших к худшим).

Критерии оценки проектов

•  Степень проверенности замысла:

•  созданы единичные изделия;

•  разработана технология;

•  предложена идея.

•  Окупаемость проекта:

•  менее полугода после начала производства;

•  год после начала производства;

•  два года и более.

•  Трудности организации производства (при наличии денежных ресурсов):

•  малые;

•  средние;

•  большие.

•  Наличие спроса на продукт (изделие):

•  большой спрос;

•  достаточный спрос;

•  неопределенный спрос.

Заранее неизвестно, какие проекты поступят в фонд. Но известно, что необходимо отобрать для инвестирования группу лучших проектов, суммарные ресурсные потребности которых не превышают возможности фонда.

Консультант предложил заранее договориться с группой экспертов об их участии в оценке проектов. Каждый из приглашенных экспертов должен был выбрать для поступившего проекта одну из оценок на шкале каждого из критериев. Еще до поступления проектов необходимо было определить способ расположения проектов по качеству от лучших к худшим. Что такое лучшее – понятие субъективное. Так как ЛПР отвечает за фонд, то именно его предпочтения должны лежать в основе оценки качества проектов. Нужно определить эти предпочтения и построить решающее правило.

10.3. Выявление предпочтений лпр

  Единая порядковая шкала для двух критериев

При любой совокупности критериев мы можем предположить, что существует идеальная альтернатива, имеющая лучшие оценки по всем критериям. Будем рассматривать идеальную альтернативу как опорную ситуацию, ориентируясь на которую сравним между собой понижения качества вдоль шкал двух критериев. Покажем, какая информация в данном случае требуется от ЛПР.

Пусть оценки по ( N – 2) критериям имеют лучшие (первые) значения, а по двум критериям i и j могут изменяться. Переход от лучших оценок к худшим связан с понижением качества. Пусть первоначальная альтернатива имеет все лучшие оценки. Поставим перед ЛПР следующий вопрос.

Что вы. предпочитаете:

альтернативу 1 с оценками x i 1 и x j 2 ?

альтернативу 2 с оценками x i 2 и x j 1 ?

Выберите один из ответов:

альтернатива 1 лучше альтернативы 2;

альтернативы 1 и 2 равноценны;

альтернатива 2 лучше альтернативы 1.

Следующий вопрос ставится в зависимости от ответа ЛПР. Пусть ЛПР предпочитает альтернативу x i 1 и x j 2 . Тогда следующий вопрос относится к сравнению альтернатив x i 2 и x j 1 (худшая в первой паре) и x i 1 и x j 3 (которая получается из лучшей в первой паре путем понижения второй оценки на одну градацию). Общее правило таково: худшая альтернатива в первой паре сравнивается с альтернативой, получаемой из лучшей путем понижения на одну градацию худшей оценки.

Нетрудно убедиться, что проведенные сравнения позволяют упорядочить оценки двух шкал и построить объединенную шкалу. Назовем ее единой порядковой шкалой (ЕПШ) двух критериев. Покажем на приведенном выше примере процедуру построения ЕПШ для двух критериев у опорной ситуации (сочетание лучших или худших оценок по всем критериям).

Обратимся к списку критериев. Представим себе идеальный проект, состоящий из лучших оценок по всем критериям. В жизни такое почти не встречается, и мы будем использовать этот образ только как точку отсчета. Отходя от этого идеала, будем понижать оценки по двум критериям: А (степень проверенности) и Б (окупаемость).

Вопрос. Что вы предпочитаете: проект с разработанной технологией и сроком окупаемости в полгода или проект, где уже выпущены единичные изделия, но срок окупаемости — один год?

Ответ ЛПР. Проект, для которого срок окупаемости год, но уже есть единичные изделия.

Вопрос. Что вы предпочитаете: проект со сроком окупаемости полгода и с разработанной технологией или проект, где уже имеются единичные изделия, но срок окупаемости — два года и более?

Ответ ЛПР. Проект с разработанной технологией и сроком окупаемости полгода.

Вопрос. Что вы предпочитаете: проект, где уже есть единичные изделия, но с большим (два года и более) сроком окупаемости, или проект, где срок окупаемости полгода, но есть лишь идея изготовления?

Ответ ЛПР. Оба варианта плохи, но лучше проект, где есть единичные изделия, хотя и большой срок окупаемости.

На рис. 8.1 представлены вопросы и ответы с использованием обозначений критериев (направленная стрелка означает предпочтение).

Рис. 8.1. Сравнения оценок на шкалах двух критериев у первой опорной ситуации

Первое и второе сравнения показывают, что оценка А 2 Б 1 может быть помещена между оценками А 1 Б 2 и А 1 Б 3 . Все оценки, представленные на рис. 8.1, можно расположить на единой шкале, на которой качество убывает слева направо:

А 1 Б 1 => А 1 Б 2 => А 2 Б 1 => А 1 Б 3 => А 3 Б 1 (1)

Эту единую шкалу можно представить в более простом виде, если учесть, что по одному из критериев – А или Б – лучшая оценка. Иными словами, вместо А 1 Б 2 будем указывать лишь Б 2 как оценку, отличающуюся от лучшей. Тогда построенная порядковая шкала может быть представлена в виде:

А 1 Б 1 В 1 Г 1 => Б 2 => А 2 => Б 3 => А 3 (2)

Таким образом, ответы на приведенные выше вопросы позволили объединить в единую шкалу шкалы критериев А и Б. Точно так же можно объединить шкалы критериев А и В при предположении, что по критериям Б и Г будут лучшие оценки, и т.д. Иными словами, берутся все пары критериев (сочетания по два из четырех критериев) при предположении, что два из них, не входящие в пару, имеют лучшие оценки.

Приведем простые правила, определяющие, как в нашем примере задавать вопросы при объединении двух шкал:

•  сравниваются две средние оценки – одна из них становится лучшей, другая худшей;

•  худшая при сравнении оценка сопоставляется с нижней оценкой шкалы второго критерия (на рис. 8.1 видно, что при сравнении средних оценок Б 2 является лучшей, а А 2 — худшей, следовательно, вторым вопросом А 2 сравнивается с Б 3 );

•  худшая во втором сравнении оценка сопоставляется с нижней оценкой второго критерия (так, Б 3 сравнивается с А 3 на рис. 8.1) и т.д.

 

Проверка условия независимости для двух критериев

Единая порядковая шкала содержит ценную информацию о предпочтениях ЛПР. Однако использование этой информации возможно при независимости сравнений, сделанных ЛПР, от изменения опорной ситуации.

Назовем два критерия независимыми по изменению качества, если ЕПШ, построенная для оценок этих критериев, остается неизменной при любых одинаковых оценках по другим критериям.

Проверка условия независимости по изменению качества осуществляется следующим образом. Повторим опрос ЛПР по сравнению оценок на шкалах двух критериев при предположении, что по прочим критериям имеются худшие оценки. При таком опросе предполагается, что первоначально по всем критериям имеются худшие оценки, а затем осуществляются сравнения улучшенных оценок по шкалам двух критериев. В результате получаем часть ЕПШ для этой же пары критериев, построенную уже у второй опорной ситуации. Если две ЕПШ совпадают, то можно принять, что два критерия независимы.

Дадим содержательное объяснение такого способа проверки. Каждое сочетание оценок критериев представляет для ЛПР образ определенной альтернативы. Наиболее яркими, «контрастными» для ЛПР являются два образа, соответствующие сочетаниям лучших и худших оценок по всем критериям (опорные ситуации). Можно принять, что условия независимости выполняются, если эти образы не влияют на сравнения, совершаемые ЛПР.

Обратимся опять к нашему примеру. Повторяем сравнения оценок по критериям А и Б при предположении, что по критериям В и Г имеются худшие оценки. Возможный результат таких сравнений представлен на рис. 8.2.

Рис. 8.2. Сравнения, совершаемые ЛПР у второй опорной ситуации

 

Нетрудно убедиться, что результаты сравнений можно представить в виде отрезка ЕПШ:

Б 2 => А 2 => А 3 Б 3 В 3 Г 3 (3)

Критерии А и Б независимы по изменению качества, так как ЕПШ, построенные у двух опорных ситуаций, непротиворечивы.

 

Независимость по понижению качества для группы критериев

Поиск условий независимости группы критериев от остальных является предметом исследования во многих работах в области принятия решений. Так, если все пары критериев независимы по предпочтению от остальных, то доказан факт независимости любой группы критериев [9].

Легко увидеть, что введенное выше условие независимости по понижению качества близко к известному условию независимости по предпочтению.

Справедливо следующее.

Утверждение 1. В случае, когда все пары критериев независимы по понижению качества, любая группа критериев независима по понижению качества.

Действительно, предложенная выше проверка для всех пар критериев достаточно полная. Трудно предположить существование зависимости более сложного характера.

В случаях, когда обнаружена зависимость критериев, рекомендуется изменить описание проблемы для исключения этой зависимости [11]. В [3] даны примеры изменения описания проблемы с целью получения независимой системы критериев.

 

Единая порядковая шкала оценок всех критериев

В методе ЗАПРОС опрос ЛПР у двух опорных ситуаций осуществляется для всех 0,5 N ( N – 1) пар критериев. Непротиворечивые ЕПШ для пар критериев можно объединить. Алгоритм построения общей ЕПШ для оценок всех критериев на основе парных БПШ у первой опорной ситуации состоит в следующем. Парные ЕПШ имеют единую начальную точку – сочетание лучших оценок по всем критериям. Совокупность парных ЕПШ с единой начальной точкой может быть представлена в виде графа. Для построения общей ЕПШ может использоваться стандартная процедура, так называемая разборка графа. Поместим на общей ЕПШ сочетание всех лучших оценок как начальную точку и удалим ее из графа. Далее определяется деноминируемая оценка на парных ЕПШ. Она помещается на общую ЕПШ, удаляется из графа, и так продолжается до переноса всех оценок на общую ЕПШ. Так как при построении парных ЕПШ все критериальные оценки сравниваются, то на общей ЕПШ все оценки упорядочены.

Обратимся к приведенному выше примеру. Предположим, что, задавая похожие вопросы и проводя такие же сравнения, мы построили единые шкалы оценок для всех пар критериев (парные ЕПШ):

А 1 Б 1 => Б 2 => А 2 => Б 3 => А 3 ;

А 1 В 1 => А 2 => В 2 => А 3 => В 3 ;

А 1 Г 1 => А 2 => Г 2 => А 3 => Г 3 ;

Б 1 В 1 => Б 2 => В 2 => Б 3 => В 3 ; (4)

Б 1 Г 1 => Б 2 => Г 2 => Б 3 => Г 3 ;

В 1 Г 1 => В 2 => Г 2 => В 3 => Г 3 ;

Используем приведенный выше алгоритм для построения ЕПШ оценок всех критериев:

А 1 Б 1 В 1 Г 1 => Б 2 => А 2 => В 2 => Г 2 => Б 3 => А 3 => В 3 => Г 3 (5)

 

Проверка информации ЛПР на непротиворечивость

В процессе сравнений ЛПР может делать ошибки. Следовательно, необходимы процедуры проверки информации на непротиворечивость. В методе ЗАПРОС для такой проверки предусмотрены так называемые замкнутые процедуры [8].

В методе ЗАПРОС предлагается строить ЕПШ для всех 0,5( N – 1) пар критериев. Нетрудно убедиться, что из ЕПШ для 1-го и 2-го критериев и ЕПШ для 2-го и 3-го критериев можно частично упорядочить оценки всех трех критериев. Сравнение 1-го и 3-го критериев позволяет не только построить ЕПШ для трех критериев, но и частично проверить информацию ЛПР на непротиворечивость, так как часть информации дублируется. Нетранзитивность результатов сравнений означает наличие противоречивых ответов ЛПР.

При построении единой ЕПШ для оценок всех критериев информация ЛПР проверяется на непротиворечивость. Если на каком-то этапе разборки графа нельзя выделить деноминируемую критериальную оценку, то это свидетельствует о противоречии в информации ЛПР. Противоречивые сравнения предъявляются ЛПР для анализа. Заметим, что с ростом N (усложнением задачи) количество дублирующей информации (позволяющей осуществить дополнительную проверку) увеличивается. Конечно, такая проверка не является исчерпывающей, но она представляется достаточно полной.

Обратимся к приведенному выше примеру. Сравнения оценок для одной пары критериев при построении парной ЕПШ могут противоречить сравнениям, сделанным при построении ЕПШ для другой пары критериев. Так, предположим, что единая шкала критериев Б и В вместо вида, представленного в (4), имеет иной вид: Б 1 В 1 => В 2 => Б 2 . Тогда при попытке построения единой шкалы всех критериев мы сталкиваемся с противоречием. Из единой шкалы для критериев А и Б следует, что Б 2 предпочтительнее А 2 , из единой шкалы для критериев А и В – что А 2 предпочтительнее В 2 – см. (4) выше. Следовательно,

Б 2 => А 2 => В 2 => Б 2 (6)

Возникающее противоречие не дает возможности разместить оценки А 2 , Б 2 и В 2 на единой шкале. Обычно такое противоречие является результатом непоследовательности в суждениях. Необходимо разобраться в проведенных сравнениях и изменить противоречивые решения.

Итак, при построении единой шкалы оценок критериев осуществляется проверка предпочтений на непротиворечивость. Возможность соединения нескольких парных шкал в единую шкалу является подтверждением непротиворечивости предпочтений ЛПР.

Вопросы, необходимые для построения единой ЕПШ, составляют весь диалог с ЛПР. Больше информации от ЛПР не требуется. В нашем случае (четыре критерия) ЛПР должен ответить на 24 вопроса (если он отвечает непротиворечиво). По опыту использования системы ЗАПРОС известно, что этот диалог занимает 10–15 мин.

 

Частный случай

При N=2 понятие опорной ситуации не существует. Вместо построения ЕПШ осуществляются сравнения понижений качества от лучших оценок и сравнения всех повышений качества от худших оценок. Полученные результаты (если они непротиворечивы) непосредственно используются для сравнения альтернатив, имеющих оценки по двум критериям.

 

Психологическая корректность процедуры выявления предпочтений ЛПР

Процедура выявления предпочтений ЛПР в методе ЗАПРОС является корректной с психологической точки зрения. Ее проверка производилась неоднократно в различных экспериментах [8]. Каждый из испытуемых был поставлен в положение ЛПР, объекты оценивались по нескольким критериям с качественными шкалами. Проверка по группе испытуемых показала, что при пяти критериях они допускали не более одного–двух противоречивых ответа из 30–40 (для одной опорной ситуации). Данная замкнутая процедура выявления предпочтений и построения единой шкалы оценок критериев неоднократно проверялась в экспериментах и на практике (при работе с ЛПР).

Информация, получаемая от ЛПР, была почти всегда непротиворечива. Так, при опросе разных ЛПР по четырем критериям с 3–5 оценками на шкалах не наблюдалось ни одного нарушения транзитивности. При опросе по шести и семи критериям с 3–6 оценками на шкалах наблюдались 1–3 противоречивых ответа из 50–70. Повторный опрос ЛПР позволил сразу же устранить эти противоречия. Можно предположить, что при 3–4 оценках на шкалах критериев небольшое число противоречий сохранится до N=10.