В. Давнис Прогнозные модели экспертных предпочтений

Кроме того, низкая разрешающая способность экспертов служит серьезным ограничением для повсеместного их применения. В связи с этим возникает естественный вопрос: "Когда и в каких масштабах целесообразно привлекать экспертов к обоснованию прогнозных решений?"

Однозначного ответа нет. Все зависит от информационной определенности исследуемой ситуации. Степень этой определен­ ности (или неопределенности) различна, поэтому и степень ис­ пользования экспертной информации тоже различна. Более того, авторы отдают себе отчет в том, что получение и обработка эк­ спертной информации — скорее, искусство, чем наука, в силу чего изложенный ниже подход не может претендовать ни на пол­ ноту, ни на завершенность.

Изложение подхода начнем с группировки и систематизации всех имеющих место при разработке прогнозов ситуаций. В со­ ответствии с информационной определенностью среди них мож­ но выделить четыре типа.

К первому типу отнесем все ситуации, когда информация об объекте (процессе), необходимая для разработки прогноза, пол­ ностью отсутствует. Нет аналогов, нет истории, нет представле­ ния о закономерностях развития, нет рабочих гипотез. Практи­ чески полностью исключена возможность построения прогнозных моделей. Понятно, что это как раз тот случай, когда без экспер­ тов не обойтись. Использование их интуиции является единствен­ ным способом, позволяющим получить представление о будущем.

Ко второму типу отнесем ситуации, когда имеется достаточ­ но полное представление о закономерностях развития объекта: известны факторы, определяющие это развитие, но нет истории, т.е. отсутствует выборочная совокупность, позволяющая проверить достоверность имеющих место предположений. В этом случае, как и в предыдущем, без экспертов не обойтись. С их помощью можно сформировать псевдовыборку и использовать ее для по­ строения модели, описывающей предполагаемую зависимость.

Ситуации третьего типа связывают с проблемами построения прогнозных траекторий долгосрочного развития. Наступает мо­ мент, когда старые тенденции в развитии исследуемого объекта затухают, а новые, зарождающиеся, могут быть подсказаны толь­ ко интуицией экспертов. Поэтому для получения достаточно на­ дежных прогнозных оценок требуется построение специальной прогнозной модели, в которой одновременно используется и фак­ тографическая, и экспертная информация.

20

Последний, четвертый, тип объединяет те ситуации, когда разработчиков прогноза вполне устраивает тот объем информации, которым они владеют. В силу этого необходимость привлечения экспертов считается нецелесообразной.

Все четыре типа ситуаций встречаются в практике социальноэкономического прогнозирования. Однако, как ни странно, про­ гнозные расчеты ведутся в предположении, что мы имеем дело с ситуациями или первого, или четвертого типа. Скорее всего, это объясняется тем, что в наибольшей степени разработаны методи­ ки прогнозных расчетов именно для этих двух крайних ситуаций, т.е. чисто экспертные процедуры предсказания для первого типа и различные методы математического моделирования для четвертого.

В то же время комбинированные подходы, на наш взгляд, предоставляют прогнозистам более широкие возможности, но прак­ тически не используются, так как отсутствует доступное изложение соответствующих методов и процедур, не разработано специальное программное обеспечение. Далее будут рассмотрены авторские подходы решения прогнозных задач в рамках ситуаций второго и третьего типов. Надеемся, что у некоторой части читателей они вызовут профессиональный интерес с одновременным желанием провести подобные расчеты в собственных исследованиях.

Переходя на формальный язык описания интересующих нас условий, обратимся сначала к формуле, определяющей уровень неопределенности некоторого события с п возможными исходами, каждый из которых может осуществиться с вероятностью />:

/ = -£/>10 § 2 />.	(2.1)
1=1

Своего максимального значения (/ = log2 n) величина / дости­ гает при равновероятных исходах Pf = [/п. Это как раз тот слу­ чай, когда об интересующем нас событии ничего не известно, т.е. имеет место полная неопределенность. Формула (2.1) наво­ дит на мысль, что в терминах теории принятия решений неопре­ деленность можно понимать как условия риска с равновероятным выбором альтернатив. Такое определение вполне согласуется с интуитивным пониманием неопределенности как ситуации, в которой неизвестны предпочтения любой деятельности. В связи с этим имеет смысл уточнить роль прогнозирования в задачах принятия решений.

Для принятия решений в условиях неопределенности разрабо­ таны методы, которые позволяют действовать рационально и по-

21

лучать результаты, гарантирующие в некотором смысле успешную деятельность, несмотря на отсутствие предпочтений. По сути, перед прогнозированием стоит та же самая задача — повышение надежности принимаемых решений, но достигается это не за счет рационального выбора, а путем снижения уровня неопределенно­ сти ситуации, в которой принимается конкретное решение. При­ чем прогноз должен предшествовать самому акту принятия реше­ ния, так как снижение уровня неопределенности, как правило, упрощает процедуру рационального выбора.

Понятно, что снижение происходит за счет новой информа­ ции, полученной с помощью методов прогнозирования. Но сле­ дует предостеречь от ошибочного представления, в соответствии с которым снижение неопределенности достигается только благо­ даря получению новой информации. Тривиальный пример хоро­ шо это демонстрирует. Предположим, что в результате дополни­ тельных исследований выяснилось наличие еще одной равноверо­ ятной альтернативы. Уровень неопределенности от этой новой информации увеличится и станет равным / = log2 (n + 1).

Формально за единицу измерения уровня неопределенности принимается 1 бит:

(1>	— — ]па (1Л
, 2 J	2 °2 , 2 ,

По сути, он представляет собой то количество информации, ко­ торое необходимо для того, чтобы случайное событие с двумя равновероятными исходами можно было превратить в достоверное событие

/rf = -1 • log2 (1)-0 • log, (0) = 0 бит

(2.3)

с заранее известным исходом и, следовательно, нулевым уровнем неопределенности.

Для объяснения механизма снижения уровня неопределеннос­ ти введем следующие обозначения:

/0 — естественный (минимально возможный) уровень неопреде­ ленности интересующего нас события, характеризующий такое его состояние, которое в принципе достижимо, но нам неизвестно; /j— первоначальный уровень неопределенности события, зада­ ваемый дискретным распределением вероятностей Р{1, Р21, ..., PJ; 12 — конечный уровень неопределенности события, состояние которого описывается уточненным распределением вероятностей

р 2 р 2 р 2

22

Тогда разность /, — /0 характеризует максимальный объем информации, который, в принципе, можно получить об интере­ сующем нас событии, а разность /, — /2 представляет собой тот объем новой информации, который получен от экспертов. Объем недостающей информации определяется величиной /2 — /0. Таким образом, поскольку величина / зависит от вероятностей, то из­ менение неопределенности происходит благодаря уточнению пер­ воначального представления о вероятностном распределении воз­ можностей.

Исследование механизма изменения неопределенности позволя­ ет сформулировать, по крайней мере, два принципа проведения экспертиз:

1) экспертные опросы должны быть ориентированы на полу­ чение такой информации, которая способствовала бы снижению неопределенности;

2) результаты обработки экспертных опросов не должны носить категоричный характер, поскольку имеют место определенные ограничения, приводящие к погрешностям в оценке событий.

Рассмотрим основные группы этих ограничений.

1. Ограниченность объемов доступной информации. Если исклю­ чить из рассмотрения случаи детерминированных событий (в со­ временной экономике такие события весьма редки), то для ос­ тальных, несмотря на использование всей доступной информации и отсутствие ограничений на ее получение, уровень неопределен­ ности всегда положителен. Другими словами, эксперты не обла­ дают абсолютными знаниями об интересующем нас событии.

2.Неоднородность информации. Неоднородность возникает в силу того, что каждый эксперт имеет свою собственную точку зрения о событии и уровне ее неопределенности.

3.Двусмысленность. Как следствие нечеткой формулировки вопроса, у экспертов может возникнуть двусмысленность его по­ нимания, что приведет к явному искажению ответа, так как от­ вечать он будет не на тот вопрос, который ему был задан.

4.Несовершенство процедуры экспертного опроса. Несовершен­ ство процедуры приводит к ситуациям, когда в экспертизе участ­ вуют недостаточно компетентные эксперты либо ответы наиболее компетентных экспертов используются неправильно. Следствием этого является искажение экспертных оценок.

5.Прочие погрешности. Эти погрешности, как правило, несу­ щественно искажают окончательный результат. Их возникновению

23

способствуют незначительные отклонения от правил, предписы­ ваемых процедурами экспертного опроса.

Обсудив вопросы, связанные с природой неопределенности и принципами использования субъективной информации для сниже­ ния ее уровня, перейдем к описанию конкретных методов обра­ ботки результатов экспертных опросов, которые можно применять как непосредственный аппарат решения задач в ситуациях первого типа и как вспомогательный аппарат при решении задач второго

итретьего типов.

2.2.Методы индивидуального и группового экспертного оценивания

Известные в настоящее время процедуры экспертного оценивания, применяемые для решения прогнозных задач, прак­ тически не отличаются от тех, которые принято использовать в управленческой деятельности, осуществляемой в условиях неопре­ деленности. Причем и в управлении, и в прогнозных расчетах, несмотря на большое разнообразие задач, решаемых с привлече­ нием экспертной информации, в основном используются фор­ мальные постановки, сводящиеся к классификации и ранжирова­ нию. Это и естественно, так как довольно низкая разрешающая способность экспертов позволяет получать от них только качествен­ ную информацию, количественное представление которой возмож­ но либо в номинальной, либо в ранговой шкале. Действуя как бумеранг, шкала представления результатов, в свою очередь, определяет содержание вопросов, ответы на которые предполага­ ется получить от экспертов. Например, не следует требовать от экспертов, чтобы они оценили ожидаемый темп инфляции, но их мнение о возможном повышении или снижении этого темпа мо­ жет оказаться достаточно надежным.

Для получения надежной экспертной информации разработаны специальные методы и процедуры: метод комиссий (дискуссии), метод "суда", различные методы анкетирования, метод коллек­ тивной генерации идей, метод Дельфы. Своеобразие экспертно­ го подхода в том, что с помощью одного и того же метода мо­ гут решаться различные задачи, и одна и та же задача может решаться с помощью различных методов. Отсутствие строгих предписаний, рекомендующих, в каких ситуациях, какой из пе­ речисленных методов является более эффективным, делают выбор того или иного метода для решения конкретной задачи в некото-

24

рой степени субъективным. Поэтому ниже будут описаны только те, которым в силу определенных причин мы отдаем предпочте­ ние и которые будут использованы в комбинированных процеду­ рах. Подробное описание остальных можно найти в [6, 8, 12, 18, 26, 27, 29, 32-34, 40, 47, 49].

Рассмотрение начнем с методов, применяемых для получения решений в ранговой шкале. Задачу классификации можно отдель­ но не рассматривать, так как она представляет собой частный случай ранжирования, когда нужно упорядочить два объекта. Уровень неопределенности, с которым приходится иметь дело при решении задач ранжирования, достаточно высок, так как для п ранжируемых объектов число возможных исходов п\ В соответ­ ствии с (2.1) он равен I(n) = log2(« !). Чтобы иметь представле­ ние об этой величине, приведем несколько ее значений: /(3) = 2,58 бит; /(4) = 4,58 бит; /(10) = 21,79 бит; /(20) = 61,08 бит. Поэтому для ранжирования даже небольшого числа объектов при­ меняют специальные процедуры, упрощающие работу экспертов.

Смысл этих упрощений в том, чтобы снизить уровень неопре­ деленности решаемой задачи. Достигается это применением мно­ гоэтапных процедур экспертного оценивания, с помощью которых снижается число возможных альтернатив. Реализация многоэтап­ ной процедуры предусматривает вначале деление интересующих нас объектов на группы с последующим ранжированием самих групп и объектов внутри каждой группы. Устроенную таким об­ разом процедуру принято называть "простое ранжирование" [18]. Процедура достаточно проста, но, к сожалению, в результате ее применения часто получаются слишком огрубленные ранжировки. Поэтому, не останавливаясь на подробном описании этой проце­ дуры, перейдем к рассмотрению более эффективного и чаще дру­ гих используемого метода парных сравнений.

При попарном сравнении объектов удается получить наиболее точное отражение субъективных предпочтений, поскольку на вы­ бор здесь налагается гораздо меньше ограничений, чем при дру­ гих видах экспертного оценивания. При этом способе каждый раз эксперту приходится делать выбор всего из двух альтернатив, т.е. решать задачу, уровень неопределенности которой не превышает одного бита. Естественно, это облегчает работу экспертов, но одновременно ставит вопрос о возможно недостаточном объеме информации для получения надежных оценок. Опасения по это­ му поводу напрасны. Один бит информации требуется при срав­ нении только одной пары из п объектов, а сравниваемых пар

25

п{п—1)/2 и, следовательно, так как п{п—1)/2 > log2(A2!), то и объем информации, затраченный на решение задачи ранжирова­ ния, в сумме превосходит тот, который затрачивается при дру­ гих способах ее решения.

Для получения парных сравнений объектов А,- (/ = 1,я) исполь­ зуется анкетирование, предусматривающее заполнение таблицы, в которой количество строк равно количеству столбцов.

					Т а б л и ц а 2.1
	Матрица парных сравнений
Объекты	А,		А2		А
А,	аи		°,2		ai„
А	а	2,	а	22	°2п
2

Ая

а„,

ап2

а„„

Значение элемента, стоящего на пересечении /-й строки и у'-го столбца, определяется по формуле

0,	А	< А,
1,	А,	(2.4)
2,	А	У А ,

В соответствии с (2.4) на пересечении /-й строки и у'-го столб­ ца должен стоять 0, если объект с номером /, по мнению экспер­ та, менее значим, чем объект с номером у; должна стоять 1, если объекты равнозначны, и 2, если /-й объект превосходит у'-й.

Полностью заполненная таблица представляет собой квадрат­ ную матрицу А, элементы которой удовлетворяют соотношению аи + ал ~ ^' Метод вычисления весовых коэффициентов, в со­ ответствии со значениями которых ранжируются объекты, пред­ ставляет собой итерационную процедуру

АрГ-1	(2.5)
где ро = (1, 1,..., 1)'.

Чтобы избежать в процессе итерирования получения чрезвычай­ но больших весовых значений, компоненты вектора р' на каждом шаге нормируются путем деления на сумму

26

*=?.Pi=lI.auPjrl. (2.6)

'' j

Сучетом нормирующего множителя процедура вычисления ве­

совых коэффициентов записывается следующим образом:

У	(2.7)

Ее применение приводит к получению весовых коэффициентов pi в виде относительных величин, так как £ л ' = 1. Вычислитель­ ный процесс продолжается до момента, кбгда весовые коэффи­ циенты, полученные на двух соседних итерациях, будут незначи­ тельно отличаться друг от друга, т.е.

max \р/ - р}t-\\ < е ,	(2.8)
где е — достаточно малое положительное	число, задающее точ­
ность расчетов.

Матрица парных сравнений неотрицательна (а.. > О для любых /', J) и неразложима, т.е. среди номеров строк и столбцов нельзя выделить такие подмножества I и J, что д.. = 0 для всех / е I и J e J. Другими словами, неразложимость матрицы А означает, что любыми перестановками строк и столбцов нельзя ее привес­ ти к виду

	Аи	А12	(2.9)
	О А 22.

где Ап и А22 — квадратные подматрицы.

В соответствии с широко известной теоремой Фробениуса — Перрона у таких матриц максимальное собственное значение яв­ ляется действительным положительным числом Я, которому отве­ чает собственный вектор р с положительными компонентами.

Причем и собственное число, и собственный		вектор получаются
в виде предельных значений
Я = lim Я';	lim p	(2.10)

представляя, по сути, результат применения итерационной про­ цедуры.

Содержательную интерпретацию итерационной процедуры рас­ смотрим на простом примере. Пусть требуется оценить степень

значимости пяти объектов А,, А., г3> А5- В результате

27

опроса одного из экспертов была получена следующая матрица парных сравнений:

(\	2	2	0	2\
0	1	2	0	2
0	0	1	2	1
2	2	0	1	0
N 0	0	1 2		Ч

Последовательность итераций без учета нормирующего множи­ теля выглядит следующим образом:

ГО	5		Гзз^				Г709Л
			21		93	4	469
	; Р' =4	2	18	3	94		462
		; Р =		; Р =		; Р =
	5		29		137		617
J)	Л		1Ч		^94J		И62,

Итерированная значимость первого порядка р1 (так будем на­ зывать промежуточные результаты итерационного процесса) пред­ ставляет собой сумму "очков", набранных каждым объектом в результате экспертного сравнения. Расчеты показали, что одина­ ковое количество очков набрали А2, А4 и А3, А5. Если предпо­ чтение устанавливать по итерированной значимости первого поряд­ ка, то эти пары объектов следует считать одинаково значимыми. Однако, как показывают дальнейшие расчеты, это не так.

При подсчете итерированной значимости второго порядка каж­ дому объекту засчитываются не только собственные "очки", но и те, причем удвоенные, которые набрали проигравшие ему в срав­ нении. Поэтому очень важно, в сравнении с какими "противни­ ками" (сильными или слабыми) были заработаны "очки". Эти рассуждения хорошо иллюстрируют очевидные расчеты

р2 2 =0-7 + 1-5 + 2-4 + 0-5 + 2-4 = 21;

р2л = 2 - 7 + 2-5 + 0-4 + 1-5 + 0-4 = 29,

из которых понятен механизм формирования итерированных пред­ почтений, обеспечивший превосходство четвертого объекта над вторым.

28

Метод парных сравнений был рассмотрен применительно к обработке результатов опроса одного эксперта. Индивидуальные экспертные оценки имеют право на существование и даже прак­ тическое использование, но уверенность в их объективности очень низкая. Поэтому предпочтение отдают групповым экспертным оценкам. В простейшем случае за групповую оценку принимают усредненные значения индивидуальных оценок. Применение та­ кого способа предполагает, что компетентность экспертов, при­ нимавших участие в экспертизе, одинакова.

Подобное предположение следует признать несостоятельным. Нетрудно указать и причины несостоятельности. Во-первых, сформировать однородную группу экспертов практически невоз­ можно. Во-вторых, однородная группа не всегда обеспечивает высокую объективность результатов экспертизы. Скорее, наоборот: результаты опроса такой группы могут оказаться смещенными, хотя и согласованными. Поэтому рациональный взгляд на эту проблему подсказывает решение, суть которого в том, чтобы при построении групповой оценки не стремиться к созданию однород­ ной группы, а предусмотреть возможность учитывать компетент­ ность каждого эксперта. В связи с этим возникает вопрос о про­ цедуре определения весовых коэффициентов, характеризующих компетентность экспертов.

Существует несколько подходов к решению этой задачи. Чаще других используются самооценка и взаимная оценка, строятся также интегральные оценки коэффициентов компетентности по отдельным характеристикам экспертов. В некоторых случаях уро­ вень компетентности связывают с источниками аргументации, которые используют эксперты при проведении экспертизы. Как правило, это несложные и интуитивно понятные процедуры. Их достаточно подробное описание можно найти в [6, 18]. Поэто­ му, ограничившись только их упоминанием, перейдем к изложе­ нию более интересной, на наш взгляд, итерационной процедуры, в которой параллельно уточняются и коэффициенты компетентно­ сти, и групповая оценка.

Пусть опрос группы из т экспертов позволил получить оцен­ ки значимости п объектов. Результаты опроса представлены в виде прямоугольной табл. 2.2, в каждой строке которой, как нетрудно понять, стоят оценки, полученные соответствующим объектом, а в столбце — оценки, поставленные соответствующим экспертом.

29