В. Давнис Прогнозные модели экспертных предпочтений

сути, является концентрированным выражением обобщенного мнения экспертов по изучаемой проблеме и может использовать­ ся для анализа и получения всевозможных оценок.

Модель в качестве результата опроса, а не разовые экспертные оценки является главной особенностью данного подхода. Благодаря этой особенности удается получить прогнозные оценки экспертных суждений, т.е. оценки субъективного характера относительно тех событий или объектов, о которых эксперты не знали или не имели представления в момент формирования псевдовыборки.

Практическая реализация этой процедуры требует рассмотрения целого ряда довольно сложных вопросов:

Как построить регрессию на бинарную переменную?

Какими способами эксперты должны формировать выборочную совокупность (псевдовыборку) для построения регрессии с бинар­ ной зависимой переменной?

Как оценить компетентность эксперта и адекватность построен­ ной таким образом модели?

Как проверить согласованность мнений опрашиваемой группы экспертов?

Как оценить надежность расчетных характеристик, получаемых с помощью регрессии субъективных суждений?

Какую содержательную интерпретацию имеют оценки, полу­ ченные в результате моделирования экспертных предпочтений?

Можно ли, а если можно, то как использовать статистические методы для проверки различного рода гипотез, выдвигаемых от­ носительно оцениваемых параметров и объектов?

По сути, в этих вопросах нет ничего нового. Практически все они в той или иной степени присутствуют в задачах прямого эк­ спертного оценивания, обеспечивая надежность получаемых ре­ зультатов. Но расчет и анализ характеристик, а также соответ­ ствующие выводы на их основе в новом подходе отличаются от того, как это делается в традиционном, поэтому требуют специ­ ального рассмотрения.

3.1.2. Эконометрический подход к построению моделей субъективных предпочтений

Решение первого и, очевидно, самого главного во­ проса, связанного с моделированием субъективных предпочтений, требует построения регрессионного уравнения специального вида. Проблема, которую необходимо преодолеть при реализации это-

50

го подхода, связана, прежде всего, с тем, что применение ли­ нейной регрессии

у = ХЬ + е

(3-2)

для рассматриваемого случая не может привести к успеху, так как значения линейной формы

xib = b0+blxn+b2xl2 + ••• +bmxim, i = l,n <3J) принадлежат непрерывной количественной шкале, а переменная у, отражающая мнение эксперта, изменяется дискретно, прини­ мая всего два значения. Поэтому для исследования статистичес­ кой зависимости между бинарной переменной у и количественны­ ми данными X рекомендуется строить специальные регрессионные модели.

В настоящее время разрабатываются два подхода, позволя­ ющие строить такие модели. В первом предусматривается постро­ ение линейных вероятностных моделей, а во втором — нелиней­ ных, получивших название логит- и пробит-моделей. Нас будут интересовать нелинейные модели. Они позволяют установить за­ висимость не между переменной у и набором данных X, а меж­ ду вероятностью того, что /*-е значение бинарной переменной равно 1 при условии х/5 т.е. между Р{у, = 1 |х,.), и линейной фор­ мой х(Ь. С помощью такого подхода моделирование экспертных предпочтений представляет собой более естественный процесс с хорошо понимаемой содержательной интерпретацией.

Однако и в этом случае применение линейной формы вряд ли увенчается успехом, так как значение линейной функции может быть как отрицательным, так и превосходить единицу, что явно не согласуется с возможными значениями вероятности. Поэтому це­ лесообразно для моделирования величин P{yj = 1 |х() использовать функции, областью значений которых является отрезок [0, 1], а линейная форма х(Ь играет роль аргумента в этих функциях, т.е. должна иметь место модель вида

Р{у, = l | x / ) = F(x/ b), i = ln •

(3.4)

Чтобы запись модели в такой форме была корректной, функ­ ция F(^) должна удовлетворять следующим требованиям:

ОF(z) — монотонно возрастает по z;

2)0 < F(z) < 1;

3)F(z) -» 1 при z —> °°;

4)F(z) —> 0 при z —> — °°.

51

В практике решения прикладных задач в качестве F, как пра­ вило, используются две функции. Если такой функцией являет­ ся стандартная нормальная вероятностная функция распределения

Ф(г) = -1= [e'^dx,

(3.5)

л/2я: J

—со

то регрессионная зависимость называется пробит-моделью. В слу­ чае, когда используется логистическая функция

Пг) = —Ц- -

зависимость называется логит-моделью.

Обе функции удовлетворяют всем четырем условиям, сформу­ лированным выше, и, кроме того, являются симметричными относительно z = О, т.е. Ф(—г) = 1 - Ф(г) и Л(—г) = 1 ~ л(г). Эти свойства значительно упрощают всевозможные преобразова­ ния тех выражений, в которых используются эти функции.

Таким образом, понимая под функцией регрессии зависимость "в среднем" между зависимой и независимыми переменными,

можно записать
Е(у | х) = 1 • F(xb) + 0 • (1 - F(xb) = F(xb),	(3.6)

где F (xb) — одна из вышеприведенных функций распределений. Отражая тот факт, что реальная зависимость не всегда совпа­ дает с математическим ожиданием и, кроме того, ее значения могут отличаться даже на совпадающих наборах значений незави­ симых переменных, введем в рассмотрение случайную составля­

ющую е и окончательно запишем

yt = ЕСу;|х,) + £; = F(x.b) + £,., i = u-

( 3 7 )

Нелинейный характер этих моделей, естественно, по сравне­ нию с линейными моделями требует применения более сложно­ го математического аппарата, который, к сожалению, не изло­ жен на русском языке в форме, доступной для понимания. По­ этому ниже будет приведено достаточно подробное описание всего комплекса формальных процедур построения и анализа моделей, которые нами используются для прогнозирования субъективных предпочтений. Уровень детализации в изложении материала прак­ тически исключает в рассуждениях моменты, требующие самосто­ ятельного восстановления преобразований, пропущенных якобы в

52

силу их очевидности. Это позволит заинтересованным читателям в полном объеме освоить основы математического аппарата эко­ нометрики качественных переменных. Полученные знания обес­ печат грамотное восприятие и корректное практическое использо­ вание результатов моделирования.

Однако не следует эту возможность воспринимать как обяза­ тельный элемент знаний, без которого доступ к практическому применению этого аппарата существенно ограничен. Для тех, кто в большей степени ориентирован на практическое использование предлагаемых здесь методов, вполне достаточно уметь пользоваться одним из статистических пакетов, владеть приемами интерпрета­ ции результатов моделирования и освоить принципы формирова­ ния псевдовыборки, к изложению которых мы переходим.

3-1.3- Принципы формирования псевдовыборочных совокупностей

Вопрос применения для наших целей моделей бинар­ ного выбора имеет два аспекта. Один из них связан с методами построения этих моделей. Это тот аспект проблемы, основная на­ правленность которого — корректное применение математического аппарата, как уже отмечалось, будет со всеми деталями рассмот­ рен ниже. Другой аспект представляет собой срез информацион­ ной составляющей, обнажающий проблему формирования специ­ альных выборочных совокупностей и правомерность их использо­ вания в процедурах построения эконометрических моделей. Это как раз та проблема, на решение которой должны быть нацеле­ ны усилия экспертов.

Смысл основной задачи, стоящей перед экспертами, формиру­ ющими псевдовыборку, в том, чтобы на данные выборочного множества перенести собственные представления о механизмах предполагаемых закономерностей между объясняющими переменны­ ми и ожидаемыми событиями. Тогда, если проведение такой про­ цедуры было успешным, то по замыслу построенная модель долж­ на отражать ту закономерность, руководствуясь которой эксперт оценивал степень воздействия выборочных значений на возможные проявления интересующего нас события. Таким образом, главное

отличие псевдовыборки от выборки в том, что в ее данных содер­ жится информация, которую эксперты сумели обнаружить и связат своими субъективными оценками со значениями зависимой переменной

Способы формирования псевдовыборки зависят от смыслово­ го содержания решаемой задачи. Это не совсем строго формализо-

53

ванные процедуры, и поэтому для их успешного применения в каждом конкретном случае требуется адаптивное вмешательство. Рассмотрим типовые ситуации, которые возникают в практике анализа и прогнозирования бизнес-процессов. Можно выделить три ситуации, которые отличаются принципами формирования псевдовыборки.

Впервой ситуации псевдовыборку формируют непосредственно из выборочной совокупности с известными значениями зависимой (дихотомической) и независимых переменных^ Это тот случай,

когда взаимосвязь между yt и наборами х,- (/ = 1, п) существует, но эксперты не уверены в абсолютной правомерности и надежности такой связи. Применяя принцип усиления взаимосвязей субъективны­ ми мнениями, они своими оценками уточняют возможность появ­

ления соответствующего значения yi при заданном наборе х(. Уточ­ няющие оценки удобно, хотя и не обязательно, получать в баллах, пользуясь для этого стобалльной шкалой. Таким образом, в резуль­ тате опроса эксперта каждому наблюдению будет приписано опре­ деленное количество баллов. Причем чем выше, по мнению экс­ перта, реальность наблюдаемого значения у. при соответствующем

наборе объясняющих переменных хЛ тем больше баллов приписы­ вается данному наблюдению. Количество баллов удобно интерпре­ тировать как частоту (число случаев), с которой данное наблюде­ ние тиражируется в выборочной совокупности.

Вторая ситуация, которую мы намерены рассмотреть, преду­ сматривает случаи, когда выборочное множество состоит только из объясняющих переменных и требуется на основе принципа субъективной идентификации взаимосвязей восстановить значения бинарной зависимой переменной. В соответствии с этим прин­ ципом эксперт каждому набору объясняющих переменных выбо­ рочной совокупности ставит в соответствие одно из возможных значений (0 или 1) зависимой переменной.

Всформированной таким образом псевдовыборке, как нетрудно понять, содержится информация, отражающая субъективное мне­ ние по поводу того, какие условия, описываемые объясняющими переменными, благоприятны, а какие неблагоприятны для появ­ ления некоторого события. Другими словами, экспертами сгенери­ рованы значения бинарной переменной в зависимости от значений объясняющих переменных. Естественно, модель, построенная по данным так сформированной псевдовыборки, будет являться до­ вольно грубым приближением к той зависимости, которую экспер­ ты пытались описать своими предпочтениями в процессе формиро54

вания дискретной зависимой переменной. Поэтому желательно провести некоторые уточнения, используя для этого, например, описанный выше принцип усиления взаимосвязей субъективными мнениями.

Как следует из приведенных рассуждений, для получения надеж­ ных результатов в условиях второй ситуации целесообразно псевдо­ выборку формировать на основе двух сформулированных здесь прин­ ципов. Причем использование этих принципов может быть как последовательным, так и параллельным. Последовательное приме­ нение фактически уже было рассмотрено. Процедура параллельного использования принципов, по сути, приводит к тем же результа­ там. В ее рамках предполагается, что одновременно с идентифи­ кацией бинарного значения оценивается и возможная частота по­ явления идентифицированного значения в выборочной совокупно­ сти. Для этих целей можно использовать не только балльное оце­ нивание, как в случае первой ситуации, но и другие процедуры экспертного оценивания.

Особенность третьей ситуации в том, что исследуемые объек­ ты имеют не только описание в виде набора показателей, но и имена. Например, это могут быть города, районы области, фир­ мы, товары и т.п. Предполагается, что эксперты знакомы с эти­ ми объектами до такой степени, что способны указать свои пред­ почтения относительно их использования в определенных целях. В принципе им могут быть известны и показатели, задающие формальное описание объектов. Но вне зависимости от уровня информированности экспертов, вне зависимости от полноты ин­ формационного описания этих объектов эксперты имеют субъек­ тивное представление об интегрированной ценности каждого объекта. Это как раз тот случай, когда для формирования псев­ довыборки следует применять принцип субъективных предпочтений.

Если объектов не более двух-трех десятков, то принцип субъек­ тивных предпочтений удобно реализовать с помощью метода пар­ ных сравнений, подробное описание которого приводилось в пре­ дыдущей главе. Причем сравнивать между собой следует объекты, а не их информационные описания. Это значительно упрощает работу экспертов, но только в том случае, если у них действи­ тельно имеются интегрированные представления об объектах.

Формирование значений бинарной переменной осуществляет­ ся по результатам экспертного опроса, отраженным в матрице парных сравнений. Объектам, которые получили больше полови­ ны предпочтений в процессе сравнения с другими объектами,

55

приписывается 1, а получившим меньше половины — 0. Одновре­ менно с формированием массива значений бинарной переменной можно, руководствуясь первым принципом, осуществить усиление предполагаемых связей. Для этого можно использовать или сумму очков, обеспечивших объекту предпочтение, или сумму потерян­ ных очков. Другими словами, если объекту приписана 1, то дан­ ные о нем в псевдовыборке повторяются столько раз, сколько он набрал очков при сравнении с другими объектами, а если 0, то число повторений определяется числом потерянных очков.

Метод парных сравнений, являясь удобной процедурой форми­ рования псевдовыборок, не всегда обеспечивает получение ожида­ емого результата. Поэтому в арсенале исследователя должно быть несколько дополняющих друг друга процедур экспертного опроса, которые в случае необходимости могут комбинироваться при фор­ мировании одной и той же псевдовыборочной совокупности.

Результатом применения вышеописанных принципов является выборочная совокупность следующей структуры:

У\	х\\	х12>	•••,	х\т	wl'>
У 2	Х2\	Х22>	•••'	х2т	W2'
Уп	Хп\	Хп2'	•••'	Хпт	Wn-

где yi — сгенерированное по результатам экспертного опроса зна­ чение бинарной переменной; хп, xl2,..., xim — набор показате­ лей, которые, по мнению экспертов, определяют выбор сгенери­ рованного ими значения бинарной переменной; w;. — определяемая экспертами частота повторяемости /-го наблюдения в выборочной совокупности.

Такая форма представления данных выборочной совокупности очень удобна для компьютерной обработки с помощью, напри­ мер, пакета STATISTICA.

Чтобы завершить обсуждение вопроса, связанного с формиро­ ванием специальных выборочных совокупностей, необходимо про­ вести обоснование правомерности использования для построения бинарных моделей данных, полученных подобным образом. Фор­ мально числовые данные псевдовыборки ничем не отличаются от данных выборочной совокупности, полученных в результате ста­ тистических наблюдений. Более того, элементами псевдовыбор­ ки зачастую являются сами статистические наблюдения. И поэто-

56

му в силу того, что на формальном уровне данные этих якобы различных, по сути, выборочных совокупностей можно считать гомогенными, при построении модели не возникает вопросов вычислительного характера, но они сразу же появляются, как только есть необходимость в содержательной интерпретации и проверке статистической значимости результатов моделирования.

Правомерность проверки статистической значимости результа­ тов моделирования по стандартным тестам, описание которых будет дано ниже, гарантируется свойствами случайной составля­ ющей модели экспертного опроса (3.1). Если ошибки, которые допускает эксперт в своих предпочтениях при формировании псев­ довыборки, независимы и нормально распределены, то случайная составляющая удовлетворяет необходимым условиям и применение тестов можно считать корректным. Подобные предположения не противоречат возможностям реальных ситуаций. Правда, здесь уместно заметить, что все, о чем мы говорим, имеет смысл толь­ ко в том случае, если эксперты относятся к своей работе добро­ совестно.

3-1.4. Оценка надежности и согласованности результатов моделирования экспертных предпочтений

Псевдовыборка, сформированная одним из вышеопи­ санных способов, позволяет построить регрессионную модель, от­ ражающую механизм субъективного выбора интересующих нас альтернатив. Этот механизм может отражать как индивидуальную точку зрения, так и групповое мнение в зависимости от того, какая процедура использовалась при формировании выборки. Чтобы подобную модель применять в практической деятельности, нужна уверенность в надежности получаемых с ее помощью ре­ зультатов анализа и прогноза. Надежность при использовании подобного подхода может рождаться только из оценок, свидетель­ ствующих о компетентности экспертов и согласованности их мне­ ний. Поэтому в центре дальнейших наших рассуждений будут именно эти вопросы.

Естественно, при оценке компетентности и согласованности можно использовать известные процедуры, применяемые в эксперт­ ных методах прямого оценивания. Это имеет смысл и позволя­ ет получать некоторые гарантии надежности, но не в полном объеме. Необходимость в дополнительных характеристиках возни-

57

кает потому, что при реализации рассматриваемого здесь подхо­ да изменяется представление о содержательном смысле характери­ стик надежности. Прежде всего это касается компетентности эк­ сперта.

Переходя к рассмотрению компетентности, сразу согласимся с тем, что эксперт имеет право на собственное мнение, отличное от других экспертов. На наш взгляд, оригинальность в оценках не должна снижать компетентность, несмотря на то, что есть точка зрения [40], в соответствии с которой оценка компетентности тем выше, чем ближе индивидуальные оценки к групповым. Но с этой точкой зрения можно согласиться только при условии, что групповые оценки совпадают или почти совпадают с истинными. Вполне возможна ситуация, когда вопреки нашим ожиданиям групповые оценки далеки от истинных значений и заключение о компетентности, сделанное на основе близости индивидуальной оценки к такой групповой, теряет смысл.

Независимо от сделанного замечания и не взамен общеприня­ того подхода введем в рассмотрение еще одну составляющую компетентности. Оценка этой составляющей основана на положе­ нии, смысл которого в том, что эксперт не может быть компе­ тентным, если его оценки противоречивы. Возникает естествен­ ный вопрос: как оценить уровень противоречивости экспертных суждений?

Содержательный смысл решаемой здесь задачи позволяет пред­ ложить следующий подход. Сформированная экспертами псевдо­ выборка представляет собой данные, которые, по сути, сгенери­ рованы в соответствии с представлением эксперта о взаимосвязи предпочтений бинарного выбора с факторным пространством. Если модель хорошо подгоняется к этому набору данных, т.е. имеет достаточно высокий индекс отношения правдоподобия (ко­ эффициент Макфаддена, который далее будет рассмотрен более подробно), то следует признать, что суждения эксперта не про­ тиворечивы, ему действительно удалось сформировать модель соб­ ственных суждений, и поэтому он может быть отнесен к группе компетентных специалистов.

Для этих же целей можно использовать энтропийный коэффи­ циент предсказывающих возможностей построенной модели. Этот коэффициент имеет следующий вид:

Н = - -jF(X.b)log2F(X,b)-J(l-F(x,b))log2(l-F(x,b))

(3.8)

п

58

Для случая, когда расчетные значения модели в точности со­ впадают с фактическими значениями дихотомической перемен­ ной, значение коэффициента равно нулю, т.е. во всех случаях модель обеспечивает безошибочный выбор, не оставляя место для сомнений в пользу альтернативы. Максимальный уровень энтро­ пии (Н — 1) получается в случае, когда для всех рассмотренных ситуаций j) =F(x,b) = 0,5- Во всех остальных случаях 0 < Н < 1. Величина коэффициента показывает средний уровень неопределен­ ности в каждом случае бинарного выбора, которая остается по­ сле построения модели.

Случай, когда построенная модель оказывается неадекватной, свидетельствует о некомпетентности эксперта, так как его взгля­ ды на исследуемую проблему были противоречивы. Механизм, трансформирующий противоречивость взглядов в неадекватность модели, можно представить следующей схемой рассуждений. Противоречивость является следствием неуверенности эксперта в собственных суждениях. В свою очередь, неуверенность нарушает логику, которой он должен придерживаться в процессе реализа­ ции своих предпочтений на выборочном множестве. В силу этого в сформированной псевдовыборке содержатся данные, слабо со­ гласованные со значениями бинарной переменной. Несогласован­ ность исключает возможность восстановления той зависимости, которой якобы пользовался эксперт, формируя псевдовыборку.

Таким образом, модель действительно имеет плохую точность в тех случаях, когда псевдовыборка формировалась некомпетент­ ным образом. Поэтому уровнем адекватности модели имеет смысл измерять компетентность эксперта. Чем выше уровень адекватно­ сти (коэффициент Макфаддена) или ниже остаточная энтропия (энтропийный коэффициент), тем компетентнее действовал экс­ перт, распределяя свои предпочтения между наблюдениями выбо­ рочной совокупности.

Переходя к рассмотрению вопроса о согласованности оценок, сразу заметим, что, как и в случае прямого экспертного опроса, в рассматриваемом подходе действует тезис — доверие групповым оценкам выше, чем индивидуальным. Действие тезиса возможно только при согласованности индивидуальных оценок. Следователь­ но, не любая групповая оценка обладает высокой надежностью. На первый взгляд может показаться, что для проверки согласованнос­ ти можно воспользоваться двумя подходами: в соответствии с пер­ вым проверять согласованность до построения модели, в соответ­ ствии со вторым — после построения по результатам моделирования.

59