Mineva O.K.Управленческие решения

К основным составляющим методов экспертных оценок, на наш взгляд, можно отнести следующие элементы: объект прогноза; рабочую группу, осуществляющую подготовку и проведение экспертизы; экспертную группуили одного эксперта; анкету(опросный лист).

Характерными особенностями методов экспертных оценок являются: научно обоснованная организация проведения экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов; применение количественных методов при организации экспертизы и при оценке суждений экспертов и формальной групповой обработке результатов.

Методы экспертных оценок используются для анализа объектов и проблем, развитие которых либо полностью, либо частично не поддается математической формализации, т.е. для них трудно разработать адекватную модель. Наиболее часто методы экспертных оценок используются при рассмотрении социальных вопросов, где невозможно выработать формализованную прогностическую модель.

Посредством применения методов экспертных оценок целесообразно решать следующие типовые задачи:

составление перечня возможных событий в различных областях за определенный промежуток времени;

определение наиболее вероятных интервалов времени совершения совокупности событий;

определение целей и задач управления с упорядочением их по степени важности;

разработка альтернативных вариантов решения задачи с оценкой их предпочтения;

альтернативное распределение ресурсов для решения задач с ранжированием их очередности;

альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

В зависимости от организации экспертной оценки и формы опроса экспертов различают методыиндивидуальных иколлективных экспертных оценок.

Индивидуальные экспертные методы основаны на использовании мнений экспертов-специалистов соответствующего профиля независимо друг от друга. Основными преимуществами этих методов являются возможность максимального использования индивидуальных способностей эксперта и незначительность психологического давления, оказываемого на отдельного работника. Однако эти методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного спе- циалиста-эксперта о развитии смежных областей науки.

Методы индивидуальных экспертных оценок имеют несколько разновидностей: метод «интервью», аналитический метод, метод написания сценария.

Метод интервью предполагает беседу прогнозиста с экспертом, в ходе которой прогнозист в соответствии с заранее разработанной програм-

31

мой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности интервьюируемого эксперта экспромтом давать заключения по самым различным фундаментальным вопросам.

Аналитические экспертные оценки предполагают тщательную само-

стоятельную работу эксперта над анализом тенденций, оценкой состояния, путей развития прогнозируемого объекта. Метод дает возможность эксперту использовать всю необходимую информацию об объекте прогноза. Свои соображения эксперт оформляет в виде докладной записки.

Написание сценария – это метод, с помощью которого устанавливается логическая последовательность событий с целью показать, как, исходя из существующей ситуации, может шаг за шагом развертываться будущее состояние объекта исследования. Описание обычно совершается в явно выраженных временных координатах. Эта особенность существенна при прогнозировании в области социально-экономических проблем, однако для целей научно-технических прогнозов введение явной зависимости от времени не всегда обязательно. Основное значение сценария – определение генеральной цели развития объекта прогнозирования, выявление основных факторов фона и формулирование критериев для оценки верхних уровней «дерева целей». В сценарии используются заранее подготовленные прогнозы и материалы по развитию объекта прогнозирования. Разработка сценария принуждает исследователя заниматься деталями и процессами, которые он мог бы легко упустить, если бы ограничился абстрактными соображениями.

Сущность методов коллективной экспертной оценки для разработки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.). В основе применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы, перспективность развития определенного направления исследований, времени свершения того или иного события, целесообразности выбора одного из альтернативных путей развития объекта прогноза и т.д.

Основными преимуществами методов коллективной экспертной оценки являются следующие факторы: 1) при коллективном мышлении выше точность результата; 2) при обработке индивидуальных независимых оценок, выносимых экспертами, по меньшей мере могут возникнуть продуктивные идеи.

На практике чаще всего используются такие методы коллективной экспертной оценки, как: метод коллективной генерации идей («мозговая атака»), метод Дельфи, метод морфологического анализа.

32

Использование метода коллективной генерации идей позволяет по-

лучить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс. Сущность метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (критику) идей с формулированием контридей.

Метод «Дельфи» – один из наиболее распространенных методов экспертной оценки будущего. Он разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий. Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками. Метод «Дельфи» позволяет обобщать мнения отдельных экспертов в согласованное групповое мнение. Ему присущи все недостатки прогнозов, построенных на основе экспертных оценок.

Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экспертов. К таким особенностям относятся:

1)анонимность экспертов;

2)использование результатов предыдущего тура опроса;

3)статистическая характеристика группового ответа.

При использовании метода «Дельфи» опросы проводятся в несколько этапов, причем после каждого этапа вся информация о результатах прошедшего тура сообщается экспертам. Участников экспертизы просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Вся процедура повторяется 3–4 раза. В результате происходит сужение диапазона оценок.

Использование результатов предыдущего тура опроса заключается в следующем: поскольку групповое взаимодействие осуществляется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извлекает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогно- зист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функционирования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возможность группе специалистов концентрировать свои усилия на первоначальных задачах, а не предполагать каждый раз что-то новое.

Метод «Дельфи» осуществим и эффективен при получении преимуществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство трудностей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общениемчленов,особенноесли опрос производится попочте.

33

Недостатком данного метода является то, что проблема коррелирующих научно-технических сдвигов является очень сложной, так как в реальной жизни величину корреляции очень трудно измерить, корреляционные связи нечетки и варьируются в широких пределах в зависимости от рассматриваемых достижений.

Морфологический анализ представляет собой упорядоченный способ рассмотрения предметов и получения систематизированной информации по всем возможным решениям изучаемой проблемы.

С помощью морфологического анализа в ряде случаев удается не только упорядочить входную информацию, но и получить качественно новую информацию. Этот метод позволяет ответить на три типа вопросов: какие средства (приборы) необходимы для получения всей информации о данной совокупности явлений; какова последовательность всех явлений, происходящих по определенной причине; как проследить все средства данного класса или все методыданного класса, все решенияданной конкретной проблемы.

Морфологический анализ включает ряд приемов, но принцип у них один: систематизированное рассмотрение явлений, предметов, стремление не пропустить ни одной возможности, ничего не отбрасывая без предварительного исчерпывающего исследования. Этой цели служит прием систематизированного охвата, при котором исследование начинают с данного уровня знаний. Затем систематически просматривают однуза другой все возможные области знаний, пока не будет достигнут другой уровень знаний. В процессе анализа все объекты разбиваются на группы, каждая из которых подвергается тщательному изучению. Такой подход позволяет накапливать данные для последующихисследований по методу«морфологического ящика».

«Морфологический ящик» строится в виде дерева или матрицы, в клетках которых помещены соответствующие параметры. Последовательное соединение одного какого-либо параметра первого уровня с одним из параметров последующих уровней представляет собой одно из возможных решений проблемы. Общее количество возможных решений равно произведению чисел всех параметров, представленных в «ящике», взятых по строкам. Учитывая, что некоторые из этих решений практически неосуществимы, действительное число решений будет несколько меньше.

В результате этого метода создается новая информация об изучаемом объекте и вырабатывается оценка всех возможных альтернатив для каждой составной части проблемы. Цель его – выработка наиболее приемлемого решения на основе рассмотрения каждого возможного. Преимущества данного метода в том, что он осуществим при наличии малого количества информации по изучаемой проблеме, причем для оценки решений можно использовать самые общие критерии.

Метод «морфологического ящика» представляет интерес для прогнозирования возможного исхода фундаментальных исследований.

34

Подготовка и проведение экспертизы при проведении коллективных экспертных оценок включает в себя ряд этапов.

1. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данной отрасли. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек в зависимости от сложности объекта.

При формировании группы экспертов основными являются вопросы определения ее качественного и количественного состава. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы; затем составляется список лиц, компетентных в этих областях.

Для получения качественного прогноза к участникам экспертизы предъявляется ряд требований, основными из которых являются: высокий уровень общей эрудиции; глубокие специальные знания в оцениваемой области; способность к адекватному отображению тенденции развития исследуемого объекта; наличие психологической установки на будущее; наличие академического научного интереса к оцениваемому вопросу при отсутствии практической заинтересованности специалиста в этой области; наличие производственногои (или) исследовательского опыта в рассматриваемой области.

Для определения соответствия потенциального эксперта перечисленным требованиям используется анкетный опрос. Дополнительно к этому часто используют способ самооценки компетентности эксперта. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе на основании анкеты. Обработка данных дает возможность получить количе-

ственную оценку компетентности потенциальногоэкспертапо формуле:

m

	Vj
К = 0,5 (	j 3	+		),	(1)
	m		P
	Vj max

j 1

где Vj – вес градации, перечеркнутой экспертом по j-й характеристике в анкете в баллах; Vj max – максимальный вес (предел шкалы) j-й характеристики в баллах; m – общее количество характеристик компетентности в анкете; – вес ячейки, перечеркнутой экспертом в шкале самооценки в баллах; P – предел шкалы самооценки эксперта в баллах.

Установить оптимальную численность группы экспертов довольно трудно. Однако в настоящее время разработан ряд формализованных подходов к этому вопросу. Один из них основан на установлении максимальной и минимальной границ численности группы. При этом исходят из двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристики.

35

Первое условие используется для определения максимальной чис-

ленности группы экспертов nmax:

n

СКmax	ki	,	(2)
	i 1

nmax

где С – константа; Кmax – максимально возможная компетентность по используемой шкале компетентности; ki – компетентность i-го эксперта.

Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать «истинным». Для определения константы используется практика голосования, т.е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимается, что С = 2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:

	n
nmax	3i 1	ki .	(3)

2К max

Далее определяется минимальная численность экспертной группы nmin. Осуществляется посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется следующим образом: включение или исключение эксперта из группы не-

значительно влияет на среднюю оценку прогнозируемой величины:

B B	,	(4)
Bmax

где В – средняя оценка прогнозируемой величины в баллах, данная экспертной группой; В' – средняя оценка, данная экспертной группой, из которой исключен (включен) 1 эксперт; Вmax – максимально возможная оценка прогнозируемой величины в принятой шкале оценок; – заданная величина изменения средней ошибки при включении или исключении эксперта.

Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший

балл при В Вmax и минимальный – при В Вmax/2. Поэтому для проверки выполнения условия (4) предлагается исключить из группы 1 эксперта.

В литературе приводится правило расчета минимального числа экспертов в группе в зависимости от заданной (допустимой) величины изменения средней оценки :

3

nmin = 0,5 ( + 5). (5)

Таким образом, правила (3), (4) и (5) дают возможность получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключения малокомпетентных экспертов, при этом используется условие (Kmax – Кi) , где – задаваемая величина

36

границы допустимого отклонения компетентности i-го эксперта от максимальной. Одновременно могут включаться в группу новые эксперты. Чис-

ленность группы устанавливается в пределах:

nmin n nmax.

(6)

Кроме описанных выше процедур в методах коллективных экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии с этими характеристиками в процессе проведения экспертизы качественный и количественный состав экспертной группы может корректироваться.

2.Перед тем, как организовать опрос экспертов, необходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и средства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели. При этом направления научных исследований

иразработок не должны пересекаться друг с другом.

3.Подготовка к проведению экспертного опроса включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно-орга- низационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта прогнозирования, можно установить общие требования к ним: вопросы должны быть сформулированы в общепринятых терминах, их формулировка должна исключать всякую смысловую неопределенность, все вопросы должны логически соответствовать структуре объекта прогноза, обеспечивать единственное толкование. При этом вопросы должны быть составлены по определенной структурно-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными. Вопрос называют открытым, если ответ на него не регламентирован. Закрытыми считаются вопросы, в формулировке которых содержатся альтернативные варианты ответов, и эксперт должен остановить свой выбор на одном (или нескольких) из них. Косвенные вопросы используют в тех случаях, когда требуется замаскировать цель экспертизы. К подобным вопросам прибегают тогда, когда не уверены, что эксперт, давая информацию, будет вполне искренен или свободен от посторонних влияний, искажающих объективностьответа. Рассмотрим основные группы вопросов:

а) вопросы, предполагающие ответы в виде количественной оценки: о времени свершения событий, о вероятности свершения событий, об относительном влиянии факторов. При определении шкалы значений количе-

37

ственных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения;

б) вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные;

в) вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведении об объекте; в виде перечня аргументов, подтверждающих или отвергающих тезис, содержащийся в вопросе. Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором – из названных проблем выбираются принципиально разрешимые и имеющие непосредственное отношение к объекту прогноза.

4.Осуществляется непосредственно проведение опроса. При проведении опроса экспертов необходимо обеспечить однозначность понимания отдельных вопросов, а также независимость суждений экспертов.

5.Ведется обработка материалов коллективной экспертной оценки, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозируемых гипотез и вариантов развития объекта.

При статистической обработке результатов экспертных оценок в виде количественных данных, содержащихся в анкетах, определяются статистические оценки прогнозируемых характеристик, доверительные границы, статистические оценки согласованности мнений экспертов.

При обработке результатов экспертных оценок по относительной важ-

ности направлений среднее значение, дисперсия и коэффициент вариа-

ции вычисляются для каждого оцениваемого направления. Кроме то-

го, вычисляется коэффициент конкордации, показывающий степень согласованности мнений экспертов по важности каждого из оцениваемых направлений, и коэффициенты парной ранговой корреляции, определяющие степень согласованности экспертов друг с другом.

Для этого производится ранжирование оценок важности, данных экспертами. Каждая оценка, данная i-м экспертом, выражается числом натурального ряда таким образом, что число 1 присваивается максимальной оценке, а число n – минимальной. Если все оценки различны, то соответствующие числа натурального ряда есть ранги оценок i-го эксперта. Если среди оценок, данных i-м экспертом, есть одинаковые, то этим оценкам назначается одинаковый ранг, равный средней арифметической соответствующих чисел натурального ряда.

Сумма рангов Sj, назначенных экспертами направлению j (j = 1, ..., m; х – число исследуемых направлений), определяется по формуле:

38

n
Sj = Rij ,	(7)
i 1

где Rij – ранг оценки, данной i-м экспертом j-му направлению. Среднее зна-

m

чение суммы рангов оценок по всем направлениям равно: Sср = Sj /m .

j 1

Отклонение суммы рангов, полученных j-м направлением, от среднего значения суммы рангов определяется как dj = Sj – Sср. Тогда коэффициент конкордации, вычисленный по совокупности всех направлений, составляет:

	m
	12 dj	2
W =	j 1		.	(8)
		n

n2 (m3 m) n Ti

i 1

n

Величина Тi = tl3 – te рассчитывается при наличии равных рангов (n –

i 1

количество групп равных рангов, tе – количество равных рангов в группе). Коэффициент конкордации принимает значение в пределах от 0 до 1.

W = 1 означает полную согласованность мнений экспертов, при W = 0 – полную несогласованность. Коэффициент конкордации показывает степень согласованности всей экспертной группы. Низкое значение этого коэффициента может быть получено как при отсутствии общности мнений всех экспертов, так и из-за наличия противоположных мнений между подгруппами экспертов, хотявнутри подгруппы согласованность может бытьвысокой.

Для выявления степени согласованности мнений экспертов использует-

ся коэффициент парной ранговой корреляции:

m

j2

i, i+1 =	j 1		,	(9)
	1 (m3 m)	1 ( Tj 1)

12

где j – разность (по модулю) величин рангов оценок j-го направления, назначенных экспертами I и i+1, причем

j =

Ri Ri 1

.

(10)

Коэффициент парной ранговой корреляции может принимать значения от +1 до –1. Значение = 1 соответствует полной согласованности мнений двух экспертов. Значение = –1 показывает, что мнение одного эксперта противоположно мнению другого.

Окончательная оценка при проведении коллективной экспертной оценки определяется либо как среднее суждение, либо как среднее арифметическое значение оценок всех экспертов, либо как среднее нормализованное взвешенное значение оценки.

39

Среднее значение прогнозируемой величины, как правило, опреде-

ляется по формуле:

	n
В =			Bi	,				(11)
	1 n
где Вi – значение прогнозируемой величины,							данное i-м экспертов;	n –
число экспертов в группе.
Кроме того, определяется дисперсия:
D =	n							(12)
	(Bi B)2						/ (n 1),
	i 1
и приближенное значение доверительного интервала:
j = t		D			,			(13)
		n 1

где t – параметр, определяемый по таблицам Стьюдента для заданного уровня доверительной вероятности и числа степеней свободы k = n–2.

Коэффициент вариации оценок, данных экспертами, определяется по зависимости = B , где – среднеквадратическое отклонение.

Ну и наконец, хотелось бы остановиться на причинах, обусловливающих необходимость применения экспертных методов в анализе, прогнозировании и принятии управленческих решений,и связанных с этимпреимуществ.

Одной из главных форм реализации генетического подхода в прогнозировании являются, как известно, эконометрические методы. Однако эти методы нельзя считать исчерпывающим инструментом, так как возможности количественного измерения в анализе и прогнозе социально-экономи- ческих процессов весьма ограничены. Эти ограничения связаны не только с наличием статистической информации, вычислительных методов, технических средств, но и с самой природой социально-экономических процессов, которые далеко не всегда могут быть выражены в количественной форме. Например, мотивы трудовой деятельности (уровень и формы оплаты труда, моральные стимулы и т.п.) хотя и влияют на уровень и динамику производительности труда, но это влияние весьма трудно или даже невозможно учесть на основе имеющейся статистической информации. Вместе с тем только те процессы и явления, которые могут быть измерены, могут быть учитываться при разработке прогнозов. Поэтому возникает необходимость использования экспертных методов, т.е. методов, основанных на объективированной процедуре сбора и обработки количественных и качественных оценок, даваемых отдельными учеными и специалистами. Эти методы, используемые в основном при разработке научно-технических и социально-экономических прогнозов, могут рассматриваться как универсальные методы прогнозирования. По своей природе это одновременно и генетические, и нормативные методы. С одной стороны, они учитывают сложившиеся тенденции, с другой – предполагают, пусть даже интуитивно, наличие определенной общественной цели.

40