ATT00025-Экспертные оценки от Анохина

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

Глава 4

ПРОВЕДЕНИЕЭКСПЕРТНОГО ОПРОСА

Целью данного этапа является извлечение экспертных знаний и их кодирование в соответствующую форму, интерпретируемую с помощью разработанной эвристической модели. Правила кодирования знаний определяются способом и шкалой оценивания, формируемыми на предыдущем, постановочном этапе. Воплощением этих правил является анкета, к заполнению которой, в основном, и сводится экспертный опрос.

Проведение опроса включает в себя подбор экспертов, участвующих в опросе;

выбор формы и метода проведения опроса и заполнение анкет; оценку качества работы и компетентности экспертов. Рассмотрим подробнее перечисленные вопросы.

4.1. Подбор экспертов

Подбор экспертов составляет одну из наиболее трудноразрешимых проблем экспертного анализа. Природа этой проблемы – человеческий фактор, исходящий от самих же экспертов. Естественно, что в качестве экспертов привлекаются наиболее компетентные, не рядовые специалисты в данной области. Неудивительно, что каждый из них имеет свой устоявшийся взгляд на положение дел и свое понимание того, как надо решать стоящую проблему. К экспертизе они чаще всего относятся негативно, сетуя на отсутствие свободного времени и обвиняя авторов в том, что они рассматривают проблему совершенно не с той стороны, проблема формулируется не так, она слишком упрощена (усложнена), авторы – «неспециалисты» в анализируемой пред-

71

ГЛАВА 4

метной области, критерии оценивания и факторы определены неправильно, опрос необходимо было построить по другой схеме и т.д.

Несмотря на все это эксперты все-таки соглашаются работать, руководствуясь чувством долга, распоряжениями начальства или снисхождением к любопытству исследователей. Однако, прежде чем ссылаться на пассивность и несговорчивость эксперта, поставьте себя на его место и попробуйте хоть раз заполнить свою же анкету ...

Перечислим основные факторы, влияющие на подбор экспертов. 1. Сложность и широта (абстрактность) проблемы. Очевидно, что чем шире и масштабнее проблема, тем более широкий круг специалистов должен привлекаться для ее решения. Если для конкретной, четко сформулированной локальной задачи чаще всего можно найти «узких» специалистов, досконально изучивших ее и способных дать исчерпывающее заключение, то более глобальная проблема всегда ассоциирована с проблематикой, т.е. совокупностью проблем и проблемных областей, связанных с исследуемым вопросом. Только узкие специалисты не могут охватить такую задачу целиком, они не в состоянии учесть все аспекты проблемы, увидеть ее «сверху». Расширение группы экспертов, привлечение специалистов из смежных областей может серьезно помочь в этом случае. Однако исследователь непре-

менно столкнется с другим весьма существенным фактором.

2. Время и средства. В большинстве случаев любая работа исследовательского характера сталкивается с ресурсными ограничениями, такими как время, финансовые средства и др. Временные ограничения в экспертном анализе являются обычно наиболее существенными – ведь к эспертным оценкам зачастую прибегают именно тогда, когда нужно быстро, без особых затрат получить хоть какой-то результат. Именно нехватка времени приводит к тому, что круг экспертов сужается и локализуется – ведь его расширение связано с поездками, междугородними почтовыми и телефонными контактами с территориально удаленными экспертами, ожиданием, пока кто-то из потенциальных экспертов вернется из командировки и согласится принять исследователя. На это почти никогда нет ни времени, ни денег. «Наилучший» способ сэкономить ресурсы – привлечь лишь тех экспертов, которые находятся рядом, «под рукой». Однако очевидно, что такой подбор может привести к одностороннему и весьма консервативному взгляду на проблему.

72

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

3. Заинтересованность в результате. В идеальном случае эксперт должен быть независимым и беспристрастным судьей. Однако, как правило, эксперты, хорошо разбирающиеся, а следовательно, и имеющие непосредственное отношение к стоящей проблеме, не могут быть абсолютно безразличны к результатам работы и принимаемым на их основе решениям. Наибольшая степень заинтересованности проявляется при решении задач распределения ресурсов, таких как конкурсное финансирование НИР и др. Подобные ситуации не страшны, если к экспертизе привлекаются по возможности все заинтересованные стороны, а в процессе обработки результатов вводятся определенные поправки, компенсирующие конъюнктурность тех или иных оценок. В монографии [9] приводится способ оценки конъюнктурности, основанный на использовании априорной информации (матрицы конъюнктурности) о конъюнктурных предпочтениях эксперта.

4. Субъективные факторы. В качестве субъективных факторов выступают прежде всего личные качества эксперта – его компетентность, широта эрудиции, склонность к абстрактному мышлению, коммуникабельность, доброжелательность и т.п. (более подробно методы оценки этих качеств будут рассматриваться в разд. 4.3). Немаловажную роль может сыграть авторитетная рекомендация или личное знакомство исследователя с экспертом, значительно упрощающее взаимодействие в процессе работе.

Проиллюстрируем подбор экспертов на примере экспертизы «Модернизация». Задачей этого анализа было определение наиболее важных для безопасности научно-технических и организационных мероприятий по модернизации Билибинской АЭС (БиАЭС). В качестве заинтересованных сторон в этой проблеме выступали сама БиАЭС, концерн «Росэнергоатом» Минатомэнерго РФ, осуществляющий оперативную координацию эксплуатации действующих АС на территории России, и Физико-энергетический институт (ФЭИ) – научный руководитель проекта этой станции. К экспертизе были привлечены 12 ведущих специалистов этих трех организаций: руководители лабораторий и отдела ФЭИ, заместитель главного инженера по эксплуатации, начальники смен, цехов и отделов БиАЭС, руководители соответствующих подразделений «Росэнергоатом». Такая свобода в подборе экспертов была обусловлена наличием времени (4 месяца) и личных контактов с представителями ФЭИ, концерна и даже географически крайне удаленной Билибинской АЭС.

73

ГЛАВА 4

4.2. Методы проведения опроса

Методы опроса делятся на очные (личные) и заочные; индивидуальные и групповые.

Личный опрос – это процедура, в процессе которой исследователь осуществляет непосредственный (очный) контакт с экспертом. Недостатком очного опроса являются большие затраты труда и времени. Иногда в ходе очного опроса могут возникать нежелательные искажения информации вследствие психологического воздействия исследователя на эксперта, что вызывает недовольство со стороны последнего. Заочный опрос – пересылка анкеты эксперту по почте – характеризуется простотой и дешевизной. Однако при этом он обладает низкой надежностью из-за того, что некоторые вопросы эксперт может неправильно истолковать, а на некоторые вообще не дать ответа.

В общем случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, что обусловило широкую популярность групповых методов опроса. Необходимо отметить, что групповые методы неоднородны по характеру и получаемому результату. Так, одни нацелены на получение единого обобщенного мнения, формируемого в результате обсуждения группой экспертов (методы суда и комиссии); другие предполагают сбор индивидуальных мнений экспертов группы, обобщение и статистическая обработка которых – дело исследователя (модификации метода Дельфы); третьи вообще могут быть не связаны с какой-либо конкретной целью (методы мозгового штурма). Рассмотрим групповые методы более подробно.

Метод комиссии. Состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате тайного или открытого голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущество метода комиссии состоит в росте информированности экспертов, поскольку при обсуждении эксперты приводят обоснования своих оценок, под воздействием которых некоторые участники комиссии могут изменить первоначальную точку зрения. К числу недостатков относится отсутствие анонимности. Оно может приводить к достаточно силь-

74

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

ным проявлениям конформизма со стороны экспертов, присоединяющих свои мнения к мнению более компетентных и авторитетных экспертов даже при наличии противоположной собственной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов, в которой часто верх берет не обоснованность, а количество приводимых доводов «за» и «против». Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии претерпело изменения.

Метод суда. Экспертиза по методу суда использует аналогии с судебным процессом. Часть экспертов объявляется сторонниками рассматриваемого решения и выступает в качестве защиты, приводя доводы в его пользу. Часть экспертов объявляется его противниками и пытается выявить отрицательные стороны. Часть экспертов регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы по методу суда «функции» экспертов могут меняться. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссии.

Метод мозговой атаки. Один из наиболее применяемых в 50-60-х гг. методов. Основная направленность мозговой атаки (штурма) – выявление новых идей. Для этой цели организаторы экспертизы должны создать атмосферу, наиболее благоприятствующую генерированию идей, атмосферу благожелательности, поддержки, освобождающую эксперта от излишней скованности. Любая высказываемая экспертами идея должна быть обсуждена и не может объявляться ложной и подвергаться критике даже при ее почти очевидной бесперспективности.

В мозговой атаке существенная роль принадлежит руководителю, знающему о конечной цели экспертизы и направляющему дискуссию в соответствующее русло. Однако, если руководитель стремится выделить лишь перспективные, с его точки зрения, идеи, результат экспертизы оказывается менее значительным.

Метод Дельфы. Разработан сотрудниками корпорации RAND О. Хелмером и Н. Делки и назван по имени древнегреческого города Дельфы, где при храме Апполона по преданиям существовал Дельфийский оракул, славившийся предсказаниями будущего.

Метод Дельфы предполагает полный отказ от коллективной дискуссии и открытого обсуждения, заменяя их тщательно разработан-

75

ГЛАВА 4

ной программой последовательных индивидуальных опросов. Это делается для уменьшения влияния таких психологических факторов как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. Метод Дельфы характеризуется двумя основными чертами:

анонимностью, ослабляющей влияние отдельных «доминирующих» экспертов;

регулируемой обратной связью, осуществляемой за счет проведения опроса в несколько последовательных туров, в ходе которых эксперты корректируют свои суждения с учетом предыдущих результатов.

Экспертиза по методу Дельфы проводится в 3-4 тура.

В первом туре экспертам сообщается цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. В ходе первого тура производится правильная ориентация экспертов, структурирование предметной области, конкретизация цели и выявление объектов экспертизы. Первая анкета может быть полностью бесструктурной и допускать любые ответы. Результаты первого тура закладываются в основу анкеты второго и всех последующих туров.

Дальнейшая работа по методу Дельфы основана на следующих предпосылках:

1) поставленные вопросы должны допускать возможность выражения ответа в виде числа (кода);

2) ответ на каждый из вопросов должен быть обоснован экспертом. Во втором туре экспертам направляют перечень объектов экспертизы, просят дать им оценки и привести соображения, по которым они считают свои оценки правильными. Информация, поступающая от экспертов обрабатывается, в результате чего для каждого объекта

экспертизы определяются эксперты, высказавшие «крайние» точки зрения, давшие самую

высокую и низкую оценку объекту; усредненное групповое мнение экспертов – медиана;

верхняя и нижняя квартили, т.е. значения, выше и ниже которых расположены 25 % оценок (расстояние между квартилями характеризует разброс экспертных оценок и согласованность мнений экспертов).

В третьем туре экспертам предъявляются усредненная оценка и

76

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

обоснования экспертов, высказавших «крайние» точки зрения. Обоснования предъявляются анонимно, без указания давших их экспертов. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь обрабатывается.

Четвертый тур ничем не отличается от третьего и проводится в случае необходимости.

Характерной особенностью метода является уменьшающийся от тура к туру разброс оценок экспертов, их возрастающая согласованность. Однако иногда наблюдается поляризация точек зрения, являющаяся следствием неоднозначной интерпретации экспертами исходной информации, вопросов и целей экспертизы. Сильное расхождение мнений может также объясняться и принадлежностью экспертов к различным научным школам или концепциям. В этом случае выявление различных точек зрения – несомненно полезное качество дельфийской процедуры.

В настоящее время не существует окончательного мнения о необходимом числе туров – в некоторых случаях согласованная точка зрения может быть получена уже после третьего тура. Отмечается также, что эксперты, не изменяющие своих оценок, дают ответ, оказывающийся ближе к истинному. Сегодня известны многочисленные модификации метода Дельфы, предполагающие

уточнение результатов за счет определения относительного уровня компетентности экспертов и выявления результирующей оценки лишь для экспертов с достаточно высоким уровнем компетентности; изменение механизма обратной связи, когда экспертам сообщается не медиана, а лишь квартили или децили, что несколько смягчает

оказываемое на них давление; последовательное расширение от тура к туру круга экспертов, уча-

ствующих в экспертизе, начиная с наиболее компетентных экспертов; замену точечных оценок экспертов на интервальные («распреде-

лительные») оценки; частичное ограничение анонимности ответов, предполагающее

тайные опросы, после которых следуют открытые устные дискуссии с доводами в пользу изменения групповых оценок.

Наиболее характерными недостатками метода Дельфы являются значительное время, требуемое на повторение большого числа

77

ГЛАВА 4

итераций экспертизы; необходимость неоднократного пересмотра экспертом своих от-

ветов, вызывающая у него отрицательную реакцию. Использование групповых методов ставит перед исследователем

вопрос о численности группы. Очевидно, что привлечение большого числа экспертов позволяет расширить спектр мнений; при этом возможно выявление новых существенных факторов, не учтенных в модели. В то же время в большой группе уменьшается роль оригинальных суждений. И наоборот, в малочисленной группе оценки каждого эксперта оказывают слишком большое влияние на общий результат. Далее в гл. 5 будут подробно обсуждаться проблемы численности, кластеризации и анализа представительности оценок.

Другой вопрос – должна ли оплачиваться работа эксперта? Ответ на этот вопрос далеко не однозначен. Специалист может исполнять функции эксперта в свое свободное время либо это будет частью его служебных обязанностей. Его отношение к работе может быть резко негативным или, наоборот, крайне заинтересованным. Вообще, заинтересованность эксперта в совместной работе с исследователем – фактор многогранный. Иногда эксперт соглашается работать просто «из любви к искусству». Не последнюю роль может играть «научность» работы, перспектива получения и опубликования новых научных результатов. Побудительным мотивом может стать чувство долга, желание эксперта лично участвовать в решении стоящей проблемы, осознание социальной или научно-технической важности этой проблемы.

В каждом из этих случаев оплата труда эксперта – вопрос крайне сложный и щепетильный. В работе [15] перечислены следующие основные формы оплаты интеллектуального труда эксперта-консультанта.

Оплата за единицу времени – наиболее часто используемый подход. Расценки в этом случае обычно дифференцируются по уровням или категориям экспертов, при этом отношение между оплатой услуг высококвалифицированных экспертов и рядовых консультантов может достигать 4:1. Иногда повременная оплата поощряет эксперта тратить на работу больше времени, чем это необходимо, однако этого можно избежать, если заранее оговорить длительность выполнения.

Твердая плата. В этом случае платится определенная сумма за завершение точно определенной работы. Однако в действительности работа может занять больше или меньше времени, чем планировалось

78

ПРОВЕДЕНИЕ ЭКСПЕРТНОГО ОПРОСА

при установлении расценок. Для устранения таких ситуаций могут использоваться альтернативные варианты:

твердая сумма устанавливается как верхний предел, внутри которого оплата – повременная;

предусматривается порядок оплаты в случае непредвиденных условий.

Оплата в зависимости от результата. Работа оплачивается только тогда, когда получены определенные результаты, от качества которых зависит размер оплаты. Такой подход – один из наиболее противоречивых по этическим соображениям.

Оплата за специальную работу, поощряющая проявление экспертом разумной творческой инициативы и выполнение дополнительной работы, не предусмотренной анкетой.

Работа с экспертом связана также с рядом этических и психологических моментов. В докладе (неопубликованном) З.И. Шаргатовой и Л.Ю. Исмаиловой «Методы выявления знаний эксперта» приводятся следующие рекомендации:

необходимо пробудить заинтересованность эксперта в совместной работе, а именно,

а) попытайтесь найти практическую выгоду, которую эксперт может получить от передачи своих знаний;

б) не забудьте указать эксперту на его уникальность; в) постоянно подчеркивайте огромную ценность для общества

знаний и опыта эксперта; умейте внимательно слушать эксперта, задавайте вопросы, воо-

душевляйте его на разговор, проявляя искреннюю заинтересованность в его работе;

говорите с экспертом о том, что интересно ему самому, а не о том, чего хотите вы; обсуждая спорные вопросы, попытайтесь посмотреть на них с точки зрения эксперта;

попытайтесь понять, что говорит эксперт, научитесь быстро и тщательно записывать буквально каждое слово разговора;

объясните эксперту, как вы будете представлять его знания и каким образом они будут использованы в дальнейшем;

не забудьте выразить искреннюю признательность эксперту за его нелегкий труд.

79

ГЛАВА 4

Наиболее важным этическим моментом работы с экспертом является сохранение конфиденциальности общения, за исключением тех случаев, когда эксперт сам становится инициатором разглашения сведений о себе. Причинами нежелания эксперта афишировать свою деятельность могут быть

конфронтация мнения эксперта с мнением других, включая руководство и наиболее авторитетных специалистов (иногда, правда, эта причина играет диаметрально противоположную роль);

опасения допустить ошибки в процессе экспертизы и оказаться в неудобном, по его мнению, положении;

сообщение информации, разглашение которой не одобрит руководство и коллеги;

личная скромность.

В целях сохранения конфиденциальности оригиналы анкет, на которых зафиксированы идентификация эксперта и данные о нем, должны храниться в условиях ограниченного доступа. Для идентификации экспертов в процессе обработки оценок могут использоваться специальные шифры, а имена упоминаются лишь в специально оговоренных случаях.

Необходимо также заранее оговорить право интеллектуальной собственности на результаты экспертного анализа – ведь экспертные оценки – это знания (собственность) экспертов.

4.3. Качество оценок

Анализ качества оценок служит связующим звеном между подготовительной фазой экспертого анализа и фазой обработки и осмысления результатов экспертизы. Целью анализа качества является получение первичного представления о том, насколько полученные от экспертов оценки соответствуют предъявляемым требованиям и пригодны ли они для дальнейшей обработки. Если оценки неполны, противоречивы или отражают явное непонимание экспертом своих задач, то инициируется повторное заполнение некоторых анкет. Результатом анализа качества также может быть смена экспертов или формирование весовых коэфициентов, определяющих долю их участия в окончательных обобщенных цифрах.

80