Пожарная тактика / Terebnyev - Protivipozharnaya zashchita i tusheniye. Kniga 3 2005

позволяет организаторам эксперимента целенаправленно управлять процессом сбора экспертных данных.

Ванкетах следует предусмотреть стандартный перечень вопросов или событий, на которые эксперты должны дать свои заключения. Вопросы в анкетах необходимо составлять таким образом, чтобы, наряду с качественной характеристикой, можно было дать количественную характеристику ответам экспертов. Поскольку опрос экспертов может проводиться в несколько туров, то анкеты должны предусматривать возможность уточнения вопросов и ответов, т.е. используется серия анкет, где в каждой последующей анкете содержатся информация и мнения, полученные из предыдущей анкеты.

Одно из основных требований, предъявляемое к составлению анкеты, заключается в установлении общности языка, терминологии, общих исходных понятий. Возникает трудность в четкой формулировке вопросников, т.е. стремление к максимальной точности приводит к усложнению фразеологии, вызывающей отрицательную реакцию у отвечающих на анкету. Здесь необходимо найти оптимум между четкостью и лаконичностью вопроса, чтобы все участники эксперимента одинаково интерпретировали поставленные перед ними вопросы. В связи с этим процессу анкетирования должная предшествовать постановочная часть, где кратко излагаются цель эксперимента, методика опроса, основные определения для достижения общности понятий и некоторые возможные способы ответов на поставленные вопросы. Постановка задачи на эксперимент или его часть доводится до эксперта заранее, чтобы каждый из участников эксперимента мог подготовиться к его проведению.

Чтобы экспертные заключения обеспечивали объективность информации, при составлении анкет необходимо предусмотреть включение ряда показателей компетентности экспертов в отношении каждой из произведенной ими оценок.

Взависимости от цели тура и содержания поставленных в анкете вопросов, ответы экспертов могут строиться исходя из следующих методов:

−логический метод - эксперт на основе логических рассуждений, синтезируя имеющиеся в его распоряжении материалы, определяет ответ на поставленный вопрос;

−качественный метод - эксперт, выделяя наиболее важные признаки и исследуя уже существующую их градуировку, строит обобщенный ответ на основе нескольких признаков;

−комплексный метод является синтезом двух предыдущих методов и заключается в том, что, помимо качественной, одновременно производится и логическая градация.

Для уменьшения общего числа возможных форм экспертного вопроса

производится уменьшение количества принципов до двух, что позволяет свести общее число форм опроса до разумного предела, практически достаточного для большинства случаев:

1. разовый индивидуальный опрос (анкетирование или интервью);

210

2.однократный коллективный опрос (совещание, мозговой штурм);

3.индивидуальный опрос в несколько туров (дельфийская техника);

4.коллективный опрос в несколько туров (дискуссия, совещания, многоступенчатый опрос).

Так как в дальнейшем в этой работе, будет использован разовый индивидуальный опрос как одна из форм экспертного опроса, то при рассмотрении общего числа форм опроса остановимся на нем.

Разовый индивидуальный опрос. Прилагательное «разовый» означает в данном случае однократность процедуры опроса, а не единичность респондента. Разовый опрос выступает в двух основных формах — разовый устный опрос (интервью) и разовый анкетный опрос.

Подробно разовый устный опрос в данной работе рассматриваться не будет, т.к. эта форма экспертного опроса при решении постановленных задач оценки эффективности управления силами и средствами применяться не будет. В данной работе применяется разовый анкетный опрос, который и будет рассмотрен.

Одноразовый анкетный опрос обычно применяется для таких групп экспертов, когда необходимо исследовать и конкретизировать результаты. По способу общения исследователя с респондентом анкетирование можно подразделить на раздаточное, прессовое и почтовое. Каждый из этих видов имеет свои преимущества и недостатки и может применять при анкетировании экспертов. Важное соотношение открытых и закрытых вопросов при этом имеет особое значение.

Обычно считается, что чем выше уровень образования респондента, его квалификация и опыт, тем чаще исследователь может задавать открытые вопросы. В этом плане при опросе экспертов открытые вопросы раскрывают большой творческий потенциал экспертов, способствуют высказыванию оригинальных мнений, уменьшают влияние господствующей точки зрения по определенному вопросу.

Вместе с тем следует отметить, что открытые и закрытые вопросы в анкете неизбежны, в частности, вопросы о согласии или несогласии эксперта с той или иной точки зрения, существующей в науке. Предоставление экспертом ряда альтернативных ответов может иметь и полузакрытый характер, когда эксперту предлагается дополнить предложенный список ответов своим ответом, если он не согласен ни с одним из предложенных ответов. Поэтому соотношение открытых и закрытых вопросов в экспертном опросе может широко варьироваться в зависимости от целей и конкретных условий его проведения.

Разовый экспертный опрос происходит при отсутствии социальнопсихологического и информационного контакта между экспертами, т.е. в условиях прямого или опосредованного воздействия на них только со стороны исследования. Вопрос о согласовании мнений экспертов обычно не возникает, и общее мнение возникает только в процессе обработки данных опроса.

211

7.3.Процедуры экспертной деятельности

Впроцессе экспертизы ее участники используют в рамках единого общего мнения ряд примеров, методик и процедур (техник) содержательного

иформального характера. В ряду понятий, характеризующих способы достижения исследовательской цели, понятие «метод» обладает наибольшей степенью общности. Метод формулирует систему правил осуществления теоретических или практических действий для получения определенных результатов, сформированных в виде целевых функций. Методы служат средством получения новых знаний, они содержат как общее, так и специфические элементы и обладают различной силой и сферой измерения.

Под исследовательской процедурой обычно понимают определенную последовательность познавательных и организационных мероприятий или действий при применении избранного метода к какому-либо объекту исследования. Процедуры - это модифицированные формы метода, соответствующие специфике объекта исследования. Их используют для эффективного изменения соответствующего метода и обеспечения логического, экономного и рационального исследования.

Совокупность применяемых к объекту методов и процедур в их инструментальной форме образуют методику. Методика исследования, которое будет приведено ниже, есть способ технологического использования совокупности методов, который необходим для процедурного обеспечения программ и задач исследования, оптимизации процессов получения исследовательской информации, выяснение условий практического использования научных результатов.

Соотношение между методами, методиками и процедурами не является однозначным и неизменным, границы между этими понятиями подвижны и зависят от целого ряда факторов исследования (в первую очередь от специфики объекта и цели исследования). Свою специфику приобретает в конкретных видах (и на каждом его этапе) применение таких общенаучных методов, как сравнение, абстрагирование, дедукция и таких общенаучных процедур, как упорядочивание, систематизация, типологизация, классификация, группировка, оценивание, измерение предпочтение. Эти обстоятельства следует иметь в виду, исследуя процедуры экспертного опроса.

Методом, общим для всех видов экспертной деятельности, является квантификация - способ количественного проявления информации о степени проявления свойств изучаемых объектов путем выделения существенных в рамках исследования признаков или индикаторов и их последующего оценивания или измерения. Эксперт выполняет функции прибора для измерения таких социальных параметров, которые иным путем не могут быть измерены в принципе, или поддаются измерению лишь путем сложных

идорогостоящих действий. В результате экспертного опроса обычно достигается такая переработка или представление социологической информации, которая обеспечивает ее последующую обработку

212

количественными методами. Многообразие приемов и способов, используемых в экспертизе для достижения этой цели, может быть сведено к следующим основным процедурам: классификация, планирование и оценивание.

Понятие «классификация» и «типологизация» употребляют в двух основных задачах:

1). Процесс отнесения объектов к различным классам (типам), точнее классифицирование (типологизирование). Классификация - упорядочивающее распределение объектов (или их элементов) по общим (объединяющим) и различающим признакам, особым случаем которого выступает их группировка по классам и подклассам, позволяющие установить градации объектов. В подсознании классификация осуществляется через построение систем соподчиненности понятий, каждая из которых получает строго фиксированное место по отношению высшим и низшим классификационным классам.

Классифицирующие упорядочивание объектов может проводится по их месту в пространстве (типологизация) или времени (хронологизация), в зависимости от степени проявления признака, его возрастания или убывания (ранжирования), измеренной практически либо вычисленной, исходя из теоретических представлений; по признаку, величину которого в принципе можно измерить, но практически измерение связано с осуществленными затратами времени и ресурсов; по признаку, для которого на современном уровне развития науки не существует объективной шкалы измерения. В последних двух случаях экспертного метода квантификация оказывается единственным способом получения информации, поддающейся обработки количественными методами. Как научная форма абстрагирования, классификация должна удовлетворять ряду содержательных и формальных признаков:

а) деление должно осуществляться по существенным признакам; б) деление должно быть исчерпывающим, каждый объект должен

быть, по крайней мере, в одном классе, объектов, не отнесенных к какомулибо классу, не должно оставаться;

в) деление должно быть обособляющим, чтобы каждый объект находился не более чем в одном классе;

г) ни один класс не должен быть пустым, т.е. в каждом классе должен находится минимум один объект.

Процедура классификации находит широкое применение в экспертной деятельности. Иногда выработка классификационной системы, ее представление в виде схемы или таблицы является целью экспертизы. Гораздо чаще эксперты принимают участие в разработке отдельных элементов типологизации, в первую очередь, в выделении существенных или классообразующих признаков исследуемых систем объектов. Признак, как наблюдаемое или измеряемое тем или иным образом свойство объекта, в конкретном социологическом исследовании, как правило, описывается несколькими переменными, выражаемыми через индикаторы и их

213

комбинации — индексы. Индексы и индикаторы защищают, представляют или проявляют другие характеристики объекта, не поддающиеся прямому наблюдению. При помощи различных приемов, в том числе экспертного оценивания, исследователь стремится выбрать индексы наиболее эффективные и детализирующие. Создание и проверка понятных и эмпирических индикаторов, группировка объектов и их признаков, оценка эффективности систем и упорядочивание объектов успешно осуществляется в результате экспертного опроса. Существенная роль экспертов присутствует также в оценке новизны идей, создании новых объектов интерпретации понятий. Эти классифицирующие действия экспертов составляют процедурно лишь первый шаг, обеспечивающий переход к шкалированию и, собственно, оцениванию и измерению.

Шкалирование - процедура исследования, совокупность действий, направленных на упорядочивание исследуемых объектов по степени проявления их определенных свойств (признаков), представляемых в измеряемом виде, с помощью количественных величин — оценок, значений

идругих данных. С помощью шкалирования удается измерить такие явления

ипроцессы, которые непосредственно не поддаются измерению. Измеряемые характеристики объектов могут обладать различной

размерностью. Признак может быть одномерным и допускать только увеличение или уменьшение. Большинство же признаков многомерны, т.е. допускают изменения по ряду параметров. В последнем случае важно определить оптимальное количество параметров измерения выбранного свойства объектов и слишком затруднит процедуру измерения. Для достижения этой цели обычно используется экспертное оценивание. Размерность шкал должна в принципе соответствовать размерности измеряемого объекта. Уменьшение размерности шкал возможно только при известных допущениях и условиях и обычно связано с потерей части информации.

Построение шкал начинается с качественного анализа измеряемых объектов для их классификации, затем производится исследование выделенных в качественном анализе свойств или признаков для выяснения, какие из них (или их набор) исчерпывающие (на уровне цели исследования) характеризует состояние исследуемых объектов. Следующим этапом является выбор эмпирических результатов индикаторов, определяются границы их применимости, выясняется, все ли измеряемые объекты обладают этими свойствами или признаками и могут на основе оценок занять определенное место в ранжируемой или непрерывной последовательности. Основные принципы определения пригодности шкалы - это ее действенность, объективность, стабильность и точность.

Признаки исследуемого объекта по форме их проявления можно разделить на качественные и количественные. Качественные признаки определяют принадлежность исследуемых объектов к классу, типу, роду. Количественные признаки характеризуют степень проявления свойства и

214

могут быть дискретными (выражаться только целыми числами) и непрерывными (принимать любое возможное значение).

По значению параметров квантификации измерительные шкалы подразделяются на номинальные, порядковые, интервальные, шкалы отношений и шкалы разностей. Номинальная шкала представляет собой перечень или набор признаков - результат интуитивного упорядочивания или другой классификации. Она допускает произвольные взаимно однозначные преобразования, сохраняющие отношение равенства — неравенства между числами. Порядковая шкала (шкала порядка) допускает произвольные монотонно возрастающие преобразования, т.е. фиксирует отношение равенства-неравенства и порядка. Интервальная шкала распространяет отношения равенства-неравенства и порядка на разности чисел и допускает положительные линейные преобразования. В шкале отношения допускается положительное преобразование подобия, т.е. отношения равенстванеравенства и порядка распространяются на отношения между числами. Шкале разностей соответствует преобразования сдвига. В шкалах интервалов, отношений и разностей вводится единица измерения, а в шкале отношений — и точка отчета, из-за чего шкала отношений называется также

иабсолютной шкалой.

Вэкспертной деятельности процедура шкалирования применяется при использовании экспертами готовых шкал, разработанных организаторами опроса для проведения экспертного опроса (эксперты могут также оценивать степень применимости шкал в конкретном случае), а также как средств обработки шкал на основе экспертного оценивания. Суждения экспертов выступают при этом в качестве исходной информации, статистическая обработка которой позволяет провести количественную оценку признаков, не поддающихся прямому измерению.

Основной и чаще всего встречающейся процедурой экспертизы является оценивание - количественное выражение предпочтений при определении степени проявлений того или иного признака (группы признаков) исследуемого объекта. Процедура оценивания выступает в следующих основных формулах: ранжирование (балльные оценки, последовательные сравнения), парные сравнения, множественные сравнения.

Основой ранжирования является упорядочивание объектов в ряд предпочтений по степени проявления определенного признака. Присвоение каждому члену ряда ранга, фиксирующее место объектов в ряду, и есть ранжирование. Ранг обычно обозначается порядковыми числительными от 1 до m, где m — количество объектов. Нумерация в обратном порядке дает бальную оценку.

При разработке рангового упорядочивания, относительное положение признака определяется при помощи мнений экспертов (респондентов). В избранном масштабе эксперт отмечает точку, соответствующую месту оцениваемого объекта. Простота процедуры препятствует высказыванию слишком субъективного мнения и является причиной широкого применения ранжирования в качестве составной части многих приемов шкалирования.

215

Процесс рангового упорядочивания — не совсем точный способ выражения порядковых отношений, так как вопрос о величине интервалов между объектами остается открытым. Однако, будучи не совсем точной, процедура ранжирования имеет преимущество в общности подхода, так как относительно масштаба шкал она инвариантна, т.е. допускает любое растягивание или сжатие измерительной шкалы. В процессе дальнейшей обработки ранги выступают не как порядковые числительные, которые могут складываться, вычитаться и нормироваться, а принимают не только целочисленные значения.

При использовании балльных оценок наиболее предпочтительному объекту присваивается максимальная оценка А; а последующим объектам - оценки А-b, А-2b, A-nb, где n на единицу меньше числа объектов, a b - шаг шкалы оценок. Возможно использование части шкалы, а также неравномерных интервалов между объектами.

Применение процедуры последовательных сравнений также начинается с создания монотонно возрастающего (или уменьшающегося) ряда предпочтений. Самый важный объект получает оценку, равную максимальной оценке шкалы, остальные оценки являются монотонно уменьшающимися. Если первый объект с максимальной оценкой важнее всех остальных взятых вместе объектов, в их оценки вносятся коррективы без нарушения ряда предпочтений таким образом, чтобы сумма оценок всех объектов не превышала максимальную оценку. Этот принцип применим и в случае, когда оценка первого объекта равна или меньше суммы оценок последующих объектов.

7.4. Математические методы обработки высказываний экспертов

Одним из принципиальных вопросов, возникающих при использовании мнений экспертов, является вопрос о том, в какой степени сохраняется объективность исследования, если в него в качестве существенных факторов вводятся субъективные мнения тех или иных экспертов, даже если они являются специалистами в своей области.

Поскольку мнения экспертов по оцениваемому вопросу, как правило, расходятся, то для правильной интерпретации суждений группы экспертов необходимо их мнения каким-то образом систематизировать. Особое значение при этом придается методам обработки коллективных экспертных оценок. Обработка данных экспертных оценок производится в соответствии с целевым назначением эксперимента: прежде всего для выяснения соответствующих показателей обобщенного мнения экспертов о важности тех или иных факторов (параметров); степени согласованности мнений экспертов и выявления как отдельных групп экспертов, согласованность мнений внутри которых особенно высока, так и экспертов, имеющих оригинальные суждения, степени представительности группы экспертов, выдавших свои заключения.

216

Важное значение имеет определение способов работы экспертов по формализации их мнений, представляемых в анкетах. Так, например, мнения экспертов о степени важности каждого из факторов могут быть формализованы различными способами. На практике наибольшую применимость находит метод ранжирования, метод шкальных оценок и метод парных сравнений.

Каждый из перечисленных методов имеет свои преимущества и недостатки. Так, во многих случаях эксперты могут расходиться во мнениях относительно численных значений балльных оценок, хотя в принципе у них нет разногласий относительно упорядоченной последовательности убывания важности параметров. В этом случае метод ранжирования дает согласованный ответ на вопрос, какие из факторов следует стараться изменить в первую очередь в целях улучшения работы системы.

С другой стороны, мнения экспертов, работающих по методу ранжирования, могут совпадать относительно трех — пяти первых по важности факторов и расходиться относительно остальных. Если факторов много, то при этом резко ухудшается показатель согласованности мнений, хотя, может быть, факторы, важность которых вызывает разногласия, являются третьестепенными, что легко можно было бы установить, пользуясь методом шкальных оценок. Кроме того, при использовании метода шкальных оценок значительно облегчается математическая обработка результатов экспертных оценок и их интерпретация.

По-видимому, разумный оптимум состоит в одновременном использовании обоих методов. Метод парных сравнений удобно применять при выработке первоначальных рабочих гипотез о порядке ранжирования факторов. Применение же его в качестве основного рабочего инструмента затруднительно, одной стороны, из-за сложности математических алгоритмов обработки результатов в случае ярко выраженного отсутствия свойства транзитности, а с другой - по тем же причинам, что и при ранжировании.

К преимуществам метода шкальных оценок можно отнести и то обстоятельство, что он дает в явном (численном) виде значения оценок важности факторов. Это, в свою очередь, обеспечивает возможность распределить усилия по воздействию на факторы, по крайней мере, в первом приближении пропорционально этим оценкам.

При обработке результатов экспертных оценок следует также учесть степень компетентности. Компетентность эксперта может быть получена на основе учета степени влияния различных источников аргументации на выдаваемый им ответ, а также учета степени знакомства с обсуждаемой проблемой. Имея сравнительную характеристику компетентности экспертов, при обработке их мнений, можно ввести вклад каждого эксперта в суммарные показатели обобщенного мнения.

Статистическая обработка с учетом вкладов экспертов дает возможность наглядно оценить результаты, полученные при привлечении дополнительной информации, оценивающей хотя бы приблизительно

217

основную информацию. В качестве дополнительной, оценивающей информации используется степень влияния источников аргументации на мнения экспертов по каждому фактору. Подсчет производится для каждого фактора по всем экспертам, принявшим участие в их оценке.

7.5. Оценка эффективности управления силами и средствами до начала локализации пожара

Одним из наиболее важных этапов экспертизы, «самым первым» шагом в ее проведении является выбор группы экспертов. Задача здесь заключается, прежде всего, в решении вопроса: использовать экспертов из своей организации или приглашать со стороны.

Использовать «своих» экспертов целесообразно в том случае, если содержание экспертизы требует глубокого знания именно специфики данной организации. Если же успех экспертизы в большей степени зависит от компетентности в данной области знания, то в таких случаях предпочтительнее привлекать и специалистов, находящихся за пределами организации.

При использовании экспертов из своей организации процедура их выявления в определенной степени упрощается. В этом случае обычно руководствуются весьма общим соображением о том, что «список» специалистов должен состоять из компетентных работников, не являясь ни слишком большим, ни слишком малым. В экспертных группах большой численности может снизиться качество коллективной оценки в силу уменьшения веса «еретических» мнений отдельных специалистов, отличающихся от мнения большинства. Группа должна насчитывать, по возможности, такое число экспертов, чтобы обеспечить уверенность в том, что они могут дать заключение по всем вопросам, рассматриваемым в процессе экспертизы. То есть, требуется соответствие суммарной компетентности формируемой группы экспертов исследуемой области.

Как правило, в экспертную группу входят специалисты, занимающие ответственные административные, инженерные или практические должности, имеющие достаточно солидный стаж работы в данной организации, чтобы хорошо знать ее специфические особенности.

Независимо от метода, используемого для подбора группы экспертов, возникает вопрос об ее составе. Считается, что с однородным составом (по должностному, образовательному, возрастному, профессиональному составу) бывает меньше разногласий между экспертами, быстрее происходит процесс согласования группового решения. В разнообразных же группах эксперты приходят к согласованию мнений не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Можно сказать, что формирование экспертной группы является сложной задачей, которая решается в процессе организации и проведения экспертизы. И значительные усилия, принимаемые для подбора

218

качественного состава экспертной группы, всецело осуществляются выработанной в процессе экспертизы наиболее эффективных решений исследуемой проблемы.

Для выявления параметров, по которым наиболее целесообразно оценивать всех оперативных работников, принимающих в тушении пожаров, выбираем метод анкетирования.

В качестве экспертов были выбраны преподаватели кафедры пожарной тактики и службы Академии ГПС МЧС России в количестве 14 человек; руководители различных уровней ГПС МЧС России в количестве 24 человек и оперативные работники УГПС городов Москвы и Орехово-Зуево Московской области - 61 человек. По мнению организаторов экспертизы, эти специалисты удовлетворяют вышеперечисленным требованиям и могут справиться с поставленной перед ними задачей.

Экспертам представлялась анкета и с помощью метода шкальных оценок, предлагалось дать количественную оценку степени важности каждого из параметров. Параметры подобраны таким образом, чтобы они существенно характеризовали уровень теоретической и практической подготовки руководителей пожарных подразделений, которые на реальном пожаре будут исполнять различные оперативные должности.

Принята минимальная важность фактора - 0 баллов, максимальная – 10 баллов. Каждый эксперт выставлял по каждому оцениваемому параметру определенный балл. Затем определялась средняя арифметическая сумма баллов для каждого параметра по формуле:

		1	mi
	Xi =		∑X ji	(7.3)
		mi
			j=1

Среднеквадратичное отклонение определяется по формуле:

		∑x2 −		(∑x)2
σm−1	=			m	(7.4)
		m
			−1

где:

х - значимость параметра в баллах;

m - число экспертов, оценивающих важность фактора.

Средняя арифметическая сумма и используется затем в качестве балльной оценки.

Применять средние арифметические бальные оценки можно лишь тогда, когда коэффициент вариации не превышает 25%, который рассчитывается по формуле:

V =	σx 100%	(7.5)
	x

Такие вычисления и проверку согласованности проверяем для всех оцениваемых качеств.

1. Организаторские способности.

-преподаватели:

x= 8,33; σm = 2,1

219