Тема 3. Методология и методика социо­логических исследований

Метод экспертных оценок (экспертного опроса) – это метод получения социологической информации путем проведения опроса экспертов и применяется там, где требуется квалифицированное суждение об исследуемой проблеме. Эксперт – это специалист в определенной сфере знаний и деятельности. Можно выделить три основные функции метода экспертной оценки в социологическом исследовании: прогноз тенденций развития различных явлений и процессов, оценка степени достоверности полученной информации (например, методами опроса, наблюдения, анализа документов и т.п.), аттестация кадров работников по уровню их социально-профессиональной активности. Все это позволяет в значительной мере повысить обоснованность практических рекомендаций, используемых в управленческой деятельности.

При формировании группы экспертов на первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитываются также уровень, характер образования, опыт общественно-политической деятельности, возраст и др. Первый список экспертов может быть весьма широким, однако в последующем его целесообразно «сузить», так как не каждый человек способен выступить в роли эксперта.

Центральный среди всех критериев отбора экспертов – их компетентность. Для ее определения наиболее простая и удобная форма – самооценка экспертов. Это совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». При этом первой позиции приписывается числовое значение «1», второй – «0,5», третьей – «0». В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле:

(1)

где k₁ – числовое значение самооценки экспертом уровня своих теоретиче-

ских знаний,

k₂ – числовое значение самооценки практического опыта,

k₃ – числовое значение самооценки способности к прогнозу.

Коэффициент уровня компетентности может изменяться от 1 (полная компетентность) до 0 (полная некомпетентность). Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего (0,5) и выше (до 1). Получение первичных числовых значений самооценки (k₁, k₂, k₃) для расчета индекса компетентности экспертов происходит при помощи вопроса табличной формы. Например:

«Как Вы оцениваете уровень Вашей «приобщенности» к теоретическим и практическим проблемам построения правового государства?»

Критерии «приобщенности»	Высокий (ая)	Средний (ая)	Низкий (ая)
	1	0,5	0
Уровень теоретического знания проблемы (k1)	+
Практический опыт (k2)		+
Способность предвидеть логику событий (k3)		+

Исходя их числовых значений оценок, обозначенных крестиками в клетках таблицы, легко рассчитать коэффициент уровня компетентности эксперта по проблемам правового государства по вышеуказанной формуле.

Он будет равен 0,7. Полученное число свидетельствует о том, что уровень компетентности эксперта по исследуемому вопросу выше среднего.

Метод Дельфы - это итерационная процедура, позволяющая подвергнуть мнение эксперта критическому анализу со стороны всех остальных. Итеративность означает повторяющееся действие. Упрощенный вариант этого метода хорош тем, что отсутствует необходимость математических расчетов, снижается вероятность ошибок, связанных с обработкой числовых данных, снижается время на проведение исследования.

1) Руководитель индивидуально ставит задачу перед экспертами и получает их оценки.

2) Оценки экспертов располагаются в порядке возрастания.

3) На шкале оценок наносятся квантили Q₁; M=Q₂; Q₃ таким образом, чтобы число экспертов и оценок разделить на 4 равные доли. М – это медиана, то есть среднее значение числового ряда. Например, вопрос: «Через сколько лет, по-Вашему мнению, население России будет жить хорошо?» Эксперты (число которых должно быть нечетным) последовательно называют свои варианты ответов, которые фиксируются. Среди числовых значений 11, 15, 15, 17, 23, 25, 25, 28, 30, 50, 60, 74, 100, медианой (М или Q₂) будет число 28 (то есть, середина числового ряда), Q₁=17 (середина числового отрезка до медианы), Q₃=60 (середина числового отрезка после медианы).

4) Каждому члену группы индивидуально сообщаются следующие полученные данные: Q1, Q2, Q3. И предлагается пересмотреть свою оценку, причем если новая оценка меньше Q1 или больше Q3, то эксперту рекомендуется в письменном виде обосновать свое мнение, почему он взял именно такие значения.

5) Определяются результаты второго тура и новые значения Q₁, М, О₃ сообщаются всем экспертам. Как правило, после каждого раза дисперсия (разброс) оценок сокращается, обычно процедура повторяется 3-4 раза, после чего аргументы экспертов повторяются, а вариации оценок стабилизируются. В качестве группового мнения принимается медиана завершающего тура, т.е. (Q₂)₃=М₃. Точность метода Дельфы увеличивается с ростом числа членов группы и количества операций и сокращается с увеличением интервала времени между турами и ответами членов групп.

Преимущества метода в следующем: управляемая обратная связь, анонимность, возможность оценки, мотивация изменения мнения экспертов.

Недостаток метода - влияние мнения большинства на экспертные оценки в последующих за первым туром итерациях.

Априорное ранжирование – это расстановка приоритетов, основанная на экспертной оценке специалистов, компетентных в исследуемой области.

Преимущества априорного ранжирования: простота метода; небольшой объем работ; универсальность и оперативность.

Недостатки априорного ранжирования: определенная субъективность; вли-яние квалифицированных экспертов на конечную оценку.

Метод сводится к следующему.

1) Специалистом, проводящим экспертизу, на основании анализа литературных данных, обобщения имеющегося опыта составляется предварительный перечень факторов, требующий их оценки по степени важности, актуальности и перспективности для конкретного предприятия и условий функционирования.

2) Составляется анкета, в которой приводится в табличной форме перечень этих факторов, необходимые пояснения и инструкции по их заполнению, образцы заполнения анкет. Проверка компетенции экспертов может проводиться с помощью тестов, методом самооценки или оценкой эталонных факторов. При тестировании процент правильных ответов из области, связанный с предстоящей оценкой, служит мерой компетенции экспертов. Метод самооценки был рассмотрен выше. При оценке эталонных факторов экспертам предлагается проранжировать группу факторов или объектов, истинная значимость которых организаторам опроса известна, а экспертам неизвестна.

3) Проводится устный или письменный инструктаж группы экспертов.

4) Экспертами осуществляется индивидуальная оценка предложенных факторов, в процессе которой они располагаются в порядке убывания степени их влияния на результирующий признак или объект исследования, целевой функции. При этом фактор, имеющий наибольшее влияние, оценивается первым рангом. Фактору, имеющему меньшее значение, присваивается второй ранг и так далее.

5) Производится работа со специалистами и обработка результатов экспертного опроса, заключающаяся в следующем.

Результаты опроса сводятся по всем экспертам в таблицу априорного ранжирования, где определяется сумма рангов каждого фактора, отклонение суммы рангов от среднего значения. Вычисляется квадрат отклонения для определения коэффициента конкордации, характеризующего степень согласованности мнений экспертов (W):

(2)

(3)

где S- сумма квадратов отклонений;

m – число экспертов;

k – число факторов.

Коэффициент конкардации может изменяться от 0 до 1.

Если он существенно отличается от 0 (в расчетах принимаются значения более 0,5), то можно считать что между мнениями экспертов имеется определенное согласие.

Если значение коэффициента конкардации ниже определенного нами порогового значения в 0,5 единиц, то происходит уточнение поставленной задачи перед экспертами (в том числе корректировка формулировки поставленных вопросов, направлений, разъяснение их сути, корректировка механизма проведения экспертной оценки). Либо назначается другая группа специалистов, с обязательным выполнением всех процедур по определению компетенции вновь назначенных экспертов. Вся работа исследователя повторяется в полном объеме.

Рассмотрим всю процедуру априорного ранжирования дискретно (в качестве примера взяты результаты исследования Пангодинского НУТТиСТ):

Шаг I. Используя литературу, справочники, периодическую печать, мнения сведущих людей, свой опыт разрабатываем банк всевозможных направлений развития предприятия (фирмы, организации). Необходимо «снять любые ограничения» по количеству и качеству вариантов. Чем их больше, тем выше впоследствии качество отобранных направлений.

Каждому кандидату предлагается оценить степень владения знаниями по каждому варианту (направлению) по трехбальной шкале: 0 – не знаком; 1- мало знаком; 2- хорошо знаком. Кандидаты заполняют «бланк самооценки».

Шаг II. Обрабатываем бланки самооценки, заполняя «Сводный бланк экспертной группы». Осуществляем выбор специалистов в экспертную группу (тех, кто проставил балл «2» по интересующим нас направлениям). Количество экспертов целесообразно ограничить до 5-7 человек, а количество направлений в интервале 5-10. В этом случае вероятность согласованности мнений выше, а эффективность самой процедуры – оптимальная. Рекомендуется опросить 15-20 кандидатов.

В управлении Пангодинского гаража НУТТиСТ из общей группы (15 человек), в экспертную группу были отобраны 5 человек - специалисты предприятия: главный инженер; начальник гаража; начальник РММ; начальник ОМТС; работник бухгалтерии.

Шаг III. Отобранным специалистам ставится задача оценить (проранжировать) по степени важности предложенные автором направления совершенствования производства. Ранг проставляется по «восходящей линии», т.е. лучшему варианту ранг «1»; менее важному ранг «2» и т.д. Самому неудачному варианту – «наибольший ранг» (соответствует количеству, предложенных для ранжирования, вариантов. Например: самый неудачный из 9 ранжируемых вариантов, имеет ранг – «9»). Работа проводится индивидуально (табл.3).

Необходимо помнить два важных условия: 1) каждому варианту необходимо присвоить свой ранг; 2) оценены должны быть все предложенные к ранжированию варианты.

Шаг IV. Полученные результаты опроса экспертов заносят в «сводный бланк экспертных оценок» (см. табл.) в колонки: «направления» и «эксперты».

Шаг V. Производим обработку исходных данных ранжирования:

а) суммируем показатели рангов в строке по каждому направлению и заносим в ячейку колонки «Сумма рангов»;

б) складываем все полученные значения столбца «Сумма рангов», вносим результат в графу «ИТОГО» ( );

в) рассчитываем среднее значение суммы рангов по формуле:

(4)

где - суммарное значение в столбце «Сумма рангов»;

k – количество ранжируемых направлений (факторов).

Сводный бланк экспертных оценок

НАПРАВЛЕНИЯ	ЭКСПЕРТЫ					Сумма рангов (С.р.)	D	Δ^2	Приоритет
	I	II	III	IV	V
1.
………………..	…	…	…	…	…	…	…	…	…
k.
ИТОГО						=		S=

г) находим отклонения суммы рангов от среднего значения по каждому направлению (D):

(5)

д) рассчитываем квадрат отклонений и сумму квадратов отклонений и заносим в графу «ИТОГО» S= ;

е) вычисляем коэффициент конкардации (W), указывающий на степень согласованности мнений экспертов. В том случае, если значение коэффициента удовлетворяет условиям – работа с экспертами прекращается.

Шаг VI. Приоритет направлений проставляется в зависимости от величины суммы рангов, набранных каждым вариантом. Наименьшей сумме – приоритет 1, и т.д. Наибольшей сумме – приоритет «х» (в сводном бланке допускаются как одинаковые значения приоритетов, так и последовательное расположение вариантов друг за другом в том случае, если разные направления получили равную сумму рангов).

Пример оформления сводного бланка экспертных оценок представлен ниже в таблице.