6. Эмпирическое обоснование методики опроса

В предшествующих разделах были изложены разнообразные тре­бования к методике опроса, без соблюдения которых не может быть обеспечена надежность социологической информации. Однако в каж­дом исследовании эти общие методические принципы реализуются в различных конкретных проявлениях. Разрабатывая вопросник (анкету или план интервью), автор обычно интуитивно учитывает весь сложный комплекс методических требований. Завершая состав­ление анкеты, исследователь в зависимости от уровня своего опыта и знаний более или менее уверен, что вопросы и общая конструк­ция его методического инструмента обоснованы относительно иссле­довательских задач и учитывают социально-психологические осо­бенности совокупности людей, которых предстоит опрашивать. Эта уверенность может базироваться на знании специальной методи­ческой литературы, на анализе и учете методического опыта ана­логичных исследований, на предварительных консультациях с экс­пертами и на немногочисленных (до десятка) предварительных опросах знакомых и незнакомых людей.

Однако вся эта подготовительная работа не освобождает социо­лога от специального этапа методической работы — пробного (пило­тажного) исследования, имеющего целью эмпирическую апробацию подготовленного инструментария.

В отличие от основного содержательного исследования пилотаж имеет свои задачи — проверить качество методического инструмен­тария, выяснить соответствие этого инструментария нормативным требованиям, предъявляемым к методике той конкретной разновид­ности опроса, которая используется исследователем.

Определению задач пробного исследования предшествует специальный этап методической работы — логический анализ подготов­ленного вопросника. На этом этапе автор опросника (желательно совместно с экспертом-методистом) выполняет несколько разновидностей критического анализа.

Анализ вопросов анкеты. Прежде всего проверяется логическая обоснованность (релевантность) формулировки каждого вопроса по отношению к содержанию искомой информации, которая должна быть получена с помощью этого вопроса. Исходной точкой такого анализа должен быть список единиц искомой информации с ука­занием номеров вопросов, которые обеспечивают ее получение, конт­роль и перепроверку качества.

Такой анализ гарантирует исследователю, во-первых, полноту я достаточность эмпирического описания изучаемых процессов и явлений и предохраняет от весьма возможной ситуации, когда, приступая к анализу результатов, исследователь обнаруживает, что по одним параметрам получены избыточные данные, а по другим —минимальные, либо они вообще не были предусмотрены.

Такой анализ — первая подготовка к этапу обработки и интер­претации данных, обеспечивающему завершающий этап исследова­ния — возвращение от эмпирического описания предмета исследо­вания к концептуальным теоретическим обобщениям¹⁹⁹.

Во-вторых, па этом этапе проверяется соответствие формулиро­вок вопросов логическим требованиям построения вопроса как от­носительно самостоятельной измерительной процедуры. Контролируя соблюдение этих условий, исследователь должен по поводу, каждого вопроса анкеты выяснить для себя: а) спрашиваю ли я именно о том, что мне необходимо? Не произошло ли при конструи­ровании вопроса замены показателей (см. пример в разделе Ре­левантность); б) достаточно ли однозначно определена в форму­лировке вопроса информация, которая ожидается от респондента, т. е. нет ли терминов или выражений, допускающих различное понимание их смысла различными группами респондентов; в) нет ли в формулировке вопроса задач, не обеспеченных техникой заполнения (шкалами, перечнем вариантов ответов, таблицами для регистрации ответов, указаниями о числе возможных вариантов ответов); г) нет ли в формулировках шкал смещений к положительному или отрицательному ответу; д) нет ли в формулировках альтернативных вопросов совмещения не исключающих друг друга оснований; е) нет ли внушающих формулировок вопросов.

Результатом такого анализа будет разделение вопросов анкеты или плана интервью на две группы. Первая — вопросы, содержащие очевидные нарушения требований к логике их построения по кри­терию обоснованности. Эти вопросы либо убираются из анкеты, либо их формулировки соответствующим образом корректируются.

Вторая группа — вопросы, не содержащие ошибок обоснованно­сти. Соотношение численности этих групп вопросов в анкете может служить одним из показателей методической квалификации автора анкеты или плана интервью.

Кроме того, существует специальная схема анализа, по которой устанавливается соответствие формулировок вопросов системе ка­тегорий опрашиваемых. Качество каждого вопроса подготовленной анкеты должно быть перед планированием пробного исследо­вания оценено автором по следующим критериям²⁰⁰.

1. Выдержаны ли требования к языку опрашиваемого, не полу­чилось ли так, что для части респондентов язык слишком труден, а для другой, наоборот, примитивен?

2. Все ли вопросы и варианты ответов понятны? Нет ли в фор­мулировке вопросов сложных терминов?

3. Не слишком ли абстрактны вопросы и не слишком ли они конкретны?

4. Понятны ли респонденту единицы измерения, имеющиеся в анкете?

5. Компетентны ли опрашиваемые для ответов на вопросы, не следует ли включить фильтры на компетентность?

6. Нет ли опасности утомить опрашиваемого, как снизить мо­нотонность вопросов?

7. Не предъявляют ли вопросы непосильных требований к памя­ти респондента?

8. Нет ли опасности получения стереотипных ответов?

9. Не слишком ли многочисленны варианты ответов на вопрос, нет ли необходимости расчленить их на тематические блоки?

10. Не вызовет ли вопрос отрицательные эмоции у опрашиваемого?

11. Не задевает ли вопрос самолюбие респондента или интимные стороны его жизни, самосознания?

Предварительный логический анализ каждого вопроса анкеты по названным критериям дает социологу возможность выявить в анкете вопросы, имеющие замечания по каким-либо из перечислен­ных критериев. Оценка вопросов по каждому из названных кри­териев может производиться на основании методического опыта предшествующих исследований.

К сожалению, сложившиеся традиции использования результа­тов ранее проведенных исследований связаны по преимуществу е содержательными, но не с методическими целями. А между тем каждое проведенное исследование может быть рассмотрено и как апробация методов сбора данных на статистически значимых совокупностях, причем результаты этой апробации иногда и состав­ляют главную его исследовательскую ценность.

В ряде случаев результаты вторичного анализа позволяют уточ­нить или доказать пригодность формулировки вопроса без специаль­ной эмпирической проверки, но далеко не всегда это бывает воз­можно.

Эмпирическая проверка вопросника. Для каждого вопроса, ко­торый вызывает предположения о возможных несоответствиях ка­ким-либо критериям из предложенной схемы анализа, должна быть разработана процедура эмпирической проверки в пробном иссле­довании.

Возможны несколько вариантов такой проверки.

Интервью об интервью. Данные о том, как респонденты понима­ют смысл отдельных заданий, содержащихся в вопросе, о том, как они интерпретируют значения отдельных слов, терминов, выраже­ний, могут быть получены с помощью дополнительных вопросов, которые интервьюер задает респонденту, только получив ответ на вопрос анкеты. Например: респондент назвал некоторую сумму в ответ на вопрос о том, сколько примерно нужно денег для того, чтобы содержать семью из четырех человек — родители и двое де­тей школьного возраста. После этого интервьюер задает дополни­тельный уточняющий вопрос о том, какие расходы имел, в виду респондент, учитывал ли он при этом квартплату, расходы па одежду, питание или что-либо еще? Оказывается, что некоторые из респондентов понимают выражение содержать семью, как прокормить семью, и после уточняющего вопроса называют сум­му вдвое большую. Если подобные случаи встречаются часто, не­обходимо уточнить содержание данного термина, раскрыв его в. формулировке вопроса.

Вопросы подобного рода, выясняющие систему соотнесения опрашиваемых, продумываются заранее при составлении программы пробного исследования и включаются в текст пилотажной анкеты вслед за вопросами, понимание которых они должны уточнить.

Таким образом, структура пилотажного варианта вопросника как бы удваивается: кроме содержательных вопросов, она включает своеобразное интервью об интервью, цель которого — сбор мето­дической информации.

Интервью об интервью можно оформлять в виде отдельного документа, в который включены только те вопросы, о которых нужен дополнительный разговор с респондентами.

Интервью об интервью должно включать такие методические вопросы, как время начала беседы (в начале вопросника) и вре­мя окончания беседы (в конце вопросника), вопросы об утомляе­мости респондента, о том, приходилось ли респонденту раньше участвовать в опросах, о согласии участвовать в подобных опросах в дальнейшем, и традиционный вопрос о пожеланиях и критических замечаниях по поводу содержания анкеты и организации опроса.

Методический эксперимент. Программа пробного исследования может, включать специальные методические процедуры, имеющие щелью выяснение структуры представлений, языка, опрашиваемых, их аналитических возможностей²⁰¹. Например, возможно применение специальных тестов на проверку понимания отдельных слов, тер­минов, выражений, которые содержатся в формулировках вопросов. Например, в пробном исследовании, где испытывалась методика опроса, предназначенная для всесоюзного исследования аудитории газеты Правда²⁰², респондентам предлагался тест на понимание ряда слов, содержащихся в плане интервью .для читателя, куда включались такие понятия и словосочетания, как оперативность информации, рубрика в газете, передовая статья, полнота информации, статьи по экономике и народному хозяйству и др.

По поводу вопросов, формулировки которых в предварительном анализе были оценены как ненадежные, может быть спланирован специальный методический эксперимент. Вопрос формулируется и двух вариантах; для каждого варианта разрабатываются методиче­ские гипотезы об их пригодности для получения искомой информа­ции; определяются те эмпирические факты (поведение или ответы респондентов), по которым Можно будет судить о том, какие гипо­тезы подтвердились. В пробном исследовании испытываются оба ва­рианта, полученные данные анализируются и служат основанием для выбора наиболее работоспособного варианта вопроса.

Наблюдение. Большая часть пробных исследований основана именно на этом методе, в частности на неструктурированном на­блюдении. Интервьюер в процессе опроса накапливает впечатления о том, как относятся респонденты к теме опроса, нет ли проявлений непонимания вопросов, какова компетентность опрашиваемых по поводу отдельных вопросов, нет ли признаков утомляемости и т. п.

Обычно впечатления интервьюеров во время пилотажного ис­следования обсуждаются на методических совещаниях по свежим следам: на следующий день после опроса проводится совещание с обменом впечатлениями и замечаниями, их обсуждение с под­робным протоколом. После окончания пилотажа все записи ана­лизируются и вопросник дорабатывается.

Результаты неструктурированного наблюдения можно систематизировать с помощью специальной анкеты интервьюера, которую интервьюер может заполнять в конце пилотажа, обобщая впе­чатления от всех проведенных им бесед с респондентами.

Возможен другой вариант, когда единицей наблюдения стано­вится не анкета в целом, а каждая отдельная ситуация опроса. Тогда анкета интервьюера заполняется на каждое проведенное интервью, а анализ данных, содержащихся в анкетах, позволяет выяснить особенности восприятия и понимания вопросов различ­ными возрастными, образовательными и другими социально-демографическими группами респондентов.

Разделение функций наблюдателя и интервьюера. Применение метода наблюдения в пробном исследовании будет более эффектив­ным, если проведение опроса и наблюдение за ситуацией взаимодействия его участников поручить разным исполнителям: интервью­еру и наблюдателю.

Интервьюер ведет беседу по предметной части опросника, за­дает дополнительные вопросы, связанные с анализом методиче­ского качества опросного инструментария, фиксирует полученные ответы.

Наблюдатель следит за ходом интервью и фиксирует все до­ступные наблюдению события, явления, признаки, составляющие социально-психологический контекст беседы. При этом появляется возможность .использовать структурированное наблюдение по зара­нее разработанному плану. Разработка плана структурированного наблюдения ведется в соответствии с общепринятыми требования­ми к этой методической процедуре.

Например, при апробации плана интервью, разработанного для уже упоминавшегося исследования аудитории газеты Правда применялся метод неструктурированного наблюдения с разделением функций интервьюера и наблюдателя. Во время инструктажа интервьюеров и наблюдателей определялись общие направления на­блюдений, связанные с методическими характеристиками ситуации опроса. Учитывались признаки: а) ситуационного характера опроса — продолжительность интервью, утомляемость респондента, влия­ние третьих лиц, отношение к опросу; б) психологические особен­ности восприятия вопросов анкеты: понимание смысла вопросов понимание отдельных терминов, употребляемых в анкете, способ­ность к анализу собственного читательского поведения, способность к анализу деятельности газеты как основа формирования чита­тельских оценок и мнений о газете, выяснялась также взаимная информированность членов семьи об отношении к газете и чита­тельских интересах друг друга.

Для получения искомой информации использовались формали­зованные вопросы методического характера, которые задавались респондентам в процессе интервью дополнительно к. основным во­просам анкеты. Каждое интервью проводилось двумя социологами (мужчиной и женщиной) — интервьюер и наблюдатель, которые по­очередно менялись ролями. Наблюдатель записывал в Дневнике наблюдений все виды наблюдаемых реакций респондента, сопут­ствующие его ответам на отдельные вопросы анкеты (реплики, уточ­нения отступления от предмета интервью, недоуменные вопросы и разъяснения интервьюера, проявления поспешности, утомляемо­сти и т. д.).

Записи в дневниках наблюдателей при последующей обработке систематизировались: на каждый вопрос анкеты составлялась ме­тодическая характеристика в зависимости от зафиксированных на­блюдателями реакций респондентов.

Апробация структуры анкеты и методических инструкций по ее заполнению. Анализ и эмпирическая апробация отдельных вопро­сов анкеты не исчерпывают задач, связанных с пробным исследо­ванием. Анкета, как уже указывалось, не просто совокупность во­просов, а целостный инструмент, предназначенный для получения комплекса взаимосвязанных данных, образующих эмпирическое описание изучаемого объекта. Знакомясь с вопросами анкеты, респон­дент воспринимает их во взаимосвязи, формирует целостный образ темы опроса, причем в процессе опроса мотивация сотрудничества с интервьюером может меняться от положительно активной до фор­мально безразличной или негативной, ведущей к отказу. Функция создания и поддержания положительного отношения к опросу свя­зана со специальными методическими частями вопросника: планом (или примерным текстом) вводной беседы, контактными вопросами, переходами от одного блока вопросов к другому, с вопросами, пред­назначенными для снятия напряжения, отвлечения, и с другими приемами, объединяющими вопросы анкеты в целостную беседу.

Все виды реакций респондентов на эти специальные методиче­ские приемы фиксируются в пробном исследовании методом на­блюдения, выявляются с помощью специальных вопросов в интер­вью об интервью, а контролируются в Анкете интервьюера.

Важной задачей, входящей в апробацию структуры анкеты яв­ляется обнаружение возможного влияния предшествующих ответов на последующие. Предположения о таком влиянии формируются на этапе предварительного анализа логики построения блока во­просов. В пилотаже эти предположения проверяются путем приме­нения двух вариантов с разной последовательностью вопросов.

Указания по технике заполнения вопросника могут быть адре­сованы либо респондентам (если вопросник рассчитан на проведе­ние анкетирования), либо интервьюерам, если в основном опросе будет использоваться метод интервью. Независимо от варианта, планируемого для основного исследования, пилотаж всегда проводится методом интервью. Однако если проверяется пригодность ин­струкций, адресованных респондентам, то интервьюер предлагает опрашиваемому самостоятельно прочитать вопрос и указания по его заполнению по тексту анкеты и сообщить интервьюеру выбран­ный вариант ответа. При этом фиксируются все случаи обращения респондента за разъяснениями по поводу техники заполнения вопроса.

Если проверяется инструкция по технике заполнения, адресо­ванная интервьюеру, то вопросы, вызвавшие затруднения в технике заполнения, оставляются незаполненными, а формулировка ответа, вызвавшего затруднения при регистрации, записывается дословно. Анализ подобных ситуаций, зафиксированных в пилотаже, является основой для доработки инструкций интервьюеру.

Литература для дополнительного чтения

1. Бади Б. Ш., Малинкин А. Н. Уровни практического сознания и стиль жизни: проблема интерпретации ответов респондента. — Социол, исслед., 1982, №3, с. 137 — 145.

2. Волович В. И. Надежность информации в социологическом исследовании. Ки­ев: Наук. думка, 1974. 135 с.

3. Воронов Ю. Г. Методы сбора информации в социологическом исследовании. М.: Статистика, 1974. 158 с.

4. Гостковский 3. О повышении достоверности опроса в социологических исследованиях. — Социол. исслед., 1978, №4, с. 160 — 165.

5. Дадамян Г. Г., Дондурей Д. Б. Проблемы шкалирования эстетических оценок в социологических исследованиях. — Социол. исслед., 1974, №3, с. 194.

6. Димитров Д. Проблемы достоверности социологической информации. — Социол. исслед., 1979, №1, с. 186 — 194.

7. Докторов Б. 3., Фирсов Б. М. Методические вопросы формализации социологических анкет. — Социол. исслед., 1975, №3, с. 63 — 73.

8. Докторов Б. 3. О надежности измерения в социологическом исследовании. Л.: Наука, 1979. 128 с.

9. Докторов Б. 3. Повышение возврата анкет при почтовом опросе. — Социол. ис­след., 1981, №3, с. 127 — 133.

10. Журавлева И. В. Об использовании основных типов интервью в практике социологических исследований. — В кн.: Вопросы методики и техники социо­логических исследований. М.: ИСИ АН СССР, 1975, с. 92 — 103. Ротапринт.

11. Коган В. 8. Обеспечение достоверности информации на стадии подготовки анкет к обработке на ЭВМ. — Социол. исслед., 1977, №2, с. 134 — 140.

12. Лекции по методике конкретных социальных исследований/Под ред. Г. М. Анд­реевой. М.: Изд-во МГУ, 1972, с. 93 — 173.

13. Маслова О. М. К вопросу о проектировании социологических анкет. — Социол. исслед., 1981, №1, с. 158 — 165.

14. Михайлов С. Эмпирическое социологическое исследование. М.: Прогресс, 1975. 383 с.

15. Ноэль Э. Массовые опросы. М.: Прогресс, 1978. 379 с.

16. Паниотто В. И., Яковенко Ю. И. Некоторые способы совершенствования поч­тового опроса. — Социол. исслед., 1981, № 3, с. 134 — 138.

17. Погосян. Г. А. Интервьюер как источник экспертной информации. — Социол. исслед., 1981, №4, с. 157 — 164.

18. Процесс социального исследования. М.: Прогресс, 1975, разд. 1.4.4.

19. Пэнто Р., Гравитц М. Методы социальных наук. М.: Прогресс, 1972, с. 407— 467.

20. Таршис Е. Я., Черникова Н. Е. Организация работы полевой социологической лаборатории. — Социол. исслед., 1982, №3, с. 157 — 160.

21. Федоров И. В. Причины пропуска ответов при анкетном опросе. — Социол. исслед., 1982, № 2, с. 185-189.

22. Хмелько В. Е. Номинальная шкала личностных качеств: (Опыт построения базового тезауруса). — Социол. исслед., 1981, №2, с. 124 — 134.

23. Шиман Г. Прессер С. Открытый и закрытый вопрос. — Социол. исслед., 1982, №3 с. 145 — 156.

24. Ядов В. А. Социологическое исследование. М.: Наука, 1972. 239 с.

ГЛАВА ОДИННАДЦАТАЯ

СОЦИОМЕТРИЧЕСКИЕ МЕТОДЫ ИЗУЧЕНИЯ структуры МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЙ