8.7. Предварительное тестирование анкеты (пилотаж)

В ходе предварительного тестирования анкет необходимо получить ответ на

несколько вопросов:

• Измеряет ли каждый вопрос именно то, что он должен был измерять по

замыслу?

• Все ли слова понятны респонденту?

• Все ли респонденты одинаково интерпретируют вопросы?

35

• Может ли каждый респондент найти в каждом закрытом вопросе

категорию ответа, отражающую его мнение?

• Производит ли анкета положительное впечатление, мотивирующее

людей ответить на нее?

• Правильно ли отвечают на поставленные вопросы? (Есть ли вопросы,

которые респонденты пропускают, или которые вызывают непонятные и

неинтерпретируемые ответы?)

• Не вызывает ли какой-либо аспект анкеты тенденциозное смещение в

ответах, возникающее по вине Исследователя?

Еще до проведения предварительного тестирования необходимо все усилия

направить на то, чтобы максимально приблизить анкету к окончательному

варианту, т.е. чтобы порядок вопросов, оформление обложки и структура

каждой страницы соответствовали рассмотренным в данной главе принципам.

Однако, прежде чем отпечатать анкеты типографским способом, делают

предварительный макет. Предварительный тираж анкеты раздается для

внимательного просмотра людям, принадлежащим к трем различным

категориям.

• Первую из этих категорий можно условно назвать коллегами, ее

составляют специалисты, имеющие примерно одинаковую подготовку,

понимающие цели и задачи исследования, включая тестируемые

гипотезы. Задача этой группы - оценить анкету по критериям

достижения целей исследования. Они должны понимать природу

исследования. Формулировка вопроса, которая представляется наиболее

подходящей в одном исследовании, может совершенно не подходить в

другом. Также простая просьба "просмотреть __________анкету” может, вероятно,

привести к поверхностному ее изучению, которое ограничится

рассмотрением канцелярских деталей и указаний респондентам.

Недостаток глубокой критики может усыпить бдительность

исследователя, дать ему необоснованную уверенность в том, что анкета

позволит реализовать цели исследования. Большинство опытных

исследователей, проведших большое число опросов, могут привести

примеры вопросов, которые они бы сформулировали по-иному, будь они

36

сами более настойчивы и внимательны на этапе тестирования анкеты.

Конечно, предварительное тестирование не сможет снять всех проблем,

но тщательное изучение анкет коллегами представляет один из лучших

способов минимизации их числа.

• Вторая категория экспертов, которая должна участвовать в проведении

предварительного тестирования анкет, включает потенциальных

“пользователей” результатов исследования. В их число могут входить

политики всех уровней, представители исполнительной власти,

администраторы агентств или профессионалы в других областях

деятельности. Основной интерес здесь - найти людей, хорошо

разбирающихся в теме исследования. Замечания, полученные от таких

людей, часто существенно отличаются от тех, что дают специалисты,

имеющие сходный с исследователем тип подготовки и занятости.

Например, в опросе, посвященном довузовской подготовке студентов,

целесообразно привлекать к тестированию анкеты людей, ответственных

за набор и подготовку абитуриентов (сотрудников и преподавателей

ФДП). Это может предотвратить включение вопросов, которые могли

бы выявить полную неосведомленность исследователей о тонкостях

довузовского образования и, таким образом, дискредитировать все

обследование в глазах знающих респондентов и потенциальных

получателей данных.

• Третья категория, к которой мы обращаемся при предварительном

тестировании анкеты, - люди, выбранные из той совокупности, в

которой будет проходить опрос. Именно этой группой обычно

ограничиваются социологи, проводя тестирование. Люди, отобранные

для этой части предварительного тестирования, представляют собой срез

потенциальных респондентов. Им предлагается заполнить анкету в

присутствии исследователя. Здесь есть два существенных момента. Один

- вербальная обратная связь, устно выраженные замечания: «Я не знаю,

что Вы здесь хотите выяснить», «Мне не подходит ни один вариант

ответа», “Обращение звучит очень навязчиво, из него совершенно

непонятно, зачем мне заполнять эту анкету” и т.п. Другой аспект - это

наблюдения, сделанные в процессе заполнения респондентом анкеты.

37

Невербальные реакции, т.е. промедление перед тем, как дать ответ,

исправления первоначальных ответов и пропуск вопросов, к которым

потом респондент возвращается - прямое свидетельство существования

проблем, которые вполне можно разрешить по итогам тестирования.

Часто наиболее ценной оказывается именно помощь респондентов, на

которых тестируется анкета, и которые часто даже не подозревают, сколь

важно то, что они делают. Основные ожидания исследователей на

данном этапе тестирования - не конкретные рекомендации респондентов

относительно того, как именно стоит улучшить анкету (хотя многие их

дают). Главное, что реакция респондентов, осознанная или спонтанная,

позволяет судить, в чем именно состоят недостатки анкеты. Эта

информация дает точку отсчета для внесения исправлений в анкету и

дальнейшего ее тестирования.

Возможный вариант проведения тестирования анкеты с потенциальными

респондентами - собрать их вместе в небольшие группы и, после того, как они

заполнят анкеты под бдительным оком исследователя, провести расширенный

обмен впечатлениями в ходе групповой, дискуссии с целью стимулировать

выявление респондентами проблем, которые иначе могут остаться

незамеченными. Такая процедура особенно полезна при выявлении вопросов,

которые допускают неоднозначную интерпретацию.

Наиболее важный аспект пилотажа состоит в том, чтобы респонденты,

отобранные для тестирования, представляли структурное разнообразие

генеральной совокупности. Это означает, что надо найти людей,

представляющих каждый крупный сегмент населения, например, людей с

высоким и низким доходом, «бюджетников» и коммерческих студентов,

студентов разных курсов и факультетов и т.п. В ряде исследований бывает

важно, чтобы были представлены люди с разным уровнем образования.

Желательно завершить процесс предварительного тестирования небольшим

опросом, в котором использовались бы все процедуры, которые будут

задействованы в реальном исследовании. Однако, финансовые и временные

ограничения, о которых мы говорили выше, часто препятствуют этому. Если

прочие этапы предварительного тестирования анкеты были выполнены

надлежащим образом, предварительный опрос, возможно, даст очень мало

дополнительной информации о недостатках анкеты. Тем не менее, оно может

38

оказаться исключительно полезным для прогнозирования доли ответивших и

для отработки организационных принципов исследования, что может очень

пригодиться при разработке стратегического плана исследования.

Хорошую анкету редко можно подготовить за один, два или даже три приема;

часто ее приходится переделывать 8, 10 или даже 12 раз прежде, чем отдавать в

тираж. Когда разработка анкеты подходит к концу, полезно вновь задуматься

об изначальных целях исследования с тем, чтобы быть уверенным, что в своем

усердии сделать анкету презентабельной и интересной для респондента,

исследователь не принес в жертву содержание. На этом этапе важно напомнить

себе, что анкета - лишь средство достижения определенных целей, но не цель

сама по себе.

При проведении сравнительных исследований, в том числе повторных и

панельных, а также в том случае, когда требуется сопоставимость результатов с

материалами официальной статистики, необходимо помнить, что лучше

повторить не вполне удачную формулировку, чем улучшить ее, потеряв тем

самым возможность сравнения. Некоторые социологи поддаются соблазну

улучшить формулировку вопросов, взятых из других исследований, хотя

претендуют на то, чтобы получить сопоставимые данные. Здесь не может быть

компромиссных вариантов. Если социолог хочет получить сравнимые

материалы при повторном исследовании, он должен не только воспроизводить

«хорошие» вопросы, но и слепо повторять все «ошибки» первоначального

исследования. Таким образом, необходимость сравнения результатов с уже

существующей информацией может иногда, в зависимости от целей

исследователя, заставить его пренебречь всеми сформулированными в этой

главе критериями качественных вопросов.

Литература

1. Батыгин Г.С. Лекции по методологии социологических исследований:

Учебник для вузов. М.: Аспект Пресс, 1995. С. 62-101 (Глава 3. Концепты и

измерения).

2. Горшков М., Шереги Ф. Прикладная социология: Учебное пособие для

вузов. М.: Центр социального прогнозирования, 2003. С. 82-103.

39

3. Замбржицкая А.К. Эмпирическая апробация вопросника в маркетинговом

исследовании // Социологические исследования. 1999. №11. С. 115-122.

URL: <http://www.ecsocman.edu.ru/socis/msg/244805.html>.

4. Методы сбора информации в социологических исследованиях. Отв.ред.

В.Г. Андреенков, О.М. Маслова. Книга 1,.М.,Наука, 1990

5. Мягков А.Ю. Использование экспертных оценок при диагностике

неискренних ответов респондентов // Социологический журнал. 2002. №3.

URL: <http://knowledge.isras.ru/sj/ sj/sj3-02myag.html>.

6. Мягков А.Ю. Опросные методы сбора данных: предпочтения респондентов //

Социологические исследования. 2000. №8. С. 98-109. URL:

<http://www.ecsocman.edu.ru/ socis/msg/198111.html>.

7. Назарова И.Б. Качество опроса: Факторы неответов // Социологические

исследования. 1999. №11. С. 108–114. URL: <http://www.ecsocman.edu.ru/

socis/msg/157331.html>.

8. Ноэль Э. Массовые опросы: введение в методику демоскопии / Пер. с нем.

под ред. Н.С. Мансурова. 2-е изд. М.: «АВА – ЭСТРА», 1993.

9. Процесс социального исследования. Пер. с нем.. М.: Мысль, 1975.

10. Рабочая книга социолога / Изд. 3-е. М.: Едиториал УРСС, 2003. Глава 4.

11. Рогозин Д.М. Когнитивный анализ опросного инструмента. М.: Институт

Фонда «Общественное мнение», 2002.

12. Ростегаева Н.И. Банк социологических данных: история становления и

перспективы развития // Социология: 4М. Ноябрь 1998. №10. С. 172-185.

URL: < http://www.ecsocman. edu.ru/db/msg/2995.html>.

13. Садмэн С., Брэдберн Н., Шварц Н. Как люди отвечают на вопросы:

применение когнитивного анализа в массовых обследованиях / Пер. с англ.

Д.М. Рогозина, М.В. Рассохиной; Под. Ред. Г.С. Батыгина. М.: Институт

Фонда «Общественное мнение», 2003.

14. Стрельникова А.В. Исследовательские архивы: расширение возможностей

для вторичного анализа // Социологические исследования. 2005. №1. С. 126-

131. URL: <http://www.ecsocman.edu.ru/socis/msg/238637.html>.

15. Ядов В.А. Стратегия социологического исследования. Описание, объяснение,

понимание социальной реальности. М.: «Добросвет», «Книжный дом

«Университет», 1998. С. 131-192 (Глава III).

16. Dillman D. Mail and Telephone surveys, N-Y., 1978, Ch. 3

40__