2. Критерии качества данных опроса

Качество социологических данных, которые будут получены в результате исследования, в значительной мере зависит от качества применявшейся методики опроса. При этом ошибки, допущенные при проектировании методики опроса или на этапе его проведения, как правило, не поддаются исправлению на последующих этапах исследования, т.е. данные, собранные ненадежным инструментарием, не станут более доброкачественными от применения изощрен­ных методов математического анализа, а их интерпретация практически лишена смысла.

Вопросник, как инструмент, предназначенный для сбора первичных социологических данных, считается надежным в том случае, если он а) обоснован -относительно целей его использования, т. е. обеспечивает получение искомой информации; б) дает достоверную т. е. адекватно отражающую изучаемые аспекты социальной реаль­ности, информацию и б) дает устойчивые данные, т. е. данные, вос­производимые при повторении исследования в аналогичных условиях.

Достоверность информации — это свойство метода давать информацию, адекватно отражающую изучаемую реальность по измеряе­мым характеристикам. Перед любым социологом, проводящим оп­рос, стоит задача такой организации условий сбора информации, чтобы полученные данные обладали достаточно высокой достовер­ностью.

Прежде чем разрабатывать вопросник, подбирать интервьюеров, исследователю необходимо разобраться, каким должно быть поведе­ние респондента при ответе на вопросы и при каких условиях мож­но получить достоверные данные. И только после этого исследова­тель приступает к разработке вопросника, отбору интервьюеров, обеспечению условий, которые необходимо создать в процессе опроса, чтобы получить достоверные данные.

Поведение опрашиваемого при заполнении вопросника можно представить в виде некоторой условной схемы:

Восприятие информации (содержание вопроса, инструкции по заполнению

Переработка информации 1) понимание информации 2) воспроизведение необходимых знаний из памяти

Ответы на вопросы 1) выбор ответа на вопрос 2) словесное выражение выбранного ответа (интервью) 3) письменная фиксация ответа (анкетирова­ние)

Для получения достоверных данных необходимо, чтобы опраши­ваемый 1) воспринял нужную информацию; 2) правильно понял ее; 3) смог вспомнить, если это требуется, о каких-то событиях прош­лого; 4) выбрал или сформулировал ответ, соответствующий его мнению или фактическому положению дел; 5) смог адекватно вы­разить в словах выбранный им ответ. Понятно, что этого недостаточ­но для получения достоверных данных. Необходимо, чтобы опраши­ваемый не только мог, но и хотел искренне ответить на вопросы.

Таким образом, исследователь должен так организовать опрос, чтобы в процессе его осуществлялась актуализация возможностей респондентов и формировалась мотивация к участию в исследова­нии. Качество первичной информации зависит от качества методики, применяемой для ее получения. Поэтому оценку качества первич­ных данных правомерно производить в зависимости от качества измерительного инструмента.

Назначение социологического вопросника (бланка интервью или анкеты) в том, чтобы с его помощью замерить определенные пере­менные, имеющие отношение к предмету исследования, например, мнения или установки респондента по интересующему исследователя вопросу, некоторые социально-демографические характеристики респондентов и пр.

Под устойчивостью инструмента измерения понимают степень воспроизводимости результатов измерения при повторном исполь­зовании этого инструмента на той же группе и при тех же условиях.

Численными характеристиками устойчивости могут служить по­казатели устойчивости, в роли которых выступает обычно величины расхождений между результатами нескольких измерений одной и той же переменной с помощью одной и той же процедуры при сох­ранении условий измерения. Устойчивость инструмента в целом может по проверить путем повторного опроса.

Под обоснованностью измерительного инструмента понимают степень соответствия между регистрируемыми в процессе измерения характеристиками и теми характеристиками, которые планировалось измерить.

Обоснованный инструмент измерения должен быть устойчивым. Действительно, низкая корреляция результатов повторных измере­ний через сравнительно небольшие промежутки времени характери­зует либо неустойчивость измеряемой характеристики, либо то, что инструмент измеряет целый ряд сопутствующих факторов, напри­мер, связанных с временем и местом измерения. Поскольку боль­шинство измеряемых при опросе факторов (интересующих социоло­га), как правило, сравнительно устойчивы на протяжении определенных временных интервалов, единственным выводом из низкой воспроизводимости результатов измерения является утверждение о том, что применяемый инструмент измерения не является адекват­ным исследовательской задаче, т.е. его применение не обоснованно.

Выбор того или иного доказательства обоснованности конкретного инструмента определяется как типом исследуемых характеристик, так и трелями исследования.

Всю систему доказательств можно условно разбить на две группы.

В первую группу входят доказательства того, что конструкция вопросов (респонденту и т.д.), вошедших в измерительный инстру­мент, адекватно отражает измеряемые характеристики, дает именно ту информацию, которую планировал получить исследователь при построении вопроса.

Среди них можно выделить следующие.

Релевантность. Определяется тем, насколько разумно выбрана данная форма инструмента для измерения данной характеристики;

Понятие релевантности связано с вопросом о том, можно ли на основании результатов измерения судить о наличии у респондентов определенных знаний, личностных характеристик, мнений и установок. Весьма распространенная ошибка, связанная с нарушением этого требования, допускается, например, в тех случаях, когда для полу­чения информации о знаниях респондента применяется в качестве единственного и достаточного инструмента анкетный вопрос, выяс­няющий самооценку респондентом своих знаний. Например, при планировании бесед, лекций, семинаров на международные темы организаторам политического просвещения необходимы данные об информированности аудитории по конкретным проблемам междуна­родной обстановки. В связи с этим авторы анкет нередко обраща­ются к респондентам с вопросами типа: Насколько Вы информи­рованы по поводу проблемы А, вопроса Б, события В? Отвечая на них, респондент обычно отмечает одну из предложенных оценок: «хорошо», «средне» или «слабо».

При таком построении вопроса происходит не всегда осознавае­мая исследователем подмена информации о знаниях информацией о том, как человек оценивает эти знания. Критерии оценки знании у разных людей зачастую не совпадают с теми, которые подразу­меваются исследователем, когда он задает вопрос. Малоинформированный слушатель может быть вполне доволен имеющимся у не­го запасом знаний и оценит свою информированность как хорошую. В то же время человек, обладающий более высоким уровнем знания, но испытывающий дефицит интересующей его информации, выберет оценку средне или слабо. Между тем довольно часто авторы по­добных вопросов интерпретируют ответы на них как данные о фак­тическом уровне знаний респондентов, хотя в действительности речь идет только об их самооценках.

Достоверную информацию о знаниях можно получить с помощью вопросов экзаменационного типа, содержащих задания; эксперимен­тальные ситуации, решение которых требует от респондента исполь­зования определенных сведений, навыков, а также знакомства с конкретными событиями, именами. Вопросы такого типа напо­минают психологические тесты. Например; одним из индикаторов информированности слушателей о международном положении может быть знакомство с именами политических деятелей зарубежных стран. Для выяснения информированности можно предложить спи­сок имен, включающий не только политиков, но и деятелей искус­ства, науки, спорта. Задача заполняющего анкету состоит в том, чтобы указать, кто есть кто, или поставить прочерк рядом с име­нами ему неизвестными¹⁸⁶.

Другим необходимым, показателем информированности аудито­рии по международным проблемам может стать степень знакомст­ва слушателей с терминами, широко употребляющимися, во время политических занятий, в газетных текстах и т.д.

Для получения таких данных в анкету включается вопрос с пе­речнем терминов, значение которых респонденты объясняют в пись­менной форме. Полученные ответы исследователь анализирует и оценивает по следующим критериям: высокая степень знания тер­мина, совпадающая с его широким аналитическим толкованием (оп­ределением в словарях, справочниках, энциклопедиях); средняя степень знания термина, совпадающая с одним из значений, характер­ных для конкретного текста; незнание термина или его ошибочное толкование;

Опрос, взрослого населения в г. Таганроге, проведенный с исполь­зованием подобного теста, включавшего 50 политических и междуна­родных терминов, взятых из газет, показал, что только 2% опро­шенных знают значения не менее 44 терминов, т. е. почти весь пе­речень. Большая часть ответивших — 64% — знакомы со значениями 26 — 37 слов, 25% понимают смысл 38 — 43 слов и 9% участни­ков опроса располагают информацией о значении 25 слов, т. е. вла­деют половиной предложенного списка¹⁸⁷.

Совокупность данных подобного рода дает исследователю объек­тивную картину, характеризующую информированность аудитории, в отличие от вопросов о том, как люди оценивают собственный за­пас знаний.

Таким образом, для решения данной исследовательской задачи вопросы экзаменационного типа должны быть признаны релевант­ными, а вопросы о самооценках — нерелевантными. Релевантность может быть доказана как логическим путем, так и с помощью ме­тодического эксперимента.

Нейтральность (объективность). Степень нейтральности инстру­мента, определяющаяся ответом на вопрос о том,. зависит ли оцен­ка данной характеристики, получаемой при помощи данного инстру­мента, только от степени ее выраженности, или же на ее значение влияют какие-то дополнительные факторы. Обеспечение этого тре­бования при конструировании вопросов анкеты связано с учетом различных социально-психологических факторов, влияющих на фор­мирование ответа респондента. Например, вопросы о знаниях, ка­жущиеся исследователю совершенно нейтральными, могут в опре­деленных ситуациях вызывать сильное воздействие фактора прести­жа, самоуважения респондента. Это происходит в том случае, когда речь идет, например, о выяснении уровня необходимых профессио­нальных знаний. Множество явлений, интересующих социолога, свя­зано с авторитетом, престижем, материальными интересами опраши­ваемых. Получение данных о престижных и социально неодобряе­мых видах/поведения, данных об источниках косвенных доходов, исполнении родительских обязанностей и т. п. требует от исследова­теля обеспечения нейтральных формулировок вопросов и экспери­ментальной проверки их нейтральности в пробном исследовании.

Доступность. Смысл этого норматива состоит в том, чтобы все респонденты, могли понять содержание заданий или вопросов. Со­ответствие вопроса анкеты этому требованию требует эмпирической проверки в пробном исследовании.

Различающая способность. Инструмент должен быть сконструи­рован таким образом, чтобы мог, фиксировать с необходимой сте­пенью дробности различия среди респондентов относительно изме­ряемых характеристик. Однако начиная с некоторой пороговой ве­личины увеличение различающей способности измерительного инструмента ведет к уменьшению его надежности.

Ко второй группе относятся доказательства обоснованности, свя­занные с решением вопроса о том, насколько результаты, получен­ные при применении данного инструмента, согласуются с информа­цией, об измеряемых характеристиках, полученной другими способами.

Среди доказательств этого типа выделяются следующие.

Тест по известной группе. В этом случае сконструированный инструмент проверяется на группе лиц, относительно которых точ­но известно распределение измеряемых характеристик.

Обоснованность по совпадению. Достаточно часто доказательст­вом обоснованности разработанного инструмента измерения может служить высокий коэффициент корреляции результатов, полученных при применении данного инструмента и другого (готового) инструмента, известного своей обоснованностью.

Проверка надежности и обоснованности измерительного инстру­мента является сложной и трудоемкой процедурой. Но такая про­верка необходима, иначе трудно говорить о научном значении ре­зультатов, полученных при применении метода опроса.