Учитывались ли ответы всех респондентов?

Это важно знать, поскольку один из самых простых способов подтасовать результат опроса — использовать ответы только части респондентов. Например, существуют значительные различия во мнениях демократов и республиканцев по вопро­сам выборов. Опрос, проведенный среди демокра­тов и представленный как мнение взрослого насе­ления, будет явной подтасовкой. Кого вы не смогли опросить? Вы должны знать, сколько респондентов отказались участвовать в опросе и сколько из них не было опрошено по другим причинам. Про­цент неопрошенных составляют респонденты, которых должны были опросить, но не опроси­ли. К их числу относятся те, кто отказался отвечать или кого не смогли застать дома.

Результаты опроса должны оцениваться по-разному, если в одном случае из 1000 участников съезда опросили 100 выбранных по научной методике респондентов, а в другом — 100 добро­вольцев.

Когда проводился опрос?

Поскольку некоторые важные события могут оказать решающее влияние на результаты опро­са или даже перечеркнуть их, ваша оценка результатов должна зависеть от того, как соотносилось время проведения опроса с этими событиями. К ним можно отнести обращение президента к народу, биржевую панику, эколо­гическую катастрофу и так далее.

С этой точки зрения результаты опроса не­дельной или месячной давности могут иметь ценность в исторической перспективе, но ока­заться бесполезными с точки зрения новостной. Как проводились интервью?

Этим следует непременно интересоваться. Имеется три основных способа проведения интервью: лично, по телефону или по почте. В настоящее время большинство опросов про­водятся по телефону из специального центра. Тем не менее, иногда все еще практикуется интервьюирование на дому. Некоторые опро­сы проводятся по почте. В научно-организо­ванных опросах исследователи сами выбира­ют получателей анкет. Опросы по почте — прекрасный источник информации, но такие исследования длятся неделями, что, как пра­вило, влияет на их актуальность. Кроме того, опросы по почте дают низкий процент возвра­щаемых обратно анкет.

Исследования, проводимые в торговых цен­трах, магазинах и ресторанах, возможно, имеют значение для тех, кто их финансирует, но публиковать эти результаты в прессе не имеет смысла. Такие опросы могут послужить темой для интересного репортажа, но их нельзя рас­сматривать как отражение общественного мне­ния.

Опрос проводился среди добровольцев? Если перед вами результаты опроса, прове­денного по методике типа «позвоните нам», «напишите нам» или «вырежьте купон и при­шлите», то мы не советуем его публиковать, так как респонденты отбирались здесь на добро­вольной основе. Такие псевдоопросы ничего не значат. Запомните, что цель здесь — узнать мнение населения, а не конкретных респонден­тов. Результаты этих опросов не отражают точку зрения сколько-нибудь большой группы людей. Какова допустимая погрешность в результатах опроса?

Непременно задайтесь этим вопросом. Про­веденный по научной методике опрос 1000 респондентов может правильно отражать мне­ние 185 миллионов взрослых американцев. Это значит, что если бы мы попытались охватить все 185 миллионов, то результаты были бы примерно одинаковы. Что же будет, если опрос по той же теме вновь повторится среди новых 1000 респондентов и получится немного отличаю­щийся результат? Ничего страшного. Будьте уверены, ни одно из исследований не содержит ошибки. Такая разница происходит из-за выбо­ра случайных респондентов и часто называется погрешностью выборки. Это различие не явля­ется ошибкой в обычном смысле, а лишь мерой степени приблизительности результата.

Погрешность выборки («границы погреш­ности») обычно сообщаются для сложных ис­следований. Так, например, погрешность в 3 процента в общенациональном опросе означа­ет, что результаты верны с точностью ±3 про­цента. Это также означает, что можно доверять результатам с точностью до 95 процентов, и разброс мнений на 3 процента ниже или выше того, что дало бы интервьюирование всех и каждого.

Запомните, что погрешность не имеет от­ношения к таким методическим проблемам, как согласие или несогласие респондентов участвовать в опросе, поняты или не поняты вопросы.

Погрешность одинаково относится к каждой полученной цифре, которая может быть соот­ветственно на 3 процента выше или ниже. Таким образом, при сравнении, например, рейтинга двух кандидатов на президентский пост, каж­дый из двух показателей может содержать пог­решность.

Тут возникает трудная проблема: как оцени­вать результат исследования, когда кандидаты идут «ноздря в ноздрю»? Естественно, когда кандидат А опережает кандидата В на большее л возникает. Когда же разрыв меньше погрешности, то вы не можете утверждать, что один кандидат впереди другого. В таких случаях говорят, что кандидаты «имеют примерно рав­ные шансы» или «имеют небольшой разрыв».

Какие ошибки могут исказить результаты ис­следования?

Знание этого необходимо. Погрешность выборки не единственный и не основной источ­ник ошибок при опросах общественного мне­ния. Мы останавливаемся на ней подробно только потому, что погрешность может быть выражена в конкретных числах. Формулировка вопросов и их последовательность являются другим источником искажений. С этой точки зрения вопросы нуждаются в изучении на пред­мет их непредвзятости.

Спросите, «взвешивались» ли результаты. Этот процесс используется обычно для расчета степени приблизительности результата и поп­равки, в зависимости от демографии выборки. Помните, что эту методику можно также ис­пользовать и для подтасовки результатов.

Другими источниками ошибок могут быть плохая подготовка интервьюеров, слабое руко­водство ими, погрешности при обработке пред­варительных данных, прочие технические труд­ности.

Как формулировались вопросы?

Выяснение этого важно, так как формули­ровка вопросов в большой степени влияет на результат. Самая лучшая проверка формулиров­ки — ваша реакция на нее. Считаете ли вы вопрос беспристрастным? Предоставляет ли он право выбора? Смогли бы ваши знакомые отве­тить на задаваемые вопросы?

Вопросы особой социальной важности (про­блема абортов и т.п.) должны обязательно про­звучать в вашем журналистском материале. В любом случае вы должны, по меньшей мере, ознакомиться с точной их формулировкой.

В каком порядке задавались вопросы?

Очередность вопросов также влияет на резуль­тат исследования. Например, если в период эконо­мического спада, вы поставите на первое место вопрос об оценке экономической ситуации, а затем попросите высказать мнение о президенте, то, скорее всего, рейтинг популярности президента будет ниже, чем если бы вопросы задавались в Другой последовательности. То же самое с обрат мического подъема. Словом, на один и тот же вопрос можно получить разные ответы в зависи­мости от его места в анкете.

Какие еще опросы проводились по данной теме?

Чем отличается результат и если отличается, то почему?

Это важно знать, поскольку результаты опро­са, с которым вы в настоящее время работаете, нужно сравнить с результатами предьщущих исследований по этой теме.

Если они различны, то обратите внимание на время проведения предыдущего опроса. Неоди­наковые результаты могут отражать изменение общественного мнения.

Если опросы проводились в одно и то же время и на результаты не могли повлиять другие факторы, то нужно связаться с организаторами и спросить о причинах, вызвавших такие разли­чия. Противоречащие друг другу опросы общес­твенного мнения, являются замечательным материалом для статьи.

Итак, результаты опроса показывают, что предвыборная гонка закончена. Что дальше?

Независимо от качества опроса, величины выборки и степени погрешности, предвыбор­ное исследование не может предугадать, побе­дит претендент или нет. В жизни все меняется быстро, а в политике особенно.

Проводился ли опрос с целью сбора средств?

Не отказывайтесь это выяснить, ибо тут может обнаружиться еще один пример псевдо­исследования. Организация рассылает анкеты с вопросами большому количеству адресов. Анке­та завершается просьбой к респонденту сделать пожертвование или взнос. Респондент должен направить некую сумму денег на поддержку соответствующей организации или на покрытие расходов исследования.

Люди, которые откликаются на такие прось­бы, как правило, поддерживают цели организа­ции. Вопросы в таких исследованиях обычно пристрастны и результаты не имеют научного значения.

Такая методика часто используется различ­ными организациями от политических партий и движений до благотворительных организа­ций. Если вы уверены, что опрос производится с целью сбора средств, то можете спокойно отправить его в мусорную корзину.