Методика контроля качества «РусИнфоМар»

Для контроля качества маркетинговой информации после завершения полевого этапа работ всегда проводится двухступенчатый контроль результатов опроса.

1-ая ступень контроля: а) контроль "face to face" Контроль проводится на основе маршрутных листов, в которых указаны точный адрес и имя респондента, и осуществляется в форме повторного обхода 10% респондентов. Проверка ведется по следующим параметрам:

• соблюдение метода отбора респондентов;

• качество опроса, в том числе:

• проверка даты и времени опроса;

• проверка социально-демографических характеристик респондента;

• проверка метода проведения опроса (интервьюирование или самозаполнение анкеты);

• уточнение длительности опроса;

• проверка использования в ходе опроса карточек и других наглядных материалов;

• замечания к работе интервьюера со стороны респондента

• повтор 2-3-х вопросов из анкеты

б) телефонный контроль Телефонный контроль осуществляется на основе маршрутных листов, в которых указаны точный адрес и имя респондентов. Контролер обзванивает 10% респондентов, уточняя ряд вопросов, касающихся качества опроса. Телефонный контроль обычно проводится в регионах с высокой степенью телефонизации (Москва, Санкт-Петербург и т.п.).

2-ая ступень контроля: На втором этапе контроля проводится компьютерный анализ работы различных интервьюеры. Анализируются основные закономерности и особенности в ответах интервьюеров. В том случае, если наблюдаются "выпады" из средних значений, проверяются все анкеты данного интервьюера. При необходимости забракованные анкеты переделываются другим интервьюером.

Дюк Е. Выступление в рамках круглого стола «Работа с интервьюерами: проблемы повышения качества информации». (Фрагмент) URL: <http://marketing.spb.ru/conf/hse/06/report.htm>

ВЦИОМ - это первая специализированная организация, созданная в России по изучению общественного мнения. Она имеет большой опыт проведения самого различного рода исследований. Если считать от общего объема работы, то маркетинговые исследования занимают 65%. А Вы знаете, что такое маркетинговые исследования - это изучение, например, потребителей пива, шоколадных конфет, макарон, автомобилей и так далее, то есть все, что связано с рынком. Таким образом, мы имеем довольно большой опыт по проведению этих исследований и кое-какие наблюдения.

Как устроен ВЦИОМ? У нас есть головная организация в Москве - примерно 100 человек, и есть сеть региональных отделений, так называемых штатных, то есть там, где у нас есть штатные единицы - люди находятся на ставках. Есть сеть внештатных отделений. Разницы между ними нет фактически никакой. Одни получают зарплату и их трудовые книжки лежат во ВЦИОМе, а другие - это постоянные организации, с которыми мы постоянно сотрудничаем. Всего по штатным отделениям работает около 2 тысяч человек. Интервьюеров, работающих активно - примерно 1 тысяча. Если говорить об общей сети ВЦИОМ - это примерно 4 тысячи интервьюеров. То есть, очень большой и очень разнообразный штат. Конечно, чтобы выполнять такого рода масштабные работы, а выборки бывают очень большие, мы должны иметь такой большой штат.

Подбор интервьюеров идет совершенно традиционным методом, так же как и во всех Западноевропейских странах и Америки. Если говорить о том, что около двух лет тому назад в наше Московское отделение постоянно набирали людей через объединение "X", откликалось и пришло на интервью и на обучение 40 человек, то сейчас приходит примерно 12 человек. Из них двое, узнав, о чем идет речь, тут же снимаются с места и уходят, а из оставшихся 10-ти остается работать 5 человек. А уже через год остается работать 1-2 человека. Эта ситуация примерно такая же как во всех развитых странах. Например, мы были в Германии в дружественной исследовательской компании, они говорили примерно о том же самом, что откликнулось по объявлениям 180 человек, из них 35 человек начали работать и половина из них отсеялось в первые два месяца.

Второй способ набора - это так называемый "снежный ком", когда одни интервьюеры рекомендуют других. Причем, иногда это просто рекомендации и все, а иногда, чтобы заинтересовать интервьюеров рекомендовать своего знакомого и привести его, то интервьюеру выплачивается премия, после того как приведенный им человек сделал примерно 5 опросов. Тогда он считается "закрепленным" и интервьюеру выплачивается премия. Но это происходит не везде.

Теперь рассмотрим социальный состав интервьюеров. Принято думать, что это работники бюджетных организаций - учителя, врачи и так далее. В общем-то, так оно и есть. Но на самом деле, на первое место у нас выходят ИТР. То есть, это инженеры проектных институтов, заводов и так далее. Я бы сказала, технический состав - это примерно от 30 до 65%. Служащие бюджетных организаций - учителя, врачи, преподаватели - это примерно 25%, безработные, домохозяйки - 20-30%, пенсионеры 10-15%, студенты - 15%. Не могу согласиться с коллегой в том, что студенты - это "группа риска". Как раз группа риска - это учителя, они "халтурят" - будь здоров. Что касается студентов, то чем они не хороши? Когда у них каникулы, они прекращают работать, и мы не можем на них рассчитывать. И второе, это то, что эта работа быстро надоедает. То есть, если женщины в возрасте от 40 до 50 лет работают потому, что они понимают, что должен быть дополнительный заработок, то студенты теряют интерес после того, как фактор "знакомства с интересными людьми" перестает работать. А мы затратили деньги на его обучение. И в этом смысле мы теряем. Но я не могу сказать, что студенты какие-то откровенные халтурщики. Я бы сказала, что как раз студенты, особенно последних курсов, это те люди, которые лучше работают на маркетинговых исследованиях. Почему? Потому что обычные маркетинговые исследования делаются по обычной, простой схеме. А так как процесс обучения у нас идет по обычным схемам, то старшекурсники эту схему быстро схватывают. Бывают и более традиционные интервьюеры, которые все усваивают хуже, но когда они это усвоят, то тут уже ничем не перешибешь. Еще я скажу о молодом поколении интервьюеров. Дело в том, что они живут в этом рынке, поэтому они прекрасно ориентируются в марках, логотипах и так далее. Они легко в этом ориентируются. В этом смысле молодое поколение более способно к маркетинговым исследованиям. Вообще, разницы в подготовке интервьюеров к маркетинговым или к другим исследованиям, типа социально-политическим, электоральным или к каким-то другим - нет.

Есть общее принципы подготовки интервьюера, базовые основные принципы. Эти базовые основные принципы изложены везде, поэтому на них я подробно останавливаться не буду. Эти принципы существуют, а уже дальше интервьюеры сами делятся на тех, кому приятно работать в маркетинговых исследованиях и кому лучше работать в социально-политических. Например, у нас есть учителя музыкальных школ, которые стесняются задавать вопросы респонденту: какие спиртные напитки они употребляют? Сколько раз в неделю? Они считают, что это не этично. И наоборот, есть интервьюеры, которые не переносят политику и так далее.

У каждого отделения есть все сведения об интервьюерах, про него знают досконально - на каких опросах он участвовал, как себя проявил. Руководители отделений ведут определенный учет интервьюеров. И некоторым даже не предлагаются маркетинговые исследования, так как знают, что он с этим не справится. Других интервьюеров, например, не привлекают на интервью по телефону потому, что знают об их трудностях с вербализацией. То есть, прежде всего, учитывается собственное желание интервьюера, а уже потом опыт работы с ним по различным исследованиям.

Еще я хочу сказать по поводу подбора интервьюеров. Мы столкнулись в Германии с одной исследовательской компанией, и они нам рассказали об этих трудностях. Они сказали так. "Наши правила приема интервьюера таковы: интервьюер может быть только от 30 до 70 лет, без высшего образования, но он должен быть обязательно профессионалом. Домохозяйки с обычным средним образованием работать не могут. Так же не принимаются журналисты, страховые агенты, безработные и так далее. Кроме того, интервьюер должен подписать обязательство, что он будет делать не менее 5 интервью в неделю". Теперь скажите мне, как же у них не могут быть трудности с набором интервьюеров. Конечно, в некоторых наших отделениях тоже есть такое правило - они берут на работу людей с каким-то стажем и от 25 лет. Но это далеко не везде, так как мы сейчас испытываем просто дикие трудности с интервьюерами.

И еще одна проблема, когда мне говорят в каком-то регионе: вы не волнуйтесь все пройдет замечательно, так как интервьюер у нас профессиональный социолог, он все знает - меня это сразу настораживает. Потому что именно у таких людей всегда претензии к анкетам, они начинают эти анкеты переделывать, так как они считают нужным, задавать вопросы, так как они считают нужным, и отсюда все беды и вытекают.

В самой подготовке интервьюеров мелочей нет. Все очень важно. Я остановлюсь на принципиальных вещах. Что я считаю принципиальным в подготовке интервьюера и, на что нужно обратить внимание именно в маркетинговых исследованиях, на какие типичные ошибки, которые делают интервьюеры? Подобрать интервьюеров - подберем. Более или менее научим их входить в квартиру, представляться, научим построить беседу, задавать закрытые вопросы и так далее. В чем состоит типичная ошибка интервьюера? Это неправильный отбор респондента на последней ступени. Я не знаю, все ли присутствующие здесь знакомы с тем, как делается типичное социологическое или маркетинговое исследование, как выбирается респондент, как вообще проводится опрос. Вкратце скажу, что обычный метод может быть наиболее экономичный, потому что умение проводить полевые работы - это не только провести их качественно и грамотно, но и провести их с наименьшими затратами. Потому что заказчик, а мы работаем только под заказчика, лишней "копеечки" нам не дает. Поэтому, по деньгам ты должен провести исследование так, чтобы это было и качественно, и экономично. Обычный опрос - это опрос, который делается маршрутным методом с отбором респондентов на последней ступени. Если это случайная выборка, то по последнему дню рождения, либо по квотам. Мы задаем квоты: пол, возраст, образование. (Показывает слайды). Я показываю маршрутные карты, для того чтобы было видно. Сразу скажу, если считать шаг отбора по науке - это будет ужас. В таких крупных городах как Москва - это будет примерно 100. Ни один интервьюер с таким шагом не пойдет опрашивать, и каждое сотовое домохозяйство посещать не будет. Сейчас мы вычислили эмпирическим путем, что наиболее экономичный шаг отбора - это 17 для высотных домов, примерно 5 - это 5-ти и 4-х этажные дома, и в сельской местности - это примерно 3 или даже каждый дом, в который заходит интервьюер.

Так вот заходит интервьюер в это домохозяйство. Там, например, живет 3 человека и он должен кого-то отобрать. Кого он отбирает? Механизм очень простой - того, у кого день рождения ближайший к опросу. Причем это делается либо с правой стороны, либо с левой стороны, либо с двух сторон - это уже кто как хочет. Либо он должен отобрать по квоте - мужчина 30-ти лет и так далее, в зависимости от квотного задания. В маршрутной карте он абсолютно все записывает - адрес, улицу и так далее. Он должен сделать обязательно три посещения. Второе посещение обязательно вечером и третье посещение в субботу или в воскресенье для того, чтобы добиться нужного результата. Дальше он записывает, кто опрошен, фамилию, имя, отчество, телефон для контроля и номер анкеты, которая ему потом присваивается. При этом, интервьюер обязательно фиксирует недостижимость: нежилой дом, не возможно попасть в подъезд и так далее. Это делается для того, чтобы понять какая у нас недостижимость, а недостижимость у нас огромная. Вы сами понимаете, сейчас все подъезды закрывают, криминальная обстановка и так далее. Вот это основная схема. (Докладчик показывает бланк методического отчета, который составляется после того, как проведено поле для того, чтобы понять, как оно проведено). Это по опросу в целом, то есть, это то, что мы предоставляем заказчику, когда сдаем результаты исследований.

Еще хочу сказать несколько слов об обучении интервьюеров и об их работе. Сейчас основная ошибка интервьюера - это неправильный отбор респондента. Это очень трудно объяснить. Я считаю, что это должно день и ночь повторяться интервьюерам - как отбираются респонденты и почему важна процедура случайного отбора респондентов по определенному правилу. Ведь в сознании интервьюера сидит мысль о том, что "какая разница, я пришел в квартиру, муж отказался отвечать, а жена готова ответить - какая, в конце концов разница! И так далее. Учитывая то, что мужчины - труднодостижимая категория (даже после трехкратного посещения его невозможно застать дома), то в итоге мы все равно выходим на женщину. И таким образом, у нас выборка очень часто сдвигается в сторону женщин, тем более, старших возрастов. С этим ничего не поделаешь - такая ситуация везде. А дальше идет "ремонт" выборки, и если нечего ремонтировать, то тогда все плохо.

. Недостижимость настолько скачет, то какая-то жуткая недостижимость в Самаре, то в Новосибирске. Это зависит от выбора маршрута, выбора района для опроса, поскольку выборки в этих городах небольшие - 38 человек, 80 человек и так далее. У меня, например, было так, что мне попалась улица, где все дома снесены. То есть, у меня получилась недостижимость - нежилой дом. Но ведь это случайный отбор, случайный выбор. Я же не могу сказать интервьюеру, чтобы он шел в этот район и при этом утверждать, что дом там наверняка есть. Нам, например, попалась буква "А" - ул. Абельмана. И ты идешь на улицу Абельмана. То есть, бывают такие скачки, связанные с тем, что мы имеем или снесенные дома, или зону промышленных предприятий. Я думаю, недостижимость растет и очень серьезными темпами. Когда я начинала работать, а это было 10-12 лет тому назад, то процент отказов было 8%, сейчас - 30%. Даже доходило до 37%. Не много и не мало - ничего не могу сказать. Мы провели такой эксперимент - мы пустили по этим отказникам наиболее опытных и подготовленных интервьюеров. И после этого мы набрали еще половину, то есть 37% уменьшилось наполовину. Не могу сказать, что этот эксперимент был совсем "чистым", он был скорее "грязноватым", так как многие люди отвечали, что они не могли дать интервью в первый раз по совершенно естественным причинам, а именно - я стирала, я уезжал и так далее. Но, в том числе, были и такие мотивы - мне ничего не объяснили, пришла какая-то девочка, что-то такое непонятное мне говорила, а Вы все так хорошо и толково объяснили. То есть, это был показательный момент.

Вторая ошибка интервьюера, которая постоянно допускается им, о которой нужно постоянно говорить и постоянно разъяснять - это как я называю "хоровое" заполнение анкеты. Приходит интервьюер в дом, вся семья садиться в кружок. И хотя он выбрал респондента абсолютно правильно - отвечают ему все хором. Тут нужно объяснять интервьюеру, что очень важно взять интервью именно у того респондента, который попал в выборку. У нас выпал вопрос к респонденту мужчине о материальном благополучии семьи: Как Вы считаете, Ваша семья живет бедно или нормально? Он отвечает, что мы живем нормально. Но если бы мы на эту тему опрашивали женщину, то получили бы, может быть совершенно другой результат. Она тоже говорит за семью, но она отвечает за ремонт, она отвечает за покупку шубки дочке и так далее. Поэтому она считает, что материальное благополучие ее семьи не достаточно хорошее. То есть, мы имеем две совершенно разные оценки одной и той же семьи. Это вторая очень важная проблема, когда происходит такое "хоровое заполнение".

И третий момент, когда интервьюеры очень сильно "халтурят" - это "подгонка" под квоты. Нужно опросить 30-летнего, а ей попался 32-летний - казалось бы, какая ерунда. "Подгонка" под квоты происходит постоянно, и интервьюеры ничего в этом плохого не видят. Очень трудно им что-либо объяснить по этому поводу. То есть, первое, что нужно неукоснительно соблюдать - это соблюдение процедуры отбора респондента до последней ступени.

Еще мне хотелось бы, с точки зрения маркетинговых исследований, обратить внимание на такой пункт обучения интервьюера как зондирование открытых вопросов. Все маркетинговые анкеты - это сплошной открытый вопрос. В некоторых анкетах минимум 9 открытых вопросов - и это норма. Умение интервьюера зондировать открытые вопросы, то есть, как бы углубленно их просчитывать - это очень важный момент для маркетинговых исследований. Ведь клиент, как правило, не удовлетворен ответом респондентов. Клиента интересует более глубокий ответ, поэтому интервьюер должен получить на эти вопросы наиболее полные и всеобъемлющие ответы. Как это делается - известно. Первое - это пауза, то есть интервьюер должен выждать время, когда респондент что-то сообразит, как-то прореагирует на вопрос. То есть надо просто терпеливо сидеть и ждать. Дальше, если это не помогло, то задаются наводящие вопросы исключительно нейтрального характера. Нельзя на респондента давить, нельзя навязывать свое мнение, нельзя на что-то намекать - нужно просто тактично общаться.

И попутно, раз уж мы говорим о зондировании вопросов, я бы хотела сказать, что очень большой грех - это не умение и не понимание того, что интервьюер должен уметь зачитать вопрос до конца в таком виде, как он сформулирован в анкете. Я хочу показать Вам, почему это важно. Пример: "Сколько всего человек в Вашей семье, ведущих общее хозяйство?" Интервьюер же задает вопрос так: "Сколько человек в Вашей семье?" Ответ: "2 человека - я и муж". А когда начинаешь смотреть анкету насквозь, то оказывается, что основным человеком, приносящим доход в семью, является сын. Откуда сын? Его на первых страницах не было, а тут образовался. Теперь дальше. Считается, что как-то неудобно задавать вопрос: "замужем, не замужем, живете ли Вы с мужчиной". Поэтому интервьюер участливо спрашивает: "Вы замужем?" Ответ: "нет". А потом оказывается, что у нее дети. Поэтому в анкете получаются логические противоречия. Или еще такой вопрос: "По какой профессии и в какой должности Вы работаете? В чем именно заключается Ваша работа, расскажите как можно подробнее?" Если интервьюер не дочитывает фразу "в чем заключается ваша работа", то человек отвечает - зам. директора. И, соответственно, мы, изучая социальную структуру населения, его кодируем в верхнюю страту - "руководитель". А потом оказывается, что он по сути завхоз. Так какая же здесь верхняя страта! Мы его должны отнести в группу работников "вспомогательный персонал". Вот такие бывают ошибки.

Еще остановлюсь на двух важных вещах. Первое, это контроль работы интервьюеров. Это самое противное и неприятное в нашей работе - контролировать людей. Сначала у меня было такое убеждение, что люди, с которыми мы работаем, и которые производят такое приятное впечатление - их проверять не надо. То есть, они такие опытные, и они наверняка не обманут. Но это все абсолютно не так. Проверять нужно абсолютно всех, не зависимо от того, сколько работает интервьюер, не зависимо от того, кто он, учитель или студент. То есть, нужен просто тотальный контроль. Но как обстоят дела с этим контролем? Обычный контроль во всем мире - 10%, не больше. И это понятно, потому что это затраты исследователя. 10% контроль у нас делают региональные отделения и делают его достаточно честно, потому что они - профессионалы, и они заинтересованы в том, чтобы к ним обращались клиенты. Они прекрасно понимают, что если у них будут плохой контроль и какие-то подлоги, то больше заказов они не получат. Но 10% контроль - это очень мало. Интервьюер, подписывая договор или контракт, сразу же предупреждается, что его работу будут обязательно контролировать, что в случае обнаружения подлога - он сразу увольняется, без всякой оплаты. Если же у него просто какие-то ошибки, то тут в разных отделениях по-разному. Есть какие-то системы штрафов, например. Во Франции я спрашивала: "Есть ли у Вас какой-то контроль работы интервьюеров?". На что они мне ответили: "Да вы что, у нас есть профсоюз интервьюеров - они нас просто засудят. Мы с ними не связываемся. Мы наоборот премируем интервьюера, если хорошее интервью, а если плохое интервью, то платится просто такса". У нас же существует как система штрафов, так и система поощрений. Но, в основном система штрафов. Хорошее отделение контролирует примерно на уровне 30% своей выборки.

Второй этап контроля - это контроль из Москвы. Делается он в зависимости оттого, что нам в данном массиве кажется странным, непонятным. Или просто выборочно решаем куда-то позвонить. Звоним, и вот с чем мы столкнулись. Наше население ничего не помнит! Вот, например, два дня назад я звонила в Алтайский поселок - там анкеты были какие-то жуткие. Спрашиваю у респондента: "Приходил ли к Вам интервьюер?". Отвечает - "Нет". Я ему говорю: "Как же так, девушка из Барнаула должна была к Вам приехать и задать Вам вопросы". И тут он вспоминает: "Да, да из Барнаула была какая-то девушка, я как раз вышел из баньки". Я дальше спрашиваю: "Александр Михайлович, а задавала ли она Вам такие-то вопросы?". Ответ на все - "не помню". Предъявить какие-то претензии к интервьюеру я после этого как-то не решаюсь.

Третий вид контроля, это почтовый контроль. Он делается совершенно понятным образом. То есть высылается большой конверт, в него вкладывается вкладыш, который потом нам респондент отправляет обратно и вкладывается листочек, в котором задаются самые простые вопросы: пол, возраст, несколько ключевых вопросов данной анкеты и какие-то замечания по сотруднику - кто приходил, сколько времени продолжалось интервью. Потому что если на пилотаже интервью должно длиться 40 минут, а оно по признанию респондента было 15 минут, то это уже наводит на мысль о том, что часть вопросов не задавалась.

Адрес берется из маршрутной карты. Сама анкета - она остается анонимной. Мы говорим о том, что работа контролируется. И этот респондент предупрежден, что его могут проконтролировать либо по телефону, либо письменно. Поэтому мы просим сообщить свое имя и отчество. Если он сообщает данные - хорошо, а если нет - ну что делать, не сообщает. Тут возникает много вопросов, на которых я хотела бы остановиться, но, к сожалению, очень мало времени. Я отвечу на вопрос, который мне задавали.

Вопрос такой: "Какова методика определения стоимости анкеты для интервьюера?". Моя методика такая: есть некий показатель достижимости респондентов, который более-менее понятен. Исходя из того, что обычный закрытый вопрос занимает 0,5 минуты, и эмпирическим путем "прикинув", что это так, и учитывая, что стоимость открытого вопроса такая-то - значит, соответственно, цена анкеты для интервьюера такая-то. И он получит такую-то сумму за одну анкету.

Еще я хотела бы сказать о том, что очень часто, к большому сожалению, в маркетинговых исследованиях, и не только в них, нарушаются все "золотые" правила составления анкет, все процедуры отбора респондентов. То есть, все, что можно нарушить, исследователи, которые занимаются маркетинговыми исследованиями - все нарушают. Поэтому часто маркетинговые исследования, я не могу сказать, что делаются "халтурно", но иногда сами эти маркетинговые исследователи толкают интервьюеров на "халтуру".

Привожу пример, есть анкета из 48 страниц, таблица ценностей состоит из целой страницы, в которой имеются чрезвычайно тонкие психологические различия. Понятно, что это можно использовать на фокус-группах, но использовать это на опросе населения - это невозможно. Интервьюер понимает, что ни один респондент не выдержит такой нагрузки и поэтому они вынуждены пропускать целые блоки вопросов. Но вот какой блок вопросов интервьюер пропустит - мы не знаем. И выяснить мы это не можем. Разговор между интервьюером и респондентом - это дело интимное.

Второе - это несоответствие маркетинговых опросников и исследований, неадекватность их выборки. Первый маркетинговый опрос, который мы провели в 1989 году по заданию фирмы "Велла", когда в магазинах хозяйственного мыла-то не было, а опрос был по продукции этой фирмы - шампуни, мыло, гели и так далее. Доярки кидались в нас этими анкетами - для них это было оскорбление. Конечно, это крайний случай, но, тем не менее, эта неадекватность выборки, целей и задач исследования - это широко распространенная вещь. На этом я завершу вое выступление