Глава 8
Критерии оценки и повышение надежности кейс стали
Каждое исследование, качественное или количественное, должно оцениваться с точки зрения определенных канонов (исследовательских стандартов) того метода или стратегии, которые применялись для получения результатов. Исследование может тщательно оцениваться, только если его процедуры достаточно четко прописаны. За исключением редких случаев, когда имеется лишь устная презентация, результаты, теоретические формулировки и выводы, так же как проект исследования в целом, оцениваются через посредство публикации. Когда исследование опубликовано, когда компоненты исследовательского процесса отчетливо изложены, то представленные результаты или теоретические формулировки можно будет оценивать.
При разработке критериев оценки кейс стади классические каноны «хороших естественных наук» следует признавать, но они требуют переопределения, чтобы соответствовать реальностям качественного исследования и сложности социальных феноменов, которые мы стремимся понять.
Успех исследовательского проекта, в конце концов, оценивается по его продукту. Критерии оценки много обсуждались в литературе и связывались, в основном, с тремя аспектами:
во-первых, составляются суждения о валидности и надежности данных;
во-вторых, составляются суждения об адекватности исследовательского процесса, посредством которого теория рождается, дорабатывается или проверяется;
в-третьих, составляются суждения об эмпирическом обосновании теоретических построений.
Кейс стади имеет помимо прочего собственные оценочные критерии, которые отрабатывались рядом авторов. Мы считаем, что дискуссия о них должна быть известна не только тем, кто сидит за редакционными столами журналов и в фондовых агентствах, выделяющих гранты, но и тем, кто хочет судить о собственной работе или о работе своих коллег. Обеспечение валидности - это особенно проблематично именно в исследовании в стиле кейс стади, и поэтому именно за этот недостаток, как правило, метод критикуется. В первую очередь, критика раздается по поводу достаточно большой доли субъективизма исследователя.
Основные критерии оценки кейс стади
Р.Йии предложил следующие критерии оценки, соблюдение которых позволяет снизить критику в адрес кейс стади [223].
Известны четыре теста, являющиеся общими для любого исследовательского метода в социальных науках:
общая валидность - установление корректности операциональных действий в рамках изучаемой темы и выстраиваемой концепции;
внутренняя валидность (только для объяснительных исследований, но не для описательных или разведывательных) - установление всей полноты причинных связей, где определенные причины ведут к определенным следствиям;
внешняя валидность - установление той области, на которой может быть сделано обобщение;
надежность - демонстрация того, что сама процедура проведения кейса может быть повторена с теми же самыми результатами.
Общая тактика проведения исследования в стиле кейс стади Должна соблюдать по Р.Йин ориентацию на следующие тесты:
Тест |
Тактика проведения кейс стади |
Фаза исатдонлшщ НА КОТОРОЙ Э1У ТАКТИКУ ЛУЧИЛ- ПРИМЕНИТЬ |
Общая валидностъ |
- использование множественных источников доказательств; - выстраивание целостной цепочки доказательств; - оценка ключевыми фигурами предварительного отчета исследования |
сбор данных; сбор данных и написание отчета; написание отчета |
Внутренняя валидностъ |
- организация сбора данных на всех уровнях (для предприятий и организаций); - построение образов, моделей; - построение моделей объяснения; - проведение анализа па всем временном протяжении |
сбор данных; анализ данных |
Внешняя валидностъ |
использование единой методологии при проведении большого количества кейсов |
конструирование исследования |
Надежность |
- использование протокола кейса (детального описания, записей интервью, бесед); - создание базы данных |
сбор данных |
А теперь остановимся на этом более подробно.
Общая валидность. Какие переменные (стороны изучаемого явления) отобрать. Обычно те, кто критикует кейс стади как исследовательскую стратегию, говорят о том, что исследователь, как правило, не может развить достаточно полноценную систему измеряемых переменных и для сбора данных он руководствуется только субъективными оценками. Для того чтобы обеспечить валидность, исследователь по крайней мере должен:
/. Выделить специфические черты явления, которое он изучает.
Продемонстрировать, что избранные переменные (черты, стороны) в действительности отражают это явление.
Анализировать следует не только «микроскопические» условия, которые объясняют действия/взаимодействия феномена, необходимо учитывать и те условия, которые происходят на более «макроскопических» уровнях: такие, например, как экономические условия, социальные движения, ценности и т.д. Поэтому любая публикация, которая либо упускает эти более широкие условия, либо недостаточно выявляет их конкретные связи с изучаемым феноменом, теряет в своем эмпирическом обосновании.
70
4. Идентификация и точное обозначение изменения или движения в форме процесса являются важной частью исследованияи, особенно по методу «восхождение к теории». Любое изменение должно быть связано с условиями, которые его вызывают.
Внутренняя валидность. Эта валидность относится только к объяснительным кейсам, в которых исследователь пытается определить, ведет ли событие х к событиюу. И если, предположим, выяснится, что исследователь вывел причинную зависимость междухиу в то время как имеется еще компонент г, который играет ролья этой причинной зависимости, то это говорит о том, что само построение исследования было неверным. Однако в дескриптивных и разведывательных исследованиях это не является препятствием.
Внутренняя валидностъ относится также и к отдельному случаю, к каждому событию, которое сам исследователь не обозревал, не был его участником. Исследователь, тем не менее, на основе данных интервью, документов будет непременно делать заключения о том, что явилось причиной этого события. Исследователь должен сделать все возможное, чтобы это заключение было корректным. Он должен задать себе следующие вопросы:
Что сделать, чтобы заключение соответствовало истине?
Все ли конкурирующие объяснения были рассмотрены?
Какую тактику предпринять с учетом специфики случая? Внешняя валидность. Здесь мы должны поставить вопрос:
«А можно ли обобщить данные этого кейса и применить выводы к другим организациям, людям, группам и т.п.?» Обычно критики говорят о том, что единственный случай - достаточно бедное доказательство для возможности обобщения и что это не репрезентативная выборка. Но говорить о выборке применительно к кейс стади - это вообще неверный подход. Только опросы делают статистические обобщения. Кейс стади дает возможность делать аналитические обобщения.
Надежность. Цель надежности - минимизировать ошибки и отклонения, случающиеся в кейс стади. Как мы уже говорили, необходимо, чтобы исследователь, проводящий кейс стади, позднее мог с точностью повторить те же самые процедуры и получить те же результаты в исследовании того же явления, но в другом случае. Главное - иметь документальное описание всего процесса исследования.
Все вышеприведенные критерии означают нормы. Новые области исследования могут потребовать модификации процедур и оценочных критериев. К тому же одаренные исследователи с твор-
ческим воображением время от времени будут несколько отступать от установленных канонов. В таких редких случаях нам следует точно объяснить, как и почему мы от них отступили, и предоставить читателям право судить, при каких условиях результаты нашего теоретизирования могут соответствовать «реальности», давать новое понимание и быть полезными (практически и теоретически).
Установление надежности через триангуляцию
Кейс стади известен как исследовательская стратегия с использованием триангуляции. Термин триангуляция пришел в социологию из навигационной практики моряков, которые, как правило, определяют месторасположение корабля, изучая пересечение двух прямых. Впервые это термин использовал Д.Кемпбелл, выразив мнение, что данные, подтвержденные двумя независимыми источниками, более убедительны, чем те, которые взяты из одного источника [115]. Триангуляция в исследовательском смысле обычно означает, что привлекаются различные источники данных, различные методы исследований, нескольких исследователей и/или различные теоретические перспективы, чтобы изучить одно специфическое явление.
Н.Дензин [130] отводил одно из центральных мест в своих изысканиях исследовательской триангуляции, которую он иначе называл комбинацией методологий и считал, что любой социолог должен исследовать проблему с различных методологических перспектив. Именно тогда, когда социолог соединяет в своем исследовании различные подходы, могут возникать достаточно обоснованные и проверенные теории. Н.Дензин достаточно серьезно занимался проблемами триангуляции и составил предлагаемую ниже типологию существующих подходов.
Триангуляция данных. Источники данных могут быть объектами триангуляции, и исследователь должен стремиться к использованию как можно большего количества источников, которые оказываются в его распоряжении. Но, как настаивал Дензин, должно быть понимание того, что существует отличие между источниками, с помощью которых исследователь получает те или иные данные, и методами сбора информации. Так, при исследовании организации источниками могут быть не только данные, полученные с помощью методов интервью, наблюдения, но и статистические данные, материалы совещаний, собраний, митингов, забастовочных комитетов, протоколы заседаний профсоюзных комитетов.
Временная триангуляция. Любое социологическое исследование в стиле кейс стади проводится, как правило, не в один день, а растягивается во времени. Кроме того, деятельность тех или иных групп людей, изучаемых социологами, как правило, изучается в определенной социальной среде. Именно поэтому упор на время необходим. С точки зрения времени, очень интересно то, как определенные виды деятельности претерпевают изменения с течением времени. Необходимость изучения определенных процессов в динамике привело к тому, что в настоящее время все больше и больше исследований в стиле кейс стади проводится в течение длительного периода времени.
Временная триангуляция помогает проследить, какие процессы неизменны с течением времени, какие изменяются кардинально, какие просто исчезают. Например, в исследовании двух заводов, одного английского, другого российского, где проводилось изучение неформальных отношений, было интересно посмотреть, как видоизменялись с течением времени некоторые аспекты неформальных отношений [163]. Надо отметить, что фактор времени имел достаточно большое значение для анализа ситуаций на двух заводах. Так, многое дало сравнение активности рабочих на заводах в обычные дни и в конце месяца. Достаточно интересные события развивались на английском заводе в конце финансового года, когда нужно было сделать план любой ценой1. Описание таких событий в определенные временные моменты, как правило, дают неоценимую информацию исследователю.
Пространственная триангуляция. Как правило, исследование в стиле кейс стади затрагивает сложные объекты, с многоуровневой системой управления. В таких исследованиях необходим сбор данных на разных уровнях организации. В этом исследователям помогает так называемая пространственная триангуляция, которая подразумевает: во-первых, сбор данных на разных уровнях изучаемого объекта, например, в организации это может быть сбор данных по исследовательскому вопросу, начиная от высшего менеджмента и кончая изучением процессов на уровне рабочего места.
С другой стороны, исследование, казалось бы, двух социально отдаленных организаций - завода в Великобритании и завода в России, на первый взгляд, не могло дать ничего общего, учитывая также то, что у нас в России существует достаточно стойкое понимание того, что на Западе все работает как часы, а у нас все плохо. И вместе с
1 В конце финансового года на английском предприятии также наблюдалось знакомое нам по России явление штурмовщины.
73
тем, выводы, сделанные на основе детального изучения двух организаций, принадлежащих двум разным социальным системам, позволили утверждать, что некоторые социальные процессы имеют универсальный характер и не знают границ.
В исследованиях, проводимых ИСИТО, пространственная триангуляция достигается путем сравнения собранных фактов на предприятиях различных регионов. Сделать это помогают ежегодные семинары, в которые вовлечены исследователи из всех регионов, где проводятся исследования.1
Исследовательская триангуляция. Чем больше исследователей привлечены для изучении того или иного случая, тем более достоверная и менее искаженная информация будет получена. Это одна из возможностей снизить субъективность одного исследователя, поскольку наблюдение одного исследователя дополняется наблюдением нескольких исследователей за одним и тем же событием, или наоборот, нескольких исследователей, наблюдающих за разными событиями, но являющимися звеньями одной и той же цепи.
На наш взгляд, достаточно перспективна позиция самарской исследовательской группы из ИСИТО, которая использует следующую исследовательскую триангуляцию при исследовании организаций. При планировании проведения исследования социологи распределяют между собой уровни организации: часть исследователей работает с так называемыми «верхними эшелонами власти», другая - разрабатывает уровень среднего и низшего звена, работает на уровне цехов. Ни для кого не секрет, что социолог на предприятии должен «примелькаться», к нему должны привыкнуть, и он должен стать своего рода частью окружающей среды (этот подход мои самарские коллеги называют эффектом «фонарного столба»: когда человек, проводящий исследование, настолько сжился с окружающей средой, что стал как бы её частью.) Именно это помогает самарским социологам на каждом из этих уровней выявить своих собственных ключевых информантов, получить наиболее интересную информацию, а затем на своих исследовательских методологических семинарах проанализировать, какая информация подтверждается на всех уровнях, какая - заведомая «липа», а над какой информацией еще стоит поработать, и какой уровень для этого наиболее приемлем.
1 На момент написания книги в команду ИСИТО входят социологи, представляющие следующие города: Москва, Самара, Кемерово, Сыктывкар, Санкт-Петербург, Пермь, Екатеринбург.
74
Теоретическая триангуляция. Это наиболее сложный вид триангуляции, и по свидетельствам множества западных исследователей очень незначительная часть социологов достигает определенных высот в теоретической триангуляции. Как правило, в начале исследования существует некоторая сеть предположений, по которым и собираются данные. Было бы более предпочтительно, если бы гипотезы или предположения выдвигались на основе совершенно различных теорий, подчас даже и совершенно противоречивых. Объяснение одних и тех же фактов с точки зрения различных теоретических положений - это одно из средств снизить критические замечания в адрес исследователей.
Почему необходима теоретическая триангуляция? В некоторых областях, например в таких, где очень высока вероятность теоретической несовместимости, необходимость в теоретической триангуляции особенно высока. Так, например, взаимодействия внутри групп объясняют очень много теорий. Некоторые считают, что эти взаимодействия можно объяснить с помощью теорий обмена, другие считают, что здесь необходим функционалистский подход. Символические интеракционисты отстаивают правоту своей теории и так далее. И, как результат, нет единой обоснованной теории в этой области. Очевидная трудность в данном случае состоит в том, что аргументы типа «мы-то знаем, что только наша теория объясняет действительное положение вещей» - сами по себе очень ограничены и очень ненадежны для подбора определенных предположений и гипотез.
В некоторых случаях у исследователя появляются свои собственные теоретические объяснения, которые присоединяются к уже существующим и отдаляют все социологическое сообщество от синтеза теорий и результатов полевых исследований. Эти теории наиболее близки к тому, что Мертон называл «теориями среднего уровня» и годятся порой только для объяснения данных, анализируемых в каждом конкретном случае. Глэйзер и Страусе призывали в своей работе [144]к появлению обоснованных, определяющих сущность социологических теорий. Дензин [127] советует развивать концептуальные модели с позиции теоретической триангуляцией, что означает подход к данным с различных направлений и множеством гипотез в голове. Когда одна из теорий исчерпывает себя, можно привлечь следующую для объяснения фактов, которые остались необъясненными.
Шаги теоретической триангуляции. Вести (Westie, 1957) рекомендовал основные шаги процедуры теоретической триангуляции, которые, на наш взгляд, актуальны и поныне:
* 75
Сформулируйте все возможные предположения, имеющие право на существование в данной области;
Дайте возможные интерпретации по всем выдвинутым предположениям;
Предпринятое исследование проводится для того, чтобы определить, какие из этих гипотетических явлений существуют на эмпирическом уровне.
Те предположения, которые с треском провалились при проведении исследования, выбросьте в корзину, как и те интерпретации, которые с ними были связаны.
Самые удачные из предположений, которые были сформулированы, отбираются в ходе последующих эмпирических наблюдений.
В заключение сделайте перечень тех предположений, которые прошли проверку, и тех, которые провалились, и сделайте переоценку тех теорий, из которых они проистекали. Обозначьте теперь переформулированную теоретическую систему, основанную на всех точках рассмотрения и эмпирических подтверждениях, которые вы только что получили.
Преимущества теоретической триангуляции. Во-первых, как указывал Вести, теоретическая триангуляция минимизирует вероятность того, что исследователь будет представлять себе и миру недостаточно зрелые предположения, в рамках которых какие-либо противоречия будут игнорироваться. Во-вторых, имеет место еще одно преимущество теоретической триангуляции - это возможность использовать наиболее широкие обобщения. Социологи могут двигаться от специфических теоретических исследований к обобщенным теоретическим исследованиям, тем самым, подводя исследователя к «более обобщенному значению его эмпирических находок». И, наконец, триангуляция поощряет систематическую преемственность в теории и исследованиях.
Методологическая триангуляция. Этот тип триангуляции бывает двух видов: внутриметодный и межметодный.
Внутриметодная триангуляция - это когда исследователь использует только один метод, но внутри этого метода прибегает к множественным стратегиям для работы с данными. Тем не менее, внутриметодная триангуляция имеет свои собственные недостатки и представляет определенную угрозу валидности исследования.
Межметодная триангуляция - это использование нескольких исследовательских методов таким образом, что один метод усиливает
76
другой. И исследователь может достичь наилучших результатов, поскольку при таком подходе снижаются недостатки отдельного метода.
Как правило, межметодная триангуляция принимает различные формы, но в основном используют несколько методов для того, чтобы исследовать один и тот же объект.
Проблемы, связанные с построением исследования с помощью множественной триангуляции. Наиболее часто встречаемыми проблемами являются:
Определение объекта анализа, для которого могут быть привлечены различные теории.
Дефицит времени и денег для проведения исследования. Не всегда представляется возможным нанять большое количество социологов, проводить лонгэтюдные исследования ввиду ограниченности ресурсов. В этом случае, конечно, остается использовать наиболее полноценно то, что имеется в наличии.
Недоступность некоторых исходных данных, так как теории могут требовать наблюдения за очень интимными или скрытыми от глаз процессами.
На наш взгляд, к описанным выше типам триангуляции можно также добавить и триангуляцию респондентов: дать возможность респондентам оценить основные результаты исследования. Мы можем изложить перед респондентами в конце исследования тот или иной взгляд и записать их реакцию на него.
Итак, мы рассмотрели типы триангуляции, которые в основном применимы к исследованиям предприятий или организаций. Вместе с тем, на наш взгляд, к исследованию личности нужно подходить точно так же, как и к анализу организаций. При изучении индивидов необходимо учитывать возможности изменений в их стратегиях, жизненных траекториях с течением времени, а также их пространственные перемещения. Именно поэтому важна как пространственная, так и временная триангуляция. Так, напри-Мер, при изучении одиноких матерей [37] изучались стратегии их выживания, а также изменения, которые произошли в их жизни, с Интервалом в 9-12 месяцев. Такой подход к исследованию был оправдан, поскольку невозможно изучать стратегии, обращаясь только к одному определенному моменту в жизни одинокой Женщины. Для того чтобы понять, как изменяются планы, Жизненные обстоятельства одиноких женщин, были проведены Повторные интервью с респондентками через определенный
77
период времени, а в некоторых особо интересных случаях была проведена целая серия интервью, и именно это позволило установить достаточно тесный личный контакт с респондентами и появилась возможность взять у респондентовдневникис описанием событий их жизни.
Согласно Дензину [128], по отношении к личности существует три разных вида анализа:
агрегированный анализ - то, что обычно встречается в опросах общественного мнения, это когда для анализа привлекаются именно индивиды, но не их взаимоотношения;
интерактивный анализ - когда единицей анализа является скорее взаимодействие определенных групп, общностей, индивидов;
анализ общностей - способ, часто отождествляемый со структурно-функциональным анализом. В данном случае объектом для наблюдения является общность: группа, коллектив или даже целое общество. А взаимоотношения уже уходят на второй план, и они рассматриваются как отражающие определенное давление на эту общность или коллектив.
И, наконец, одно из главных требований Дензина состоит в том, что исследователь должен осуществлять синтез всех уровней и типов данных. Любое исследование должно комбинировать раз-личные уровни и типы данных.
78