16. Ввиду синхронности экспериментального и контрольного режимов

фоновая стимуляция и естественное развитие находятся под

контролем. Главный эффект тестирования контролируется, поскольку

оно осуществляется одинаково как в экспериментальной, так и в

контрольной группе. Инструментальные погрешности могут создать

известные трудности, если итоговое тестирование проводится под

-10 0 10 20

Оценки предварительного тестирования

Рис . 9. Данные машинного эксперимента типа 16: эффект отсутствует.

О 10 20

Оценки предварительного тестирования

Рис . 10. Данные машинного эксперимента типа 16: эффект имеет место.

_________________171

эгидой той же организации, которая ведала отбором кандидатов:

благодарность счастливчиков и горечь обойденных может привести к

различиям в выражении ими своих установок, к различной степени

преувеличения собственных успехов. Этот недостаток присущ также

истинному эксперименту с разрывом ранговой связки. Этот фактор

можно проконтролировать, поручив продолжение исследования другой

организации. Мы считаем, что, согласно приведенным выше соображе-

ниям, эффекты регрессии и состава групп не могут повлиять на

интерпретацию результатов, даже несмотря на неэквивалентность

групп и наличие регрессии. Оба фактора контролируются путем

детального представления соответствующих зависимостей, а не

посредством уравнивания групп. Фактор выбывания будет сказы-

ваться, если последующее тестирование и распределение благ

производится одной и той же организацией: получившие премию или

место на курсах будут, по всей видимости, более охотно сотрудничать,

чем те, кто оказался в контрольной группе. Между прочим, похвальное

в обычных условиях стремление к репрезентативному опросу всей

намеченной выборки может оказаться здесь дезориентирующим. Если,

например, рассылка анкет со штампом другой организации ведет к

снижению готовности сотрудничать с 90 до 50%, то эксперимен-

татор может отнестись к этому отрицательно, так как он стремился к

100%-Ному охвату получивших премию. Он готов забыть, что его

действительная цель - получить поддающиеся интерпретации данные,

что никакие цифры нельзя интерпретировать изолированно и что

использовать данные по премированным можно лишь при наличии

сопоставимой контрольной группы. По этой причине, а также из-за

опасности инструментальной погрешности привлечение независимой

организации с научной точки зрения предпочтительнее, а 50%-ный

возврат анкет из обеих групп лучше, чем 90%-ный из экспе-

риментальной и 50%-ный из контрольной группы. Проблема

выбывания остается в силе и для истинного эксперимента с разрывом

связки. Для обоих экспериментальных планов угроза внутренней

валидности со стороны взаимодействия состава групп и естественного

развития находится под контролем. В случае квазиэксперимента это

объясняется невозможностью отнести явный скачок регрессии на счет

172 Дональд кэмпбелл

такого взаимодействия. Угроза внешней валидности со стороны

взаимодействия между эффектом тестирования и Х контролируется

постольку, поскольку основные измерения, используемые для принятия

решения об отборе кандидатов, являются частью генеральной

совокупности, на которую предполагается распространить выводы.

Внешняя валидность истинного эксперимента с рандомизацией

ранговой связки и нарушением непрерывности регрессии особенно

зависит от взаимодействия между составом групп и X. Иначе говоря,

эффект демонстрируется только для очень узкого класса значений ,

равных критическому. Однако в случае квазиэксперимента возмож-

ности делать заключения, по-видимому, шире.

КОРРЕЛЯЦИОННЫЕ ПЛАНЫ И ПЛАНЫ ЕХ Р05Т РАСТО

Одним из признаков квазиэксперимента, все отчетливее высту-

павшим при обсуждении последних девяти планов, является то,

насколько экспериментатор может управлять взаимодействием X, то

есть вторгаться в нормальный ход событий. Разумеется, чем больше он

контролирует X, тем больше он приближается к осуществлению

истинного эксперимента. Это особенно справедливо в отношении

планов 7 и 10. Планы 7, 10, 12, 13 (но не 13а) и 14 применимы как в

случае естественно возникающих воздействий, так и в случае

воздействий, намеренно вводимых экспериментатором. Там, где Х

остается вне контроля, эксперимент вызывал бы больше подозрений, и

те, кто еще согласился бы назвать квазиэкспериментом его варианты с

воздействием, контролируемым экспериментатором, не захотели бы

применять этот термин к случаям неуправляемого воздействия. Не

вдаваясь в обсуждение этого вопроса, подчеркнем только ценность

анализа результатов неуправляемого воздействия по типу анализа

экспериментальных данных по сравнению с некоторыми вводящими в

заблуждение оценочными описаниями и рассуждениями, к которым

слишком часто прибегают в подобных случаях.

План 15 прямо предназначен для изучения эффектов естественно

возникающих X, но планы, обсуждаемые в этом параграфе (их, правда,

чаще именуют не планами квазиэксперимента, а планами анализа

173

данных), еще более интегрированы в естественной обстановке. Мы

начнем наше изложение с простого корреляционного анализа, затем

перейдем к двум в общем приемлемым планам, а в конце подробнее

остановимся на исследованиях ех роз1 гас1о, которые даже в лучшем

исполнении признаются неудовлетворительными.

Корреляция и каузальная связь

План 3 является весьма слабой разновидностью корреляцион-

ного плана, так как он предполагает сравнение лишь двух естественных

единиц, различающихся не только наличием и отсутствием X, но и

огромным числом иных признаков. Каждый из этих признаков может

оказывать влияние на результаты тестирования и, следовательно, давать

основания для гипотезы, конкурирующей с гипотезой о том, что эффект

вызван X. И нам не остается ничего другого, как еще раз признать

невозможность интерпретации различий между двумя естественными

объектами. Распространим теперь это сравнение на большее число

независимых естественных случаев наличия и отсутствия Х и

связанных с ними различий в О. Поскольку каждая естественная

реализация Х отличается от других по своим признакам, эти признаки

уже в меньшей степени оправдывают соответствующие конкурентные

гипотезы. Таким образом, могут быть установлены довольно

внушительные корреляции-как, например, между курением и раком

легких. Могут ли такие данные, подобно данным эксперимента,

свидетельствовать о каузальной связи?

Прежде всего отметим один положительный момент. Такие

данные имеют отношение к гипотезам о каузальной связи постольку,

поскольку они могут их опровергнуть. Нулевая корреляция снижает

правдоподобие гипотезы. При высокой корреляции оно возрастает,

ибо гипотеза избежала опровержения. Иначе говоря, корреляция не

обязательно указывает на наличие причинной связи, но каузальный

закон, поскольку он связан с различием между средними значениями,

предполагает наличие корреляции. В любом эксперименте, где Х

привело к увеличению О, будет обнаружена положительная бисери-

альная корреляция между наличием/отсутствием Х и данными

174

Дональд КЭМПБЕЛЛ

итогового тестирования или приращением показателей (от предвари-

тельного обследования к последующему). Отсутствие такой

корреляции может опровергнуть много простых, общих каузальных

гипотез, гипотез о главных эффектах X. В этом смысле относительно

недорогой корреляционный подход может служить для предвари-

тельного испытания гипотез, и те, которые его выдержат, могут быть

затем подвергнуты более дорогой экспериментальной проверке. Кац,

Маккоби и Морз [57], обосновав этот подход, провели исследование, в

котором влияние лидерства на производительность труда было вначале

изучено корреляционным методом, а затем основная гипотеза была

подвергнута экспериментальной проверке (Могве, Ке1тег [82]).

Внимательное ознакомление с исследованиями в педагогике

показывает, что корреляционные данные скорее истолковываются в

пользу существования каузальной связи, что правдоподобные

конкурентные гипотезы нередко выпадают из поля зрения исследо-

вателя и что для установления временной последовательности

каузальных связей важно если не управляемое воздействия X, то хотя

бы развернутые во времени наблюдения. Если, например, поведение

учителя и ученика скоррелировано, то в соответствии с нашими

культурными стереотипами мы почти никогда не принимаем в расчет

возможность влияния поведения ученика на поведение учителя. Даже

когда в естественных условиях как будто выявляется внутренне

присущая событиям временная последовательность, избирательность

нашей памяти может отобразить эту причинно-следственную связь в

обратном направлении. Допустим, например, было установлено, что

администраторы лучших школ имеют лучшее образование и что в

школах, где администраторы часто меняются, низок моральный дух

персонала. Почти неизбежно мы заключим из этого, что более высокий

уровень образования администраторов и стабильное руководство ведут

к более высокому уровню школ. Но каузальная цепочка может быть

прямо противоположной: лучшие школы (неважно, по каким причинам

лучшие) могут вызывать у хорошо образованных людей желание

остаться, тогда как, оказавшись в более слабой школе, они пытаются

искать работу в другом месте. Точно так же лучшие школы могут

создавать подходящие условия для более продолжительного пребыва-

175

ния администратооа на своей должности. Еще чаще, чем пресловутая

обратная корреляция, нас может вводить в заблуждение корреляция с

третьей переменной: лица, обладающие правом решать, кто будет

подвергнут X, пользуются им так, что высокие результаты достигаются

и без всякого X. К этим случаям мы еще вернемся в последнем

разделе, посвященном плану ех ров!. гас1о.

Истинный эксперимент тем и отличается от условий корреля-

ционного исследования, что процесс рандомизации разрушает любую

закономерную связь между характеристиками учеников (пред-

шествующее событие) и предъявлением им X. При наличии

предварительного тестирования и возможности четко определить, кто

будет подвергнут X, а кто нет, эксперименты, проведенные по планам 10

и 14, могут оказаться убедительными даже без рандомизации. Но для

естественного осуществления эксперимента, в котором не проводится

предварительное тестирование (имитируемого планом 6), требуются

совершенно особые условия, которые почти никогда не реализуются.

Но и здесь в соответствии с нашей общей установкой следует

внимательно присматриваться к ситуациям, в которых можно получать

поддающиеся интерпретации данные. Это ситуации, в которых Х

реализуется произвольно, вне всякой закономерности или связи с

предшествующими событиями. В идеале решения о произвольном

воздействии должны был> многочисленные и взаимно независимыми.

Более того, они должны подкрепляться какими-либо дополнительными

данными, пусть самыми слабыми, вроде тех, которые, скажем, удается

получить посредством ретроспективной методики предварительного

тестирования. Саймон [101, с. 10-61] и Уолд [137] привели доводы

в пользу того, что каузальная интерпретация простой или частичной

корреляции зависит от наличия правдоподобной каузальной гипотезы и

отсутствия правдоподобных конкурентных гипотез, объясняющих

корреляцию на другой основе.

В одном таком корреляционном исследовании настолько удачно

использованы обстоятельства, что о нем следует упомянуть. Барч,

Трамбо и Нэнгл [4] пользовались в качестве Х наличием или

отсутствием сигнала поворота от впереди идущего автомобиля, а роль

зависимой переменной играл факт включения или невключения такого