X, так как внимание аудитории будет определенным образом

сфокус1.г зано. Понятно, что такое воздействие Х может быть

эффективно лишь для предварительно тестируемой группы.

Хотя сензитивные влияния такого рода часто приводятся в

качестве иллюстрации эффекта, данные нескольких публикаций

указывают либо на отсутствие такого эффекта (см., например, Апаегзоп

[З], Оипсап е1 а1. [31], С1ос [42], Ьапа [64, 65], Ьапа, Кте [66], Р;ег5

[89], ЗоЬо! [103], 2е15е1 [139]), либо на озадачивающий эффект

взаимодействия. Так, Соломон [104] установил, что проведение

предварительного тестирования снижало эффективность эксперимен-

тального обучения чтению, а Ховленд, Ламздейн и Шеффилд [51]

предположили, что предварительное тестирование уменьшает убеж-

дающее воздействие фильмов. Таких эффектов взаимодействия

следует избегать, даже если они не столь обманчивы, как сенсибили-

зация (так как благодаря избытку опубликованных открытий ложные

подтверждения являются более серьезной проблемой в нашей литера-

туре, чем ложные опровержения. См. СатрЬеЦ [11, с. 168-170]).

Снижение внешней валидности, обусловленное влиянием

предварительного тестирования на X, конечно, зависит от того, в какой

степени повторяющиеся обследования характерны для той популяции,

на которую хотят распространить выводы. Исследовательские

интервью и процедуры измерения установок совсем нетипичны для

76 Дональд кэмпбелл

сферы массовой коммуникации. Но когда мы хотим обобщить данные

исследований в области педагогики, мы сталкиваемся с условиями, в

которых тестирование - обычное явление, особенно если эксперимен-

татор в качестве тестирования использует обычные опросы в классе.

Но, возможно, нежелательное взаимодействие тестирования с Х не

возникает и тогда, когда экспериментальное тестирование О будет

сходно с тем, которое всегда применяется в этой области. В тех же

случаях, когда тестирование осуществляется с помощью необычных

процедур или связано с маскировкой цели исследования, перестройкой

восприятия и мышления, удивлением, стрессом и т. д., желательно, а

возможно, и необходимо применять планы экспериментов с предва-

рительно не тестируемыми группами.

Взаимодействие отбора (состава группы) и X. Так как в

плане 4 контролируется влияние отбора только при интерпретации

различий между экспериментальной и контрольной группами, остается

опасность того, что полученные результаты валидны лишь для той

популяции, из которой были составлены экспериментальная и

контрольная группы. Такая возможность тем вероятней, чем больше

трудностей мы встречаем при поиске испытуемых для эксперимента.

Рассмотрим ситуацию, когда от экспериментирования с преподаванием

отказались девять школ и только десятая согласилась участвовать в

эксперименте. Почти наверняка эта десятая школа отличается по

многим показателям от девяти других и от основной массы школ, на

которую мы хотим распространить полученные данные. Эта школа,

таким образом, нерепрезентативна. Скорее всего, ее штат обладает

более высокими моральными качествами, в ней меньше опасаются

проверок, больше стремятся к совершенствованию, чем в обычных

<средних> школах. И хотя полученные результаты и будут обладать

внутренней валидностью, они справедливы только для школ такого

рода. Чтобы выносить суждения по этим вопросам, в отчет об

исследовании следует включать данные о том, сколько и каких школ и

классов были приглашены сотрудничать и отказались от проведения

эксперимента; в таком случае читатель сможет оценить степень

возможных смещений выборки. Вообще говоря, чем больше было

попыток наладить сотрудничество, чем в большей мере нарушается

77

сложившаяся практика и чем выше процент отказов от эксперименти-

рования, те> больше вероятность наличия эффекта специфичности

отбора.

Рассмотрим более подробно, что означает <взаимодействие

фактора отбора (состава группы) и X>. Если мы намерены проводить

исследование в рамках одной школы, которая выразила готовность

сотрудничать, то при случайном распределении испытуемых в

экспериментальную и контрольную группы мы можем не заботиться

об <основном эффекте> школы как таковой. Если средние результаты

экспериментальной и контрольной групп лишь в равной мере

улучшены посредством такого исследования, то этому не стоит

придавать значения. Если же окажется, что особенности этой школы

способствуют большей (по сравнению с той совокупностью, на которую

собираются распространить данные) эффективности эксперимен-

тального курса, то это обстоятельство может быть серьезным. Надо

убедиться в незначительности взаимодействия характеристик школы

(связанных, вероятно, с готовностью сотрудничать) с эксперимен-

тальным воздействием. Некоторые экспериментальные переменные

могут быть довольно чувствительны к характеристикам школы

(взаимодействовать с ними), другие - нечувствительны. Такие

взаимодействия могут возникать при использовании в исследовании

школ со сходными средними /О и могут отсутствовать, если значения

/О сильно отличаются друг от друга. Однако мы должны ожидать, что

взаимодействия будут более вероятны тогда, когда школы сильно

отличаются друг от друга по различным признакам, а не тогда, когда

они сходны.

Часто значительные смещения выборки возникают из-за инерции

экспериментаторов, которые не предусмотрели того, что более

репрезентативная выборка школ может отказаться от участия в

эксперименте. Вследствие этого большинство педагогических

исследований осуществляется в школах, где обучается непропор-

ционально большой процент детей университетских преподавателей.

Хотя достижение выборочной репрезентативности в полной мере

невозможно и хотя такой подход почти полностью отрицается во

многих науках (например, в большинстве публикаций на страницах