Эксперименты, которые дублируют реальный мир.

Глава 1.

Мы обсудили три эксперимента: использование наушников на ткацком производстве, сравнение двух методов заучивания фортепьянных пьес, и оценка двух сортов томатного сока.

Основы планирования эксперимента.

Глава 2.

Безупречный эксперимент провести невозможно.

Существует три вида безупречного эксперимента: идеальный, бесконечный и эксперимент полного соответствия.

В идеальном эксперименте допускается только изменение НП (и ЗП). Кроме того, одному и тому же испытуемому в одно и то же время предъявляются разные условия НП. Главное в нем—обеспечение неизменности всех побочных факторов.

Бесконечный эксперимент невозможен и бессмысленен т. к. смысл эксперимента заключается в том, чтобы на базе ограниченного количества данных делать выводы, имеющие более широкое приложение. Центральное значение здесь имеет достаточно большое количество данных.

Полностью безупречным не являются ни идеальный, ни бесконечный эксперименты.

Эксперимент полного соответствия, все обстоятельства проведения которого суть те же самые обстоятельства, на которые будут распространяться его выводы. Дополнительные факторы нужно сохранять не просто на неизменном, но и на адекватном уровне.

ВАЛИДНОСТЬ.

Существует два типа валидности: внутренняя и внешняя. Внутренней валидностью обладает эксперимент, в котором можно получить то же отношение между НП и ЗП, что и в идеальном или бесконечном экспериментах, т. е. устранить побочные влияния. Если эксперимент по своему проекту позволяет получить те же результаты, что и эксперимент полного соответствия, то он обладает внешней валидностью.

Источники нарушения внутренней валидности: факторы времени, факторы задачи, эффекты последовательности, предубеждение экспериментатора. Существует два следствия нарушений внутренней валидности. Это ненадежность эксперимента, если при большом разбросе данных проведено мало проб, и систематическое смешение, когда каждое из условий НП связано с уровнем одной из других переменных, и это нарушает внутреннюю валидность.

Эксперименты, которые улучшают реальный мир.

Глава 3.

Проведено три эксперимента, улучшающих реальный мир: посадка самолета на наклонную территорию, наблюдение с биноклем и без него при поисковых операциях на море и проверка качества работы с двумя высотомерами.

В искусственных экспериментах можно повысить внутреннюю валидность. Описаны три способа улучшения реального мира, позволяющие сделать это возможным. Первый из них—устранение систематического смешения. Второй—возможность получить необходимое количество данных за более короткий срок и тем самым повысить надежность эксперимента. И третий --сократить несистематическую изменчивость данных и их разброс.

Искусственные эксперименты ставятся в тех случаях, когда эксперименты с простым дублированием реального мира страдают недостатком внутренней валидности.

Эксперименты на предварительных выборках.

Глава 4.

Мы обсудили три эксперимента. Первый посвящен способам информирования о ценах на продукты, второй—улучшению навыка пилотов по выполнению посадочных операций при выполнении специальной тренировки, и третий—изучению испанского языка.

Первое преимущество экспериментов данного типа по сравнению с индивидуальным экспериментом заключается в том, что его результаты, полученные на выборке испытуемых, распространяются на более обширную популяцию.

Второе преимущество связано с наличием большого числа испытуемых. Становится возможным исследование схемы эксперимента с межгрупповым сравнением. Схема группы индивидуальных экспериментов просто неосуществима. В межгрупповой схеме устраняются такие источники нарушения внутренней валидности эксперимента, как эффекты последовательности и факторы задачи.

Эксперимент с межгрупповым сравнением порождает еще один источник нарушения внутренней валидности—индивидуальные различия испытуемых. Описаны два вида таких различий: такие очевидные различия как пол, возраст, образование, и несистематические различия, которые включают изменчивость поведения каждого человека и различия в выполнении задания разными людьми.

Надежность эксперимента повышается за счет привлечения большого числа испытуемых и сокращения несистематических вариаций. Последнее обеспечивается тем, что условия работы каждого испытуемого в группе одинаковы, а также путем сокращения разброса данных каждого испытуемого.

Существуют три стратегии составления групп испытуемых: случайная стратегия, подбор пар и случайная с выделением слоев. Их иллюстрациями служат три схемы экспериментов с межгрупповым сравнением, в которых все имеющиеся в наличии испытуемые распределяются по группам для каждого из экспериментальных условий. Все три метода устраняют систематическое смешение НП с индивидуальными различиями испытуемых. Надежность повышается за счет повышения числа испытуемых. Выборка испытуемых должна быть репрезентативна.

Случайная стратегия применяется не только для распределения по группам, но и для отбора испытуемых. Такой способ называется схемой случайно отобранных групп.

Если способ отбора испытуемых обеспечивает высокую внешнюю валидность (в отношении индивидуальных различий), то тем самым обеспечивается достаточное подобие групп, т. е. повышается внутренняя валидность. Группы, хорошо уравненные между собой по индивидуальным характеристикам, могут не быть достаточно представительными для исследуемой популяции. Т. е. высокая внутренняя валидность эксперимента не гарантирует его высокой внешней валидности. При использовании схемы индивидуального эксперимента связь между внешней и внутренней валидностью отсутствуют, поскольку та и другая зависят от разных факторов.

Вместе со случайным отбором можно использовать выделение слоев. Это дает пятую эффективную схему эксперимента с межгрупповым сравнением – послойный случайный отбор. Сначала популяцию разделяют на слои, а затем внутри каждого слоя применяют случайный отбор.