Общая валидность теста

Резюмируя сказанное выше, повторим, что доказательства валидности выводов, кото­рые можно сделать из результатов теста, традиционно делятся на три категории. Это не означает, Что существуют различные типы валидности; различные подходы к сбору доказательств валидности любого данного теста должны приводить к одинаковым выводам. Идеальным способом конструирования теста является последовательное использование на разных этапах разработки теста нескольких различных процедур.

Таким образом, валидность «встроена» в тест с самого начала, а не появляется на последних этапах разработки теста... Процесс доказательства валидности начинается с определения черт или конструктов, которые выводятся из психологической теории, преды­дущих исследований или систематичных наблюдений и анализа областей реального жиз­ненного поведения... Затем подготавливают пункты теста, соответствующие определени­ям конструктов. За этим этапом следует эмпирический анализ пунктов и отбор наиболее валидных пунктов из первоначальной их совокупности... На последнем этапе проводится доказательство валидности... по отношению к внешнему критерию, взятому из реальной жизни» (Anastasi, 1989, стр. 475).

Проблемы исследования валидности тестов

Процесс проверки валидности теста может быть длительным, и в результате получа­ется одно число — коэффициент корреляции. Это число может быть основой для при­нятия важных решений, и индустриально-организационные психологи должны по­стоянно проявлять внимание к проблемам, из-за которых в исследовании валидно­сти могут появиться ошибки. Здесь обсуждаются две такие проблемы — ошибки при формировании выборки и дифференциальная валидность. Важно также найти спо-

собы повышения эффективности исследований валидности. Один из возможных пу­тей — это генерализация валидности.

Ошибки при формировании выборки

В этой главе мы постоянно возвращались к мысли о том, что все измерения содержат ошибку. Одним из постоянных источников ошибок являются испытуемые, за которы­ми проводятся наблюдения. Существует много причин, по которым испытуемые, уча­ствующие в эксперименте (в том числе проходящие тестирование при исследовании надежности или валидности), могут отличаться по какому-нибудь важному аспекту от других испытуемых, которые тоже могли бы стать объектом наблюдения. Если эти различия играют решающую роль, то в исследование вносится ошибка формирования выборки. При этом снижается степень репрезентативности выборки для релевантной популяции.

Возможность генерализации — см. стр. 69.

Влияние ошибки формирования выборки сводится к снижению возможности ге­нерализации выводов из наблюдений, проведенных за членами выборки, на других людей, не входящих в эту выборку. Предположим, например, что по какой-то причине индустриально-организационный психолог может провести экспериментальный отбо­рочный тест при приеме на работу только с теми претендентами, которые приходят в отдел кадров компании в период с пятнадцати до семнадцати часов. В таком случае любая оценка критериальной валидности теста будет, по-видимому, основана на не­репрезентативной выборке.

Точная природа этой необъективности неясна, но описанная выборка почти навер­няка будет содержать непропорционально большое количество людей, которые поздно встают по утрам, а также претендентов, которые начали искать работу с утра и уже обращались в другие компании (и возможно, проходили там тестирование). Претен­денты, которые начали поиск работы рано, наверное, будут усталыми, а возможно, и разочарованными. Те, кто встал с постели около полудня, может быть, на самом деле и не очень заинтересованы в том, чтобы получить работу. В любом случае исследователь получит выборку результатов теста, отличающуюся от выборки, которая получилась бы при тестировании испытуемых в течение всего дня. Поэтому непонятно, можно ли использовать критериальный коэффициент валидности, который будет получен с ис­пользованием этих испытуемых, для всей популяции «претендентов на место в этой компании».

В этом примере описана очевидная ошибка формирования выборки, которой легко можно избежать, но реальная практика проведения исследований говорит о том, что какая-нибудь ошибка, допущенная при формировании выборки, обычно приводит к необъективным выводам. Это одна из причин того, что в научном методе придается столь большое значение верификации. В исследованиях валидности для верификации необходимо проверить первые оценки валидности с помощью другой выборки — то есть провести репликацию исследования. Если нет оснований подозревать, что вся выборка составлена некорректно (как в приведенном примере), то репликацию часто проводят с использованием какой-то части всех имеющихся испытуемых. Эта «выборка из выборки» называется резервной выборкой (hold-out sample); она со­ставляется как случайная из первоначальной выборки испытуемых. Сначала тести­руют остальных испытуемых из исследуемой выборки, а репликацию результатов проводят с помощью резервной выборки.

Научный метод — см. стр 41.

Метод резервной выборки позволяет экономить время. Если время не имеет боль­шого значения или возникает какая-либо проблема с первоначальной выборкой, мож­но осуществить репликацию исследования путем повторного проведения того же ис­следования в другое время и с другой выборкой испытуемых. Независимо от способа ее проведения, одна репликация считается абсолютно необходимым минимумом, если тест собираются использовать в прикладных целях. Если тест используется в течение сколько-нибудь длительного периода, то необходимо время от времени проводить его переоценку. Изменяются характер работы, стандарты и характеристики работников, обращающихся в данную организацию.

Верификация — см. стр. 68.