Глава 8. Качество психодиагностики и
ИСПОЛЬЗОВАНИЯ ТЕСТОВ:
ОЦЕНКА ТЕСТОВ, КРИТИКА И АЛЬТЕРНАТИВЫ
При определении качества диагностики следует учитывать выделяемые нами три ее уровня и четыре компонента. Качество зависит, помимо других причин, от соответствия требованиям этих компонентов и от попыток организовать три уровня, вопреки их фактической “нестыковке”. Итак, существует необходимость в обсуждении качества теории тестов (классической и современной), теории различий между индивидами с точки зрения их предельных возможностей и типичного уровня функционирования, теории средовых условий и теории развития, в обсуждении адекватности методик и процедур, особенно тестов, и, наконец, адекватности диагностического процесса. Другими словами, анализ качества требует обсуждения существенной части как содержания, так и методов психодиагностики. Это, конечно, большая задача, но в известной степени ее избежать невозможно, поскольку согласно нашему определению психодиагностика не имеет собственного материала и собственного, только ей “принадлежащего”, объекта и должна, таким образом, заимствовать их у психологии и, в частности, у ее методов. До сих пор качество психодиагностики определяется главным образом на основе одного ее компонента, наиболее очевидного и конкретного, - тестов и опросников. Жаль, что сейчас отсутствует интерес к качеству других компонентов.
В ряде стран тесты документально оформляются и оцениваются. Например, в США “Ежегодник измерения умственных способностей” Буроса дает информацию обо всех опубликованных тестах и опросниках, для которых разработан метод получения объективных показателей. С их помощью оцениваются межиндивидуальные различия, и уже имеются исследования их надежности и валидности.
Сколько существуют тесты и опросники, столько их и критикуют. Первая линия критики, не снимающаяся с повестки дня, связана с вопросом о том, отражают ли в достаточной мере тесты, задания и задачи психологические процессы. Тесты часто конструировались в ответ на практические запросы общества или каких-либо влиятельных общественных институтов. Практические средства диагностики служили вполне определенной цели - достичь значимой прогностической валидности, но они не предлагали никакого существенного продвижения в понимании психологических процессов. Конструктная валидность намечала новые перспективы, но терстоуновская разработка простой структуры не была удовлетворительной. Поиски привели к подходу, изучающему процессы переработки информации (см. гл. 4). Второе, за что критикуют существующие методики, связано с использованием тестов. Часто тесты используются для принятия решений, имеющих для людей огромное значение. Объективны ли, справедливы ли такие решения в отношении любого человека и любой группы? Особое внимание вызывает в этом отношении тестирование групп меньшинств.
8. 1. Качество компонентов психодиагностики
Центральное место при обсуждении качества психодиагностики занимает первый компонент. Тесты и опросники являются конкретными продуктами диагностики. Разработана система для оценки тестов и опросников, затрагивающая и два других компонента. Во-первых, особое значение придается надежности и валидности. Это относится в большинстве случаев к классической концепции надежности и дихотомии прогностической и конструктной валидности. Обычно данные вопросы обсуждаются как относящиеся к надежности. Современная теория тестов пока играет скромную роль. В последнем по времени издании “Стандартов” психологических тестов (1987) современная теория тестов вообще едва ли играет хоть какую-либо роль. Можно ожидать, однако, что новые “Стандарты” будут включать требования, исходящие из современной теории тестов. В голландской версии “Стандартов” (1989) cовременная теория тестов рассматривается как набор моделей измерения, описывающих ответы на задания.
Теория преимущественно занимается той частью, которая связана с конструктной валидностью и анализирует внутреннюю структуру теста. Предполагается, что внутренняя структура отражает исследуемое (латентное) одномерное свойство. Неверно думать, что это чисто технический вопрос. Известный психометрист Лорд (1980, с. 20) писал: "Представляется достоверным, что такие тесты, как тесты на словарный запас, понимание прочитанного, арифметические операции, словесные аналогии, числовые ряды, и различные типы пространственных тестов в большей или меньшей степени близки к одномерным“. “Однако совсем нетрудно понять, что решение задачи требует не одной, а нескольких способностей”. “Мы можем легко представить себе тесты, которые не одномерны. Тесты достижений в химии отчасти предполагают натренированность в математике, а частично требуют знания нематематических фактов". Последнее замечание, возможно, соответствует действительности. Бежар (1983, с. 18), исследователь в области педагогики, доказывает, что одномерность нехарактерна для заданий или тестов, но при определенных условиях она может быть присуща ответам в заданиях. Возьмем следующий пример: допустим, что имеется одномерный тест на произнесение слов по буквам. Этот тест проведен в группе детей, страдающих дизлексией, и здесь он проявил себя не как одномерный. В данном случае многомерный характер теста может объясняться особым типом обучения, которое получают дети с дизлексией (Bejar, 1983). Итак, вопрос об одномерности - это вопрос эмпирический. Помимо знания внутренней структуры тестовых заданий, необходимы знания о взаимосвязи тестов друг с другом. Статья Кэмпбелла и Фиске (1959) повлияла на введение конвергентной и дискриминативной валидности. Вдобавок не надо забывать о прагматическом источнике тестов: тест должен прогнозировать значимый критерий (прогностическая валидность).
Классическая и современная теории тестов дают возможность конструирования тестов и исследования надежности и валидности, которые не используются во всей полноте в практическом тестировании и в диагностике. Новые модели так же, как и старые, не исключают возможности неправильного понимания. Что делать, если модель предполагает одномерность ответов, а тест в какой-либо группе (как в вышеприведенном примере у детей с дизлексией) дает не одномерные результаты, расходясь с исходной версией? Можно ли тогда делать заключение о том, что тест не имеет конструктной валидности?
Во-вторых, при обсуждении тестов и опросников принимают в расчет теоретические источники конструкта, особенности его использования, описание, категоризацию, прогностические возможности. Теоретические источники в большинстве случаев сводятся к психометрическим теориям о межиндивидуальных различиях в случае предельно возможного, а также типичного функционирования. Теории, описывающие различия средовых условий, и теории развития едва ли играют существенную роль. Вопрос о качестве диагностического процесса прямо не рассматривается, т.е. в оценке теста вопросы относительно качества процесса диагностики не учитываются. Однако из седьмой главы ясно, что процесс считается отвечающим научным требованиям, если он строится в соответствии с правилами проверки гипотезы.
В данном разделе показано, что качество диагностики должно соответствовать характеристикам описанных в этой книге компонентов и уровней. Фактически до сих подчеркивается только роль тестов. Разработана определенная система оценки. Система основана главным образом на правилах классической теории тестов. Современная теория тестов играет весьма скромную роль в измерении максимальных возможностей индивида или типичного уровня функционирования. Исключение составляют тесты школьных достижений, по крайней мере, в Нидерландах.