8.3. Качество диагностики: совершенствование
“Стандартов” продолжается
Не существует какого-либо окончательного заключения по поводу качества психодиагностики. За последней по времени редакцией “Стандартов” (1985) вскоре последует шестая редакция. Чтобы дать представление о “Стандартах”, ниже приводятся некоторые примеры, заимствованные из голландской редакции американской версии (1985).
Для раздела "Валидность" существует 26 стандартов. Например, правило 1.12: "Все критерии измерения и основания выбора этих критериев должны быть описаны детально, тщательно". "Надежность и погрешности измерения" содержат двенадцать стандартов. Например, правило 2.10: "Коэффициенты надежности могут быть различными для разных популяций. Тест должен иметь коэффициенты надежности применительно к каждой популяции, для которой он рекомендован".
В разделе "Усовершенствование теста" приводятся 23 стандарта. Например (3.23) : "Когда при подсчете результатов по тесту играют роль субъективные оценки диагноста, должна быть полностью описана основа системы оценивания, а также тренировка, которая необходима для достижения достаточной степени согласованности разных мнений."
"Шкалирование, нормы, и сравнение тестовых показателей" включает семь стандартов. Например (4.5): "Если можно ожидать, что тест будет использоваться для интерпретации результатов групп, а не отдельных лиц, то и нормы должны быть соответствующими, основанными на групповых данных."
Категория "Руководство" содержит одиннадцать стандартов, и 5.7 заключается в следующем: "Рекламный материал для теста должен содержать правдивую и валидную информацию. Издателям тестов следует избегать преувеличения возможностей теста”. За “Стандартами” 1985 г. скоро последуют новые, в которых, возможно, найдут свое место открытия и достижения современной теории тестов. Хамблтон (редактор обзорных комментариев издания 1985 г.) - сделал несколько критических замечаний, например, о количестве правил и уместности некоторых стандартов, отсутствии стандартов, соответствующих современной теории тестов, о разделении стандартов на уровни ("существенный, первоначальный, высоко желательный, отвечающий стандарту, второстепенный”) и много других, указывающих на невалидность шкалы суждений, несколько замечаний по тестам достижений, высказал предостережение против небрежного применения “Стандартов”, а также невозможности удовлетворить все требования категорий надежности и валидности, упомянул об избытке профессиональной лексики. Эти комментарии могут помочь создателям шестой редакции “Стандартов”.
В этом разделе показано совершенствование “Стандартов” для тестов. Это логическое следствие разработки компонентов и уровней диагностики. Критика последней редакции “Стандартов для психологических и образовательных тестов” (1985) вскоре будет учтена новым, шестым, изданием “Стандартов”.
8.4. Критика: сопоставление тестов с содержанием
психических процессов в реальном контексте
Тесты и опросники направлены на измерение “продуктов”, а не процессов. Это мнение о тестах интеллекта послужило Пиаже поводом для отказа от предложения адаптировать шкалу Бине-Симона для использования в Швейцарии. С того времени это критическое замечание повторяется в той или иной форме. Сегодня можно видеть два варианта этой линии критики и два типа ответов на нее.
1. В ответ на упрек в пренебрежении процессами их пытаются исследовать в рамках эмпирически-аналитической методологии. Примером может служить исследование информационных процессов. Некоторые их примеры приводились в четвертой главе.
2. Другая критическая точка зрения отвергает эмпирически-аналитический подход, считая его невалидным для получения информации о реальных процессах. С таких позиций высказывает критику Инглби (1994). Он отвергает претензии на объективность информации о человеке, если она получена с помощью тестовых показателей. Человек рассматривается как существо, неразрывно связанное с окружающей средой. Инглби называет тестовые показатели “обманчивыми и ограниченными, поскольку не существует объективного или независящего от теоретических положений наблюдения и каждый индивид “впаян” в социальный контекст” (с. 117). Психология тестов основывается на “вере” и существует как “наука” в силу того, что “имеет общественный статус и власть”. Эти замечания носят преувеличенный характер и рассматривают работу диагноста как бессодержательную. Положение сводится к тому (на языке теории тестов, не приемлемой для Инглби), что существует столько достоверных показателей индивида, сколько существует контекстов, в которых ему случается проявлять себя. Неправильно искать у индивида один истинный показатель, который может быть оценен количественно.
Диагност не согласится с такой точкой зрения. В достижениях и характеристиках индивида существует некоторая стабильность, а назначение применения тестов - не в получении власти. Назначение теста - в сборе информации, которая может помочь в принятии решения. Индивид не рассматривается как некая монолитная констелляция. Он также не рассматривается обособленно от ситуации и контекста, но вместе с тем не следует думать, что индивид целиком и полностью зависит от контекста. Исследование должно обретать удвоенную силу благодаря знаниям индивидуальных характеристик в зависимости от контекста и вне его.
Инглби высказал три фундаментальных положения, заставляющих сомневаться в результатах теста. Во-первых, результаты отражают субъективное мнение испытуемого о ситуации тестирования. Если представление испытуемого отличается от замысла тестирующего, результат может быть невалидным. В таком случае тестирующий будет стараться прояснить испытуемому цель тестирования. Вдобавок, если это случается с тестом или батареей тестов регулярно, данная процедура будет приводить к невалидным результатам, в том числе отсутствию прогностической и конструктной валидности. Психолог, занимающийся тестами, признает, что число как продукт теста является результатом многих процессов, некоторые из которых ему известны, а многие нет. Более того, он умышленно заключает некоторые факторы в скобки. Избежать этой процедуры ученый, ограниченный рамками существования “здесь” и “теперь” (кантовские синтетические априорные суждения), не может. Вопрос в том, как далеко заходит это ограничение, насколько значима такая редукция, поскольку важно не потерять целое. В-третьих, поведение - это те или иные проявления индивида в естественной ситуации. Число баллов не может служить показателем “внутренней” способности индивида, что не будет отрицать ни один диагност.
Приведенные выше аргументы подчеркивают чувствительность показателей теста к влиянию различных факторов. Стандартизация теста означает, что среда берется как более или менее одинаковая для всех индивидов. Различия, выявленные в условиях стандартизации, рассматривались как выражение реальных индивидуальных различий. Итак, влияние условий не отрицается, но оно вынесено за скобки. Можно, конечно, попытаться сделать темой эмпирического изучения контекст и его различия. Но и при таком типе изучения тесты необходимы для демонстрации влияния контекста.
Если есть заинтересованность в изучении воздействия контекста на поведение, следует разрабатывать процедуры, которые расширяют возможности выявления влияний контекста. Ингбли утверждает, что эти процедуры в то же время более адекватно покажут психологические процессы. Процедуры характеризуются изучением с помощью наблюдения экологической ниши индивида - плотным наблюдением и отсутствием спешки в теоретическом обосновании. Это напоминает старое изречение представителей феноменологии: ”То, что являет себя так, как оно являет, само позволяет себя являть“. Качественный подход должен быть разработан для некоторых вопросов и проблем точно так же, как это было в ходе совершенствования тестов. Какова структура процедуры, как должны быть описаны результаты?
Однако вероятность того, что такие новые и в то же время старые процедуры превзойдут классические стандартные тесты и опросники, не велика. Тесты и опросники, хотя и ограничены, но представляют собой достаточно эффективные средства получения информации о характерных качествах индивида. Два подхода к достижению качественного содержания - ориентированный на исследование и на применение тестов - не противоречат друг другу. Качественный подход выступает дополнением классических методов.
Выделение специфического контекста как существенного для психодиагностики параметра, возможно, составит в ней новое направление. Некоторые авторы убеждены, что психодиагностика должна охватывать также анализ ближайшего окружения. Конкретная проблема клиента должна определять диагностическую деятельность. Теории же в силу своей сжатости могут иногда “не замечать” сложности проблемы.
Это направление обещает более полно учитывать все стороны проблемы. Реальный мир не будет выноситься за скобки, а будет включен в диагностический процесс. У представителей этого направления обширные замыслы, но они остаются довольно абстрактными. Примером этого подхода является критика классического тестирования студентов. Виггинс (1993) отвергает все направление тестирования способностей в учебных заведениях, потому что наиболее интересные стороны этих способностей учащихся не стандартизованы. Реальное знание - это знание не фактов, а того, как их осмыслили студенты. Виггинс считает, что мы имеем те тесты, которых заслуживаем, но это не освобождает учителей от обязанности считать процесс обучения центральным в их деятельности. Тесты всегда представляют собой некоторый компромисс: они упрощены и вынесены за рамки жизненного контекста, потому что должны быть объективными и простыми в подсчете. Измерение определяется однократным срезом, в то время как общей практикой должна стать лонгитюдная оценка. Многие пользователи тестов склонны к позиции “фатализма”, согласно Виггинсу (1993, с. 5), поскольку результаты выглядят стабильными и неизменными. Оценка должна служить только одной цели - совершенствованию достижений учащихся. Взаимоотношения между оценивающим и учеником имеют нравственный аспект и, следовательно, требуют уважения друг к другу. Это взаимодействие характеризуется своевременностью, точностью и значимостью “обратной связи”, широкими возможностями обучения в благоприятном окружении тактичными учителями. Виггинс завершает изложение своих взглядов предложением “Манифеста” о правах студентов, называя его “Биллем о правах” (с. 28). Пламенные аргументы во имя усовершенствования чего бы то ни было в этом мире часто заканчиваются такого рода предложениями. Моисею понадобилось всего десять заповедей (указаний, как действовать и думать), что лишь на три больше магического числа “семь”, характеризующего нашу память. Лютер усложнил дело его последователей, пригвоздив более чем сто положений к двери дворцового монастыря в Виттенбурге. У Виггинса “Права студента” излагают требования минимального утаивания содержания тестов, большего изучения реальных проблем, раскрытия критериев, на основе которых делается вывод, реальной “обратной связи”, атмосферы обсуждения и открытости, а также использования таких тестов, в которых студенты могли бы обосновывать свои ответы.
Выступления, подобные декларации Виггинса (1993), вдохновляют. Они помогают сохранить критичность по отношению к смыслу и назначению тестов, оправдывают определенное нежелание применять известные теории и тесты, т.к. выступают против любого рода предрешенности. Они требуют перенести центр тяжести в учительской и диагностической деятельности на диалог с учащимся (клиентом).
В этом разделе показано, что тесты как способ получения знаний о психических процессах подвергаются критике. При существующем нежелании использовать теории, навязывающие поведенческому феномену свою структуру, качественное исследование того контекста, в котором возникает явление, выдвигается как альтернативное. Альтернатива привлекательная, но она не привела пока к многочисленным исследованиям. Тест и качественный анализ могут дополнять друг друга.