Бодалев А.А. - Общая психодиагностика

столбца — справа от столбца, содержащего ключ по основной диагно-

стической шкале С. Если в строке k+1 зафиксированы баллы, подсчи-

танные по основному ключу, то в строке k+2 - баллы, подсчитанные по ключу для шкалы лжи. Баллы Хk+2 отражают величину тенденции диссимуляции (социальной желательности) у данного испытуемого

(низкие значения Хk+2 отражают тенденцию симуляции асоциальности или агравации - отягощения психической дезадаптации).

Рис. 15 Схематическое представление таблицы«пункты

(t) - испытуемые (S)», вектора суммарных баллов Хk+1, вектора с баллами по шкале лжи Хk+2, вектора С со значениями ключа по основной шкале, вектора L с ключом по шкале лжи

Для успешного использования шкалы лжи пункты, относящиеся к этой шкале (имеющие ненулевые значения L), должны быть переме-

шаны в тестовом буклете с пунктами-вопросами, тестирующими основ-

ное психическое свойство (в противном случае -если все они собраны вместе - достоверность искусственно возрастает).

Оценка достоверности пунктов достигается с помощью статисти-

ческой процедуры, аналогичной процедуре измерения внутренней ва-

лидности пунктов (надежности-согласованности - см. раздел 3.2): если при измерении внутренней валидности следует прокоррелировать ка-

ждую строку 1, 2,..., k со строкой k+l, то при измерении достоверности следует прокоррелировать каждую строку1, 2,..., k со строкой k+2

(подходят точечно-бисериальный или четырехклеточный коэффициен-

131

ты корреляции). Наиболее высокие по модулю значения корреляции должны быть получены в этом случае для пунктов, из которых состав-

лена сама шкала лжи(это подтверждает ее консистентность, диффе-

ренцирующую силу для данной выборки). Положительная значимая корреляция для г (ti., Хk+2) пункта из основной шкалы Сi ¹ О указывает на то, что данный пункт оказывается «прямым» по шкале социальной желательности; отрицательная значимая корреляция указывает на то,

что данный пункт является «обратным» по этой шкале.

При подготовке особенно значимого психодиагностического об-

следования, в котором надо принципиально исключить всякую воз-

можность преднамеренной фальсификации результатов, следует до-

полнить критерий оценки достоверности с помощью особой шкалы лжи еще одним критерием, основанным на использовании«фальсифици-

рующей инструкции», Для этого после обычной инструкции той же са-

мой пилотажной выборке психолог дает инструкцию: «А теперь снова выполните задание, но старайтесь описать себя так, чтобы выглядеть максимально благоприятно в глазах большинства других людей». В

результате применения такой инструкции психолог получает дополни-

тельную таблицу, аналогичную таблице на рис. 15, только содержа-

щую фальсифицированные данные. В таком случае кроме подсчета очень грубого индекса «желательности» по формуле (3.3.2) у психо-

лога возникает возможность поэлементного сравнения ответов испы-

туемых на один и тот же вопрос в обычной и фальсифицированной ди-

агностических ситуациях. Очевидно, что недостоверным следует счи-

тать вопрос, ответы на который будут изменены в фальсифицирован-

ной ситуации в определенном систематическом направлении. Здесь пригодится простейший критерий значимости изменений, основанный на распределении «хи-квадрат» (Рунион Р., 1982, с. 57-61). Для каж-

дого пункта строится четырехклеточная матрица сопряженности:

«После»

	+	-
«До» +
	А=40	В=36
	С=22	D=48

Здесь в клеточке А указана частота сохранения ответа«верно» на некоторый /-и вопрос (из 76 ответивших «верно» таких оказалось

132

только 40 испытуемых), в клеточке В- частота изменения ответа

«верно» на ответ «неверно» и т. д. Как видим, смена инструкции при-

вела к значительным изменениям. Но для оценки значимого направле-

ния этих изменений автор критерия Макнимар предложил сравнивать между собой по критерию «хи-квадрат» только элементы В и С этой матрицы:

2	(			B - C		-1)2
xe	=							(3.3.3)
				B + C
где	x2			- вычисленное				эмпирическое значение статистики -хи
	e

квадрат

с одной степенью свободы. Для нашего примера xe2 =2,91, что

ниже, чем граничное значение xгр2 =3,84, и, следовательно, нулевая

гипотеза об отсутствии значимых направленных изменений не может быть отвергнута - пункт не является значимо нагруженным артефакт-

ным фактором социальной желательности и может быть включен в ди-

агностический вариант теста-опросника без изменений.

По результатам такого исследования удобно составить табличку К´2: в первом столбце -показатели корреляции пунктов со шкалой лжи, во втором - показатели значимости изменений при переходе к фальсификации. Безусловно достоверными можно считать только те пункты, которые не получили значимых :коэффициентов ни в первом,

ни во втором столбце. Если таких пунктов оказывается слишком мало для составления надежной шкалы и если среди недостоверных пунк-

тов достаточно много таких, которые обладают существенной внут-

ренней (корреляция с суммарным баллом по основной шкале) или внешней (корреляция с критерием) валидностью, то следует прибег-

нуть к тактике балансирования: ввести в основную шкалу одинаковое количество «прямых» и «обратных» пунктов по шкале социальной же-

лательности так, чтобы все четыре квадранта на рис. 13 были запол-

нены пунктами равномерно (среди «прямых» по основной шкале было бы поровну «прямых» и «обратных» по желательности, и среди «об-

ратных» по основной - также поровну).

133

Без указанных предосторожностей тест-опросник неизбежно бу-

дет давать систематическое искажение результатов(в сторону по-

вышения или понижения баллов по основной шкале) всякий раз, когда испытуемый будет квалифицировать диагностическую ситуацию как ситуацию экспертизы.

Указанные проблемы и приемы обеспечения достоверности -от носятся не только к тест-опросникам, но и к другим техникам стан-

дартизованного самоотчета, подверженным мотивационным искаже-

ниям. Существует теоретическая возможность преодолеть все эти про-

блемы. Но на практике это оборачивается огромной эмпирико-

методической работой.

Другой путь - управление процессами категоризации в ходе са-

мой диагностики. В так называемой«репертуарной модификации» тест-опросника испытуемому специально предлагают выполнять тест не только от своего имени, но и от имени определенного репертуара ролей: «большинство людей», «моральный человек», «преуспевающий человек» и т. п. (Шмелев А. Г. и др., 1984). Извлечение практических выгод из подобной модификации обусловлено возможностью компь-

ютерной обработки результатов либо сразу же после тестирования,

либо даже в ходе самого тестирования (см. раздел 3.6).

Порядок действий психолога при проверке валидности. Очень трудно выделить универсальный алгоритм работы психолога по про-

верке валидности, ибо существуют различные подходы к обеспечению валидности, обусловленные теоретико-методологическими различиями определенных психологических школ. Для прагматически ориентиро-

ванных тестологов (каковыми традиционно являлись до недавнего времени почти все англо-американские специалисты) главный момент

- поиск операционально строго заданного социально-прагматического критерия валидности, по отношению к которому диагностические тес-

ты и их составные части (пункты) подбираются как бы автоматически -

в ходе эмпирико-статистических процедур сбора и корреляционного анализа результатов. Но, конечно, неверно было бы приписывать это-

му подходу «бездумность в опоре на статистику»: ведь статистика только тогда позволяет выявить валидное подмножество пунктов, ко-

гда исходное множество подобрано не случайно- с использованием априорных корректных содержательно-психологических представле-

134

ний.

Современные методологи психологического тестирования факти-

чески единодушно приходят к признанию (как наиболее оптимальной)

рационально-эмпирической стратегии конструирования теста и про-

верки валидности. Перечислим этапы этой стратегии.

1. Теоретический анализ диагностического конструкта, разра-

ботка теоретической концепции тестируемого психического свойства.

Выявление (с использованием литературы) системы взаимосвязанных диагностических конструктов, внутри которой новый диагностический конструкт характеризуется определенными структурно-функциональ-

ными связями и отношениями. Прогнозирование результатов корре-

ляционных экспериментов по проверке конструктной валидности.

2.Выделение составных частей теоретического конструкта,

формулирование системы «эмпирических индикаторов» - операцио-

нально однозначных показателей, фиксирующих проявление конст-

рукта в различных поведенческих ситуациях. Конструирование пунк-

тов теста.

3.Формулирование релевантного социально-прагматического критерия для проверки валидности.

4.Планирование и проведение корреляционного исследования

(или квазиэксперимента) на специально подобранной выборке испы-

туемых, для которых известно значение критериального показателя, а

также результаты по родственным психологическим тестам. При необ-

ходимости на этих испытуемых проводятся дополнительные тесты с целью получить возможность корреляционной проверки конструктной валидности теста (экспертные оценки в данном случаерас сматриваются в статусе одной из возможных параллельных процедур получения критериальной или психологической информации). Оценка валидности эмпирических индикаторов.

5.Исследование достоверности результатов (если используется самоотчет и диагностическая ситуация может быть воспринятаис пытуемыми с настороженностью). Оценка достоверности эмпирических индикаторов.

6.Отсев пунктов, не удовлетворяющих критериям валидности и достоверности. Измерение надежности для сокращенной шкалы, со-

стоящей только из валидных пунктов. Если надежность оказывается

135

невысокой, то психолог снова возвращается к этапу1 - уточняет тео-

ретические представления.

3.4. ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИИ МЕТОДИК

Рассматривая в предыдущем разделе вопрос о порядке проверки валидности, мы вплотную подошли к вопросу о целостной стратегии создания, эмпирической апробации и внедрения методики в практику.

Создание оригинальной методики или адаптация зарубежной методики не могут сводиться только к проверке(или перепроверке)

отдельных психометрических свойств - репрезентативности, надежно-

сти, валидности, достоверности - в произвольной последовательности.

В одних случаях целесообразно начинать с одного этапа работы, в

других - с другого.

В действительности любая реальная ситуация использования те-

ста не является ситуацией только«конструирования» или только

«применения». Можно без преувеличения сказать, что существует континуум между крайними полюсами:

«конструирование» __________________ «применение»

и каждая ситуация до определенной ступени удалена от обоих полюсов. Трудно назвать такой случай, когда бы конструирование со-

вершенно нового теста начиналось с нуля, «на пустом месте». Также трудно найти и такие случаи, когда все аспекты тестирования были бы полностью неизменными и воспроизводили бы уже совершенноис следованную нормативную ситуацию применения готового теста.

Но все это многообразие ситуаций, всю комбинаторику незави-

симых параметров психологи-практики, как правило, пытаются свести к двум-трем типовым ситуациям.

1. Ситуация применения. Тест кем-то разработан (возможно, В:

других социокультурных условиях), известны тестовые нормы, полу-

ченные на представителях данной языковой культуры (несоответствие выборки стандартизации и выборки применения по половозрастной структуре и профессионально-культурным признакам признается не-

существенным).

136

2. Ситуация адаптации. Тест кем-то разработан– проверены надежность и валидность, но отсутствуют тестовые нормы (как прави-

ло, отсутствуют вообще для любых представителей данной языковой культуры). Задача адаптации сводится, таким образом, к построению тестовых норм.

3. Ситуация конструирования. Есть концепция психического свойства, но нет процедуры его измерения, удовлетворяющей требо-

ваниям места, времени, возможностям количественного анализа и ог-

раничениям прочих ресурсов. Надо придумать измерительную проце-

дуру, проверить ее надежности валидность, построить тестовые нор-

мы.

Остановимся прежде всего на вопросах адаптации так называе-

мых переводных тестов. Путь быстрого пополнения репертуара ме-

тодик за счет множества готовых зарубежных методик кажется многим психологам наиболее экономичным, кратчайшим путем к надежной и валидной психодиагностике. Но ведь если при этом адаптация сводит-

ся только к построению нормативного распределения тестовых баллов,

то это означает, что валидность и надежность адаптированной методи-

ки в новых условиях принимаются на веру, а теоретическая концепция автора теста и содержание использованных им критериев валидности просто переносятся в наши условия без изменений (ведь для любой, в

том числе и для невалидной и ненадежной методики, можно получить распределение).

Подобный перенос дает пренебрежимые погрешности только для

тестирования относительно элементарных психических свойств (таких,

как свойства нервной системы, функциональные состояния, сенсомо-

торные параметры, элементарные когнитивные функции, причем с ис-

пользованием объективных процедур (психофизиологическая регист-

рация, тесты с «физическими» критериями успеха и т. п.). При тести-

ровании интегральных психических свойств личности и индивидуаль-

ного сознания (черты, мотивы, установки, самооценка, общие способ-

ности, стиль общения, ценностные ориентации, интересы и т. п.), а

также при употреблении любых лингвистических средств в самой про-

цедуре тестирования (включая не только формулировки задач, вопро-

сов; но и исходную формулировку инструкции к тесту) и использова-

нии культурно-специфических критериев оценки правильности

137

.результата (определения шкального ключа) ограничиваться только сбором тестовых норм при адаптации - недопустимо!

Требуется серьезная эмпирическая работа по проверке надеж-

ности и валидности в новых социокультурных условиях, работа, фак-

тически соответствующая по своему объему созданию оригинальной методики. С этой точки зрения, заимствование зарубежных общедиаг-

ностических тестов способностей, черт характера, интересов и т. п.

вовсе не оказывается кратчайшим путем к психодиагностике. Этот

путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики.

Перечислим необходимые этапы эмпирико-статиетической рабо-

ты при адаптации многомерного переводного тест-опросника.

1. Анализ внутренней валидности, внутренней согласованности

пунктов, из которых состоит тест-опросник. Этот анализ совершенно необходим, если в зарубежной методике он применялся в качестве средства самого конструирования методики. Этот-анализ призван по-

казать, что существует некое (еще неясно, какое именно) общее диаг-

ностическое свойство, лежащее на пересечении всех эмпирических индикаторов (в центре «пучка» скоррелированных пунктов-векторов).

Такой анализ обязателен по отношению ко всем тестовым шкалам, по-

лученным с помощью факторного анализа, например к тест-

опросникам EPI Айзенка и 16PF Кеттелла. А вот к опроснику «локус контроля» или ко многим основным клиническим шкаламMMPI требо-

вание внутренней согласованности применять не обязательно, так как пункты в эти шкалы подбирались по внешнему критерию и не связаны в один «пучок». Анализ внутренней согласованности может быть при-

менен и к одномерным, и к многомерным тестам. В первом случае дос-

таточно иметь настольный калькулятор. Для многомерных тестов не-

обходимо использование специальной компьютерной программы «Ана-

лиз пунктов».

По отношению к негомогенным шкалам анализ внутренней -со гласованности позволяет осуществить в снятом виде необходимую проверку информативности пунктов(процент правильных или под-

тверждающих ответов должен соответствовать оригинальной автор-

ской версии).

2. Проверка устойчивости к перетестированию. Эта проверка со-

138

вершенно необходима при диагностике свойств, по отношению к ко-

торым теоретически ожидается инвариантность во времени. Анализ ретестовой надежности может быть(так же как анализ надежности-

согласованности) совмещен с исследованием информативности - от дельных пунктов теста, а также, возможно, и устойчивости отдельных пунктов. Без сведений о ретестовой надежности психолог не имеет права использовать тест для построения любого элементарного -ста тического экстраполирующего прогноза (см. раздел 3.5).

3. Анализ корреляций с релевантным внешним критерием. Этот этап адаптации совершенно необходим, если тест разрабатывался из-

начально как критериально-ориентированный, т. е. отбор пунктов производился на основании их корреляций с каким-то критерием -ва лидности. Например, подобная работа проделана коллективом .ФБ.

Березина для сокращенной модифицированной версииMMPI (Березин Ф. Б. и др., 1976).

4. Проверка или ре стандартизация тестовых норм. Об этом эта-

пе уже говорилось выше. К сожалению, только этот этап работы по адаптации тестов до недавнего ывремени признавался всеми психоло-

гами как необходимый. Но и в этом случае далеко не всегда воспроиз-

водилась необходимая статистическая работа по проверке устойчи-

вости полученного распределения тестовых баллов к расщеплению выборки (см. раздел 3.1).

5. Специфичный этап для многомерных тестов - проверка вос-

производимости структуры отношений между шкалами. Например, для теста Айзенка принципиальна ортогональность, статистическая неза-

висимость факторов «экстраверсия - интроверсия» и «нейротизм -

стабильность». На воспроизводимости структуры связей шкал между факторами 16PF основывается корректность подсчета вторичных фак-

торов (Ямпольский Л. Г., 1981; Мельников В. М., Ямпольский Л. Г., 1985).

Даже беглый взгляд на пять перечисленных этапов позволяет убедиться в том, что адаптация зарубежных тестов мало чем уступает по объему эмпирико-статистической работы созданию оригинальных

методик. Здесь было бы даже более адекватным использование не термина «адаптация», а выражения «исследование зарубежной мето-

дики на отечественной выборке».

139

Тем не менее не следует понимать сказанное как призыв к пол-

ному отказу от работы с зарубежными методиками. Нет, конечно же,

такая работа должна проводится интенсивно и планомерно. Особенно по отношению к тем методикам, которые уже получили международное распространение, доказали свою кросскультурную универсальность,

адаптированы и успешно применяются во многих странах. Создание отечественных эквивалентов международных тестов позволяетис пользовать международный опыт валидизации, теоретического осмыс-

ления и практического использования этих тестов. Сравнение резуль-

татов, структурно-функциональных характеристик адаптированных зарубежных и отечественных тестов позволит российским психологам глубже понять, установить на конкретно-эмпирическом уровне специ-

фику влияния образа жизни на психологический склад личности рос-

сиян, раскрыть разнообразие исторических и актуальных детерминант,

обусловливающих социально полезные и социально вредные тенден-

ции в психологической дифференциации индивидов в современных условиях, что совершенно необходимо для научного управления про-

цессами воспитания и формирования человека.

Особые задачи ставит перед психологом ситуация«внутрикуль-

турного переноса» теста на новую популяцию, отличающуюся от вы-

борки стандартизации половозрастными или профессионально-куль-

турными особенностями. В этом случае необходимо:

1. Проверить валидность методики в тмо случае, если методика чувствительна по своему содержанию к профессиональной или регио-

нальной специфике (могут ли отвечать пенсионеры, или школьники,

или жители отдаленных регионов на вопросы, подразумевающие ти-

пичные ситуации из жизни студента, обучающегося в крупном городе европейской части России?). Для этого надо выбрать по возможности максимально экономичную процедуру проверки валидности. Размеры выборки в эксперименте по проверке валидности должны быть такими,

чтобы можно было надеяться на получение статистических значимых связей между тестовым показателем и критерием валидности(это, как правило, не менее 30 испытуемых).

Если результаты проверки валидности оказываются неудовле-

творительными (коэффициент корреляции явно ниже0,5, и дальней-

шее наращивание выборки все равно не оправдает применение.теста

140