Глава 6

НАДЕЖНОСТЬ

Надежность — это мера нечувствитель­ности теста к изменениям.

Дж. Келлв

Значение термина

Когда психологи говорят о надежности, то часто путают различные определения этого термина. Иногда они в самых общих чертах рассуждают о способности показателя «надежно» оценивать какую-либо характе­ристику, причем, как в тех случаях, когда эта характе­ристика количественно изменяется у испытуемого, так и в тех случаях, когда она остается неизменной. А иногда под термином «надежность» подразумевают спо­собность методики к воспроизведению одного и того же результата у одного и того же испытуемого в различ­ные моменты времени. В ряде случаев второе определе­ние мож^ет служить обоснованной операциональной разновидностью первого, например когда предполагает­ся, что у данного испытуемого определенная характери­стика относительно стабильна и неизменна (как, ска­жем, рост взрослого человека). Однако это определение не универсально — ведь жизнь все время меняется. Градусник, который показывает все время одну и ту же температуру у больного,— плохое подспорье для врача. Цель, таким образом, заключается не в получении стабильных показателей — стабильность или нестабиль­ность присуща тому, что измеряется, а не самому показателю. Как подчеркивает Мэир (140), наша цель состоит в том, чтобы предсказывать и стабильность, и изменения.

Сказанное очевидно и, казалось бы, не нуждается в доказательствах, однако психологи так поклоняются «надежности», что приходится доказывать очевидное. Стабильность часто считается «нормальным положени­ем дел». Так, мы привыкли ждать, что взрослый испытуемый в исследовании интеллектуальности все

136

время будет набирать один и тот же балл, если не случится что-нибудь необычное, например он получит травму мозга. Самая злополучная из теорий личности — психология черт — способствовала утверждению мифа о неизменности человека. Однако именно в изменении — сущность человека. Человек, по выражению Келли,— это «форма движения», а не статический объект, движения которого задаются извне.

Если мы предполагаем, что решетки — это попытка проникнуть в систему конструктов испытуемого, то в каких случаях следует ожидать стабильности, а в каких — изменений? Если бы нам надо было время от времени исследовать ваши представления о правилах арифметики, то можно было бы ожидать высокой степени стабильности результатов. Периодически мы получали бы информацию о том, что вы неизменно считаете нечетные числа неделимыми на четные и постоянно придерживаетесь того мнения, что в резуль­тате умножения дроби на дробь получается дробь меньшая, чем каждый из сомножителей. С другой стороны, если бы мы задались целью время от времени выявлять ваше отношение к кинофильмам, мы, возмож­но, узнали бы, что вы стали считать, например, музыкальные комедии более «обворожительными», а работы какого-нибудь режиссера «менее точными с документальной точки зрения». Но, что более важно, отношение между конструктами «обворожительный» и «документально точный» может тоже измениться. Изу­чая представления детей, мы, возможно, выяснили бы, что они меняются быстрее, чем представления взрос­лых (ведь дети в большей степени склонны к риску и экспериментированию). Если вы считаете, что исследу­ется стабильность ваших взглядов, то ваши ответы окажутся более стабильными, чем в том случае, когда вы думаете, что проверяется ваша способность к развитию, обучению и изменению. Если бы исследова­лись ваши суперординатные конструкты (скажем, в представлениях о шахматной игре), то, возможно, обнаружилось бы, что вы придерживаетесь теории «сильного центра». Что же касается субординатных конструктов, то выяснилось бы, что в них происходят изменения в зависимости от того, предпочитаете ли вы в данный момент королевский или ферзевый гамбиты, и так далее.

Представление о статичности психики противоречи­во само по себе. Мы анализируем решетку не для того, чтобы выявить повторяющиеся результаты, а для того, чтобы, обнаружив изменение, понять, что оно означает.

137

Короче говоря, лучше всего считать надежность просто одним из аспектов валидности.

Кроме проблем, связанных с психологической зна­чимостью того или иного конкретного представления о надежности, существуют и специфические проблемы, связанные с отдельными видами решеток (поскольку не существует репертуарной решетки вообще, а существу­ют лишь конкретные формы решеток). Учитывая многообразие форм, содержания и способов анализа существующих в настоящее время решеток, а также возможность появления новых типов решеток в буду­щем, бессмысленно говорить о надежности репертуар­ных решеток в целом. Это даже бессмысленнее, чем вопрос о надежности, скажем, опросников в целом. Прежде чем говорить о надежности опросников, мы должны понять, какие опросники и из какой области имеются в виду, какие испытуемые с ними работают, при каких обстоятельствах и каким образом анализи­руются полученные результаты.

С нашей точки зрения, наилучший способ проиллю­стрировать проблему надежности решеток — это рас­смотреть конкретные примеры разброса значений коэф­фициентов надежности в различных исследованиях, где использовались решетки.

Надежность различных показателей

Решетка — это способ представления данных, до­ступный различным видам анализа. Мы коротко рас­смотрим только восемь показателей, предложенных в то или иное время разными исследователями, и сравним их тест-ритестовую надежность.

Неравномерность распределения

Это показатель того, что Келли называл «однобоко­стью» конструкта. Если попросить испытуемого разде­лить 20 его знакомых на радикалов и консерваторов, то первое, что можно сделать с этими данными,— определить относительное количество элементов, отне­сенных к тому или иному полюсу конструкта: возмож­но, что мир испытуемого населен преимущественно радикалами, или преимущественно консерваторами, или и теми и другими примерно в равной степени. Баннистер (11) опубликовал результаты исследования, в котором испытуемым предлагалось распределить 19 знакомых по полюсам 22 конструктов. Сразу после

138

этого им предлагалось разместить 19 других своих знакомых по полюсам этих же самых конструктов. Фиксировалось соотношение числа элементов, отнесен­ных к каждому полюсу конструкта в первой и второй сериях эксперимента. Коэффициент надежности ока­зался равным 0,70. При воспроизведении этого экспери­мента (13) с использованием в качестве элементов фотографий коэффициент надежности для показателя неравномерности распределения оказался равным 0,76 (N = 30).

Здесь следует отметить, что нас в первую очередь должен интересовать вопрос о том, при каких условиях будет меняться степень неравномерности распределения элементов, а не вопрос о «надежности» показателя как таковой. Например, по данным одного из неопублико­ванных исследований Баннистера, можно утверждать, что испытуемые с высоким баллом тревожности по шкале Тейлор склонны относить большинство элемен­тов к одному полюсу (р<0,05).

Интенсивность

Это глобальный показатель, фиксирующий связь между конструктами в решетке. Высокий балл интен­сивности (см. с. 105) свидетельствует о том, что кон­структы имплицируют друг друга и используются испытуемым взаимосвязанно. Интенсивность высоко коррелирует с другими глобальными показателями, такими, как, например, количество дисперсии, объясня­емое первым фактором. Коэффициент надежности для балла интенсивности обычно низок. Так, например, в исследовании Баннистера (13) корреляция тест — ритест оказалась равной 0,35. Точно такая же корреляция была получена Хонессом (92) при проведении ранговой решетки на детях с интервалом в 4 недели. Он использовал и биполярную импликативную решетку. В этом случае корреляция тест — ритест для балла интен­сивности оказалась равной 0,62. Следует отметить, что балл интенсивности часто увеличивается в случае за­полнения испытуемым второй решетки вскоре после заполнения первой, что объясняется влиянием эффекта последействия (25).

Результаты некоторых из описываемых ниже иссле­дований свидетельствуют о том, что показатель интен­сивности повышается или снижается при четко опреде­ленных условиях и значимо различается в группах испытуемых с различной психопатологией. Так что в данном случае мы имеем дело с мерой, валидность

139

которой можно считать доказанной (она отражает как характеристики испытуемых, так и ситуаций). Однако надежность показателя интенсивности невелика. Это позволяет предположить, что сам по себе этот показа­тель не обладает нежелательной «дисперсией ошибки», но высоко чувствителен к быстрым изменениям струк­туры связей системы конструктов (о чем, кстати сказать, при его использовании следует всегда пом­нить). Отсутствие «надежности» показателя интенсив­ности, возможно, еще приведет к важным теоретиче­ским следствиям.

Паттерн связей между конструктами

Анализ данных решетки позволяет построить матри­цу взаимосвязей между конструктами. Способы пред­ставления этих связей различны — это и баллы совпаде­ния, и коэффициенты ранговой корреляции Спирмена, и другие индексы. Ясно, что сходство паттернов взаимос­вязей между конструктами можно выявлять нескольки­ми способами. Наиболее прост так называемый индекс сходства. Он подсчитывается следующим образом. Сна­чала баллы взаимосвязи каждой матрицы ранжируют­ся, начиная от самого высокого и кончая самым низким. Затем подсчитывается коэффициент корреля­ции Спирмена между двумя ранжировками (см. с. 131). Эта мера широко применяется в исследованиях с повторным заполнением решеток, причем как с повто­ряющимися наборами элементов, так и с различающи­мися элементами (при условии, что в разных сериях используются одни и те же конструкты). Коэффициен­ты надежности, полученные в исследованиях такого типа, колеблются в диапазоне от 0,60 до 0,80. Лансдаун (116) обнаружил, что корреляция тест — ритест умень­шается в том случае, если повторное исследование проводится не сразу после первого, а с интервалом в 8 дней. В его эксперименте приняли участие 59 детей в возрасте от 9 до 11 лет. Корреляция между согласован­ностью паттерна конструктов и длительностью интерва­ла оказалась равной —0,35 (р<0,01). Уотсон, Ганн и Гриствуд (218) использовали ранговые решетки при исследовании заключенных. Заключенные (32 человека) заполняли вторую решетку через 7—10 дней после первой. При сравнении пар решеток показатель общего сходства (воспроизведение всех расстояний между эле­ментами по Слеитеру) оказался равным 0,74. Причем индивидуальный разброс колебался в диапазоне от 0,30 до 1,00.

140

Основным вопросом, следовательно, является воп­рос о том, при каких условиях паттерны взаимосвязей между конструктами более, а при каких — менее ста­бильны. Равный интерес представляет вопрос о том, какие именно конструкты или подсистемы конструктов обеспечивают низкую или высокую стабильность всей системы в целом.

Специфические связи между конструктами

В любом исследовании, направлено ли оно на изучение индивидуальной системы конструктов для клинической практики или является частью более об­щего эксперимента, наиболее интересным может ока­заться вопрос о связи между специфическими кон­структами внутри целостной матрицы. Например, воп­рос о связи конструктов, характеризующих отношение к себе («такой, как я сам», «такой, каким бы я хотел быть» и т. п.), с другими значимыми конструктами. Примечательной чертой решеток является разброс по­казателей надежности (согласованности связей в матри­це при повторном тестировании) для одной и той же пары конструктов конкретного испытуемого. Это каса­ется и тех решеток, в которых используются одинако­вые наборы элементов, и тех, в которых используемые элементы различны (см. табл. 21).

Как показано в исследовании, приводимом в Прило­жении I, два «проблемных» конструкта испытуемого могут иметь различную судьбу. Связи одного кон­структа с другими остаются относительно стабильными

Таблица 21

Корреляция конструкта такой, как я с другими конструктами в четырех ранговых решетках, заполненных заключенным-поджигателем в течение месяца. В качестве элементов в тестовых сериях № 1 и № 4 были использованы знакомые испытуемого, а в тестовых сериях № 2 и № 3 — фотографии незнакомых ему людей (71)

Корреляции с конструктом Люди Фотографии Фотографии Люди

такой как я

Такой, каким я хотел бы
быть	+0,88	+0,92	+0,93	+0,84
Властолюбивый	—	+0,78	+0,89	+0,87
Честный	+0,88	—	+0,94	+ 1,0
Тяга к огню	+0,87	+0,88	+0,93	+0,89
Удовольствие от сексуаль-
ного возбуждения	+0,05	-0,77	-0,39	-0,39
Может совершить под-
жог	-0,59	-0,75	—	-0,90

141

(0,63), а паттерн связей второго конструкта претерпева­ет значительные изменения. Показатель согласованно­сти второго конструкта оказался равным 0,31 (см. табл. 27). На основании результатов нескольких исследований можно утверждать, что определенные типы конструк­тов гораздо более согласованны и стабильны, чем другие. Так, повторный анализ данных, полученных Баннистером (13), свидетельствует о том, что средний коэффициент надежности конструкта хороший-плохой (оценивалась воспроизводимость структуры свя­зей данного конструкта со всеми остальными конструк­тами решетки) равен 0,80, а средний коэффициент надежности конструкта обычный — необычный равен 0,50.

Стабильность выявленных конструктов

Огромный интерес представляет вопрос о репрезен­тативности и стабильности вызываемых у самого испы­туемого конструктов: действительно ли они более реп­резентативны и стабильны или же существует множе­ство конструктов, из которых испытуемый (в более или менее случайном порядке) черпает конструкты во время того или иного обследования? Этот вопрос исследовал­ся еще Хантом в 1951 году (97). Он выявлял триадиче-ским методом конструкты с помощью ролевого списка, содержащего 41 ролевой персонаж, и обнаружил, что 70% конструктов, вызванных при первом тестировании, воспроизводятся при втором.

Фиелд и Ландфилд (61) повторили эксперимент Ханта в более разработанной форме и показали, что процедуры выявления конструктов, будучи проведен­ными на одном и том же наборе элементов с интерва­лом в две недели, дают результаты, коррелирующие между собой на уровне 0,80.

Стабильность элементов

Сходный вопрос может быть задан относительно элементов, которые испытуемые подставляют в роле­вой список. Так, Педерсен (161) обнаружил, что, когда его испытуемые дважды заполняли ролевой список в репертуарной решетке с интервалом в одну неделю, они воспроизводили 77% элементов.

Фиелд и Ландфилд (61) повторили этот эксперимент и обнаружили, что испытуемые в среднем воспроизво­дят 72% элементов ролевого списка.

142

Показатели инсайта

Очевидно, что решетку можно использовать и для измерения инсайта. Под словом «инсайт» здесь подра­зумевается способность испытуемых предсказывать или констатировать связь между конструктами в решет­ке. Баннистер (13) определил стабильность этого пока­зателя, проведя повторное исследование сразу же вслед за первым, и обнаружил корреляцию, равную 0,53. На этом основании, конечно, нельзя утверждать, что на­дежность меры инсайта равна 0,53. При рассмотрении этой проблемы возникает целый ряд вопросов относи­тельно того, как поведет себя показатель надежности, если мы подвергнем проверке на инсайт различные составляющие системы конструктов испытуемого.

Показатели нормативности связей между конструктами

Решетки можно использовать для составления спра­вочника по существующим связям между конструктами внутри популяций. Можно усреднить данные многих решеток для определенной группы конструктов и рас­сматривать полученную матрицу взаимосвязей как не­кую нормативную карту. Здесь, конечно, встанет воп­рос о ее надежности. Баннистер (13) построил такую таблицу норм (в качестве элементов использовались фотографии незнакомых людей) для восьми конструк­тов (матрица баллов совпадения для первого исследова­ния представлена в табл. 22). Затем он построил еще одну таблицу норм, где в качестве элементов выступали знакомые испытуемых (для тех же самых конструк­тов). Корреляция между двумя нормативными таблица­ми оказалась равной 0,98. Такой высокий показатель

Таблица 22

Усредненные баллы совпадения 9 конструктов для 30 здоровых испыту­емых (в качестве элементов использовались фотографии)

	Под­лый	Хо­ра ШИЙ + 9	Не­обыч­ный -2	Узко­ло­бый -7	Ис­крен­ний + 8	Эгоис­тичный -7,	Нена­деж­ный -5	Добрый
Привлекатель­ный	-10							+ 8
Подлый		-9	+ 3	+ 8	-8	+ 10	+ 4	-8
Хороший Необычный			-4	-6 + 2	+ 10 -3	-8 + 3	-6 + 2	+ 8 -3
Узколобый					-7	+ 7	+ 4	-7
Искренний Эгоистичный						-9	-7 + 5	+ 9 -9
Ненадежный								-7

143

надежности позволяет предположить, что, несмотря на наличие значительных индивидуальных вариаций пат­терна связей между конструктами, можно получить надежные нормативы для относительно ограниченных по размеру выборок.

Мы рассмотрели только некоторые из тех показате­лей, которые можно получить на основе анализа репер­туарной решетки, и вкратце обсудили вопрос об их надежности. Коэффициенты надежности в рассмотрен­ных нами экспериментах колеблются в диапазоне от 0,30 до 0,98. Из этого следует, что любое заявление относительно надежности должно касаться определен­ной, конкретной решетки. Но, как мы покажем дальше, даже такое конкретное заявление нуждается в оговор­ках еще и относительно того, в каком смысле употреб­ляется термин «надежность» и на какой класс ситуаций может быть распространено это заявление. Для обосно­вания высказанного только что положения мы рассмот­рим не только различные показатели, которые можно получить на основе данных решетки, но также разли­чия, связанные с конкретными модификациями реше­ток, популяциями, которые можно ими обследовать, и условиями, при которых их можно применять, то есть все те факторы, которые обеспечивают значительный разброс показателей надежности.

Вариативность, связанная с популяцией

У различных испытуемых при повторном проведе­нии решеток наблюдается большой разброс показате­лей стабильности. Особенно он велик для групп испы­туемых с различными формами психопатологии (см., например, 12). Этот факт служит прекрасной иллюстра­цией того положения, что надежность можно использо­вать как основу для различия популяций, а не как средство оценки «методики в целом». Так, в большой серии сравнительных исследований психически здоро­вых испытуемых, шизофреников с нарушениями мыш­ления и больных другими психическими заболеваниями решетки использовались в качестве метода оценки стабильности связей между конструктами (два измере­ния, одно непосредственно сразу после другого). (Хотя в данном исследовании показатель стабильности связей между конструктами использовался для характеристики испытуемых, его можно было бы использовать и в качестве коэффициента надежности конкретной решет­ки.) В этом эксперименте было показано, что балл

144

согласованности в целом для популяции шизофреников с нарушениями мышления равен 0,2, в то время как для испытуемых двух других популяций он колеблется в диапазоне от 0,6 до 0,8.

Вариативность элементов

Если различные подсистемы конструктов человека обладают разной степенью стабильности, то можно ожидать, что как при индивидуальном, так и при групповом исследовании коэффициенты корреляции тест-ритест для различных элементов (репрезентиру­ющих различные подсистемы) будут также отличаться друг от друга. Это очень хорошо показано эксперимен­тально на примере воспроизводимости паттерна отноше­ний между конструктами. Так, Баннистер и Мэир (21) провели эксперимент, в котором испытуемые ранжиро­вали фотографии по заданным конструктам. При интер­вале между двумя исследованиями в 6 недель коэффи­циент корреляции оказался равным 0,86. При замене фотографий он оказался равным 0,73. Испытуемые также ранжировали имена реальных людей по соответ­ствующим конструктам. Интервал между двумя ранжи­рованиями составил 6 недель. Коэффициент надежно­сти оказался равным 0,92. В том случае, когда при повторном исследовании использовались новые элемен­ты, коэффициент надежности оказался равным 0,91. Митсос (150) обнаружил, что при использовании в качестве элементов «друзей», а не лиц, указанных в ролевом списке, корреляции тест-ритест значительно снижаются (возможно, потому, что «друзья» — это ме­нее репрезентативная выборка).

Даже увеличение количества показателей надежно­сти для различных типов элементов — не выход из положения, поскольку при интерпретации результатов необходимо учитывать и формальную структуру проце­дуры заполнения решетки. Так, в исследовании, прове­денном Баннистером и Мэиром (21), испытуемые ран­жировали десять фотографий по шести конструктам. В этом случае средний коэффициент надежности оказал­ся равным 0,86 (интервал в шесть недель). При ранжи­ровании же пятнадцати людей средний коэффициент надежности составил 0,56. Однако это не означает, что чем больше число элементов в ранговой решетке, тем меньше ее надежность: как было показано, при исполь­зовании в качестве элементов имен реальных людей коэффициент надежности для 15 элементов очень вы­сок (0,92).

145

Влияние различных тактик экспериментальной валидизации

В исследовании Баннистера (17) испытуемым пред­лагали в ходе 20 экспериментальных серий ранжировать фотографии в соответствии с их собственными кон­структами. В каждом случае паттерн взаимосвязей между конструктами сопоставлялся с паттерном вза­имосвязей, полученным в следующей эксперименталь­ной серии. Первая группа испытуемых получала обрат­ную связь в форме валидизации (то есть подтвержде­ния)— испытуемым сообщали, что их суждения были во всех сериях весьма точными. В этой группе общий средний коэффициент надежности (по всем 19 сравнени­ям для всех 10 испытуемых) оказался равным 0,74. Испытуемым другой группы сообщалось, что их сужде­ния оказались неточными, и показатель надежности для этой группы был ниже — 0,56. Было бы неверным утверждать, что различия коэффициентов надежности свидетельствуют о различиях в надежности «методики в целом». Они лишь иллюстрируют тот факт, что надежность (или «согласованность» — ведь мы имеем в виду психологическую характеристику испытуемых, а не характеристику методики) есть функция индивиду­альных психологических процессов. Эта функция, в частности, изменяется в зависимости от убежденности испытуемых в неудачности или, наоборот, успешности выполнения ими предложенного задания.

Заключение

Конечно, можно было продолжать перечисление различных коэффициентов надежности для разнообраз­ных показателей до бесконечности. К примеру, в исследовании Сперлинджера (207) при проведении тест-ритеста с интервалом в 7 месяцев было получено огромное количество коэффициентов стабильности. По­казатель степени сходства между восприятием соб­ственного «Я» и восприятием других одиннадцати лиц продемонстрировал высокую надежность — 0,95. Про­цент дисперсии, объясняемой первым фактором, не показал значимых корреляций между двумя исследова­ниями. Полученные в двух сериях наборы вызванных конструктов совпали в 58% случаев (оценки проводи­лись на основании модифицированной системы класси­фикации конструктов Ландфилда (114)). При этом на­блюдался большой индивидуальный разброс всех коэф­фициентов надежности.

146

Возможное число различных коэффициентов надеж­ности значительно увеличится в том случае, если мы учтем многообразие различных экспериментальных ус­ловий, некоторые из которых были кратко рассмотре­ны в данной главе. Мы постарались показать, что на основании анализа данных решетки можно не только построить большое количество разнообразных показа­телей, но и то, что они могут воспроизводиться в самых разных экспериментальных условиях — при использова­нии решеток с различающимися наборами элементов и конструктов, при проведении экспериментов с различ­ными испытуемыми и с различными популяциями испы­туемых, при применении различных способов регистра­ции данных и тактик экспериментальной валидизации (или инвалидизации).

В связи с этим кажется разумным сказать следу­ющее: за термином «надежность» скрывается целая проблемная область, связанная с исследованием спосо­бов, с помощью которых люди сохраняют неизменными или изменяют свои системы конструктов. Ценность решетки должна, следовательно, определяться не ее «высокой» или «низкой» надежностью, а возможностью с ее помощью исследовать и уточнять эти проблемы.