Исследования крупным планом. Неполная эквивалентность обычной и компьютерной версий батареи тестов общих способностей

Вопрос исследования: Эквивалентны ли печатный и компьютерный варианты батареи тестов общих способностей?

Тип исследования: Лабораторный эксперимент.

Испытуемые: 250 мужчин и 76 женщин в возрасте от 16 до 31 года, поступавших в Королевскую военную академию (Нидерланды).

Независимая переменная: Проведение теста на компьютере или в письменной форме.

Зависимые переменные: Количество вопросов, на которые даны ответы, и доля вопросов, на которые даны правильные ответы.

Общая процедура: Половине испытуемых предлагался компьютерный вариант батареи тестов общих способностей (GABT); другая половина проходила тестирование в обычной письменной форме. Две группы испытуемых были сопоставимы по возрасту, полу и результатам теста общего интеллекта.

Результаты: Испытуемые, которым был предложен компьютерный вариант теста, работали быстрее и ответили на большее количество вопросов. Испытуемые, которым предлагался стандартный вариант теста, ответили на меньшее количество вопросов, но у них была выше доля правильных ответов; этот эффект был сильнее выражен в случае простых тестов.

Вывод: «...эквивалентность компьютерного и печатного вариантов теста должна быть продемонстрирована, а не принята в качестве предположения...».

На основе статьи

F. J. R. Van de Vijver and M. Harsveld, «The Incomplete Equivalence

of the Paper-and-Pencil and Computerized Versions

of the General Aptitude Test Battery»,

Journal of Applied Psychology, 1994, 79, 852-859.

Интерпретация коэффициента надежности

В результате применения любого из описанных трех методов оценки степени надежности теста как измерительного инструмента получается одно число — коэффициент корреляции. Это число, которое обозначают буквой r, может изменяться в пределах от 0 до 1,00, но что это означает? Например, если r = 0,60, означает ли это, что тест имеет приемлемую надежность, или нет?

Большинство психологов согласятся с тем, что приемлемым является коэффициент надежности теста, превышающий 0,80, а наиболее желательны его значения выше 0,90. Мнения по поводу минимального приемлемого значения могут расходиться, поскольку тесты используются с самыми разнообразными целями. Например, Дреер и Мэй-Дальтон (Dreher & Mai-Dalton, 1983) пришли к выводу, что для теста под названием Manifest Needs Questionnaire («Вопросник проявляющихся в поведении потребностей») «минимально значимой» будет оценка внутренней согласованности, равная 0,60.

По идеальным стандартам значение r = 0,60 является низким; оно также ниже традиционного нижнего предела для Альфа-оценки Кронбаха внутренней согласованности (Nunnally, 1978). Но Manifest Needs Questionnaire чаще всего используется с исследовательскими целями, и в таком контексте стандарты надежности могут быть более гибкими. Когда результаты теста используются для принятия решений, имеющих важное значение в жизни человека, таких как прием на работу или поступление в колледж, применяются традиционные, более высокие стандарты. Поэтому стандарты оценки коэффициента надежности, как и выбор метода, в какой-то степени зависят от цели исследования.

Соображения, которые следует учитывать при оценке доказательств надежности теста, подробно рассматриваются в учебниках по тестологии. Не имея глубоких знаний по этому вопросу, лучше всего, по-видимому, воспользоваться проверенным эмпирическим правилом «чем выше надежность, тем лучше», поскольку надежность теста непосредственно влияет на стандартную погрешность измерения с помощью данного теста. Эта статистическая характеристика, в свою очередь, важна для практического использования теста.