Доказательство валидности по содержанию

Доказательство валидности теста по конструкту релевантно выводам о том, что из­меряет данный тест (какой конструкт лежит в его основе). Доказательство содержа­тельной валидности релевантно выводам о конкретных вопросах, включенных в тест (его содержанию). Содержательная валидность теста обычно определяется одним из двух способов. Одно из определений — это релевантность вопросов теста тому, что измеряется с его помощью. Например, задача на умножение релевантна арифмети­ческим вычислительным способностям, но если спросить человека, как пишется сло­во умножение, то такой вопрос будет нерелевантным.

Другим стандартом, используемым для доказательства валидности по содержанию, является «...степень репрезентативности выборки пунктов, заданий или вопросов тес­та для некоторой определенной универсалии или тематической области» (American Educational Research Association, 1985, стр. 10). Другими слонами, этот стандарт ка­сается репрезентативности того, что включено в тест, по отношению ко всему, что лож­но было бы в него включить, то есть к тестируемой области (test domain).

Удобным способом иллюстрации понятия — на этот раз понятия теста, который репрезентативен для своей «определенной тематической области» — может служить

тот же пример экзамена в колледже. Предположим, что преподаватель проводит тест для оценки усвоения студентами содержания главы 2 этого учебника. Предположим далее, что все вопросы теста касаются лишь одного раздела из середины главы. Студен­ты закричат «Это нечестно!», и они будут правы. Пункты такого теста не будут репре­зентативной выборкой вопросов, с помощью которых можно было бы оценить знания но заданной для изучения главе. Следовательно, этот тест будет иметь низкую содер­жательную валидность в качестве инструмента для оценки знаний по этой главе.

На рис. 3.2 представлена графическая иллюстрация концепции содержательной ватидности теста, определяемой через релевантность и репрезентативность. Квадра­том очерчена соответствующая тестируемая область — в нашем примере это матери­ал главы 2. Точками, лежащими внутри квадрата, обозначены пункты теста. Фигуры, обозначенные буквами А, В и С, содержат вопросы, из которых можно составить три разных теста по этому материалу. Эти тесты можно описать следующим образом:

• Тест А содержит вопросы, которые нерелевантны для тестируемой области; воз­можно, преподаватель включил сюда некоторые вопросы из главы 3.

• Тест В содержит только релевантные вопросы, но он нерепрезентативен, посколь­ку все вопросы относятся только к одной части области. Это может быть такой тест, все вопросы которого касаются одного раздела главы.

• Тест С обладает наибольшей содержательной валидностью. Все его вопросы ле­жат внутри квадрата, и они принадлежат всем частям области. Возможно, препо­даватель разделил содержание заданной главы на основные тематические разде­лы и выбрал по два вопроса из каждого раздела.

Хотя в основе рис. 3.2 лежит пример из области учебы, принцип остается тем же при измерениях любого типа. Инструмент для оценки выполнения работы, содержа­щий вопросы только о количестве произведенной сотрудником продукции, имеет низкую содержательную валидность — «пункты» такого теста будут релевантными, но они нерепрезентативны для всех аспектов работы сотрудника. Такой инструмент оценки

будет неполным (deficient), если количество не является единственной важной ха­рактеристикой, поскольку и другие аспекты выполнения работы, такие как качество, соблюдение сроков и умение работать с другими людьми, также релевантны для этой работы.

Чтобы установить валидность по содержанию, необходимо оценить соответствие между содержанием теста и тестируемой областью. На рис. 3.2 тестируемой областью является материал определенной главы учебника, но область не всегда так четко определена. В исследовании, которое проводилось для Отдела исправительных учреждений штата Оклахома, Хьюз и ее коллеги (Hughes, 1989) разрабатывали тест выполнения физической работы для отбора и оценки надзирателей исправительных учреждений (corrections officers). Они использовали процесс, состоявший из четырех этапов, первым из которых было определение тестируемой области.

1. Определение содержания работы.

2. Демонстрация соответствия между содержанием работы и предполагаемым содер­жанием теста.

3. Подтверждение, с помощью соответствующих данных, обоснованности процесса, использованного для конструирования теста.

4. Оценка пунктов теста и ее обоснование (то есть установление физических квали­фикационных стандартов).

Выполнение физической работы имеет очень много параметров, поэтому перед разработкой теста для надзирателей исправительных учреждений необходимо было определить, какие из этих параметров релевантны для данной профессии. Интересно отметить, что эти исследователи установили шесть основных требований к выполне­нию работы, в числе которых общая быстрая телесная реакция, сила захвата, пролонгированная физическая активность и другие.