- •Проведение пробного тестирования. Показатели качества тестов
- •Пример упорядоченной матрицы
- •Пример. Анализ правдоподобности дистракторов в заданиях закрытой формы с четырьмя ответами
- •Однократное тестирование (метод расщепления теста).
- •Ретестовый метод.
- •Метод параллельных форм.
- •1) Содержательная валидность (content validity).
- •Критериальная валидность.
- •Конструктная (концептуальная) валидность.
1) Содержательная валидность (content validity).
Когда идет речь об этом виде валидности, то имеется в виду соответствие теста как измерительного инструмента той области содержания, знания и умения которую проверяют данным тестом.
В зависимости от выбранного подхода при создании теста будут предъявляться различные требования к содержательной валидности. Так для критериально-ориентированных тестов одно из требований содержательной валидности станет полнота отображения, а в некоторых случаях детализация проверяемой области содержания. При нормативно-ориентированном подходе тест можно охарактеризовать как валидный по содержанию, если он будет хорошо дифференцировать испытуемых и отражать самое важное, свидетельствующее о знании дисциплины.
Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается она экспертным путем. Независимые эксперты определяют, насколько тест охватывает область содержания проверяемого предмета.
Критериальная валидность.
Критериальная валидность - это характеристика теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием).
Практически критериальную валидность определяют как корреляцию результатов тестирования и некоторым внешним критерием. В качестве внешнего критерия могут браться результаты испытуемых по другому тесту, отметки, выставленные по методике традиционного оценивания. Критериальная валидность в зависимости от выбранного критерия может быть текущей (внешний критерий - текущие оценки) или прогностической (критерий - некоторый будущий результат).
Для оценки критериальной валидности необходимо составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя (-ей). В качестве критерия берем оценки преподавателей при традиционной проверке знаний без использования тестов.
Формула:
sx2 – дисперсия индивидуальных баллов
N – число студентов
-отклонение тестового балла i – го студента от среднего балла по тесту
-отклонение экспертного балла i – го студента от среднего арифметического экспертных оценок
Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.
Иногда педагог заинтересован в оценке прогностической валидности, указывающей меру вероятности прогноза успешности дальнейшего обучения по результатам выполнения теста. Высокой прогностической валидностью должны обладать тесты для приема абитуриентов в вузы. В этом случае результаты по тесту коррелируют с результатами поступивших абитуриентов после окончания первого года обучения в вузе. Высокая корреляция означает, что разработанные тесты прогностичны для отбора абитуриентов в вуз.
Конструктная (концептуальная) валидность.
Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства. Разработчик теста только предполагает о том, как будет проявляться объект измерения. Чаще всего это относится к психологическим тестам.
Для педагогических тестов понятие конструктной валидности применимо в процессе разработки теста, когда его качественные и количественные характеристики еще не имеют определенных характеристик. Для выявления валидности на этапе создания теста используются методы корреляционного и факторного анализа.