- •Проведение пробного тестирования. Показатели качества тестов
- •Пример упорядоченной матрицы
- •Пример. Анализ правдоподобности дистракторов в заданиях закрытой формы с четырьмя ответами
- •Однократное тестирование (метод расщепления теста).
- •Ретестовый метод.
- •Метод параллельных форм.
- •1) Содержательная валидность (content validity).
- •Критериальная валидность.
- •Конструктная (концептуальная) валидность.
Семинарское занятие по курсу ССОРО № 4.
Проведение пробного тестирования. Показатели качества тестов
Следующий этап в создании теста - это проведение апробации теста (пробное тестирование, предварительное тестирование).
Пробное тестирование преследует несколько целей:
выявление заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);
определение статистических характеристик тестовых заданий и теста в целом.
Для пробного тестирования готовятся инструкция для учащихся, как выполнять тест, инструкция для проводящих тестирование (наблюдателей), инструкция по апробации (какие эмпирические данные необходимо собрать).
Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования.
Репрезентативная выборка испытуемых – это испытуемые, представляющие всю часть населения (популяции), о которых идет речь в теме исследования.
Сбор и статистическая обработка результатов тестирования.
Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего теста, что позволяет использовать тест как научно обоснованный, объективный инструмент педагогических измерений. Статистическая обработка результатов тестирования проводится с помощью программного обеспечения.
Для удобства обработки тестовых данных результаты заносятся в специальную таблицу - матрицу тестовых результатов.
Ниже мы приводим пример такой матрицы при дихотомической системе оценивания: один балл за правильный ответ, нуль баллов - за неправильный ответ или пропуск задания.
Пусть x - результат выполнения i-тым испытуемым j-того задания, тогда x=1, если ответ на задание правильный и x=0, если ответ неправильный.
№ испытуемого i |
№ задания j |
Индивидуальный балл Xi |
|||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
||
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
6 |
2 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
2 |
3 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
1 |
4 |
1 |
1 |
0 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
9 |
5 |
1 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
0 |
4 |
6 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
4 |
7 |
1 |
1 |
1 |
1 |
0 |
1 |
0 |
0 |
0 |
0 |
5 |
8 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
4 |
9 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
9 |
10 |
1 |
1 |
1 |
1 |
1 |
0 |
1 |
0 |
0 |
0 |
6 |
Число правильных ответов Yj |
9 |
8 |
7 |
6 |
5 |
5 |
3 |
4 |
2 |
1 |
50 |
В таблице в каждой строке даны результаты конкретного испытуемого, которые называются профилем ответов. В столбце занесены результаты испытуемых на каждое конкретное задание (профиль задания). В последнем столбце представлены индивидуальные баллы каждого испытуемого (индивидуальный балл - это сумма 1, которые получены за правильный ответ). В последней строке дано количество правильных ответов по каждому заданию теста.
Из матрицы удаляются строки и столбцы, содержащие только единицы или только нули. Если возникает ситуация, когда в строке ответов только единицы/нули, то это значит, что данный тест не пригоден для измерения учебных достижений данных испытуемых, потому, что он будет слишком легким (все 1) для сильного учащегося или слишком трудным (все 0) для слабого учащегося. Если же мы видим, что в столбце только единицы/ нули, то значит, данное задание является слишком легким (все 1) или слишком трудным (все 0), а соответственно не может использоваться для оценки уровня достижений испытуемых данной выборки.
Для большей наглядности и удобства дальнейшего использования необходимо упорядочить матрицу тестовых результатов. Для этого строки таблицы располагают таким образом, чтобы индивидуальные баллы располагались в порядке возрастания. Затем столбцы матрицы располагают в порядке убывания.