- •Московский государственный университет путей сообщения
- •Цели работы.
- •Задачи.
- •Введение
- •Понятие адаптивного тестирования и принципы его реализации
- •Достоинства:
- •Недостатки:
- •Классические шкалы оценки знаний и Item Response Theory.
- •Item Response Theory
- •Основные допущения irt
- •Математические модели irt
- •Обработка результатов теста.
- •Расчет вероятности успеха испытуемого с заданием с определенным уровнем сложности.
- •Построение характеристических кривых для заданий теста (icc)
- •Информационная функция
- •Список используемой литературы
Обработка результатов теста.
Последовательность ответов означает запись из порядковых номеров выбранных ответов (было возможно 4 ответа).
Правильная последовательность – 1 4 3 3 1 2 3 1 4 1
Таблица 1. Ответы опрашиваемых.
Номер испытуемого |
Последовательность его ответов |
Количество ошибок |
1 |
1 4 3 3 4 3 3 3 4 1 |
3 |
2 |
1 4 3 4 1 4 3 3 4 1 |
3 |
3 |
1 4 3 3 2 2 2 3 3 1 |
4 |
4 |
1 4 3 3 3 4 3 3 3 1 |
4 |
5 |
1 4 3 3 1 2 3 1 4 1 |
0 |
6 |
1 4 1 3 2 1 3 3 1 1 |
5 |
7 |
1 4 3 3 2 2 3 3 4 1 |
2 |
8 |
1 4 3 3 4 2 3 3 4 1 |
2 |
9 |
1 4 3 4 1 2 3 1 4 1 |
1 |
10 |
1 4 3 3 2 4 3 3 4 1 |
3 |
11 |
1 4 3 3 2 2 3 3 3 1 |
3 |
12 |
1 3 3 3 4 1 3 3 4 1 |
4 |
13 |
1 4 3 4 2 4 3 3 4 1 |
4 |
14 |
1 4 3 3 1 2 3 3 4 1 |
1 |
15 |
1 4 3 3 3 1 3 3 1 1 |
3 |
16 |
1 4 2 3 3 2 3 3 4 1 |
4 |
17 |
1 4 3 3 1 2 3 1 4 1 |
0 |
18 |
1 4 3 4 2 2 3 3 4 1 |
3 |
19 |
1 4 3 3 1 2 3 1 4 1 |
0 |
20 |
1 4 3 3 4 1 3 1 4 1 |
2 |
Таблица 2. Вероятность правильного ответа на вопрос
Номер вопроса. |
Вероятность правильного ответа на вопрос |
1 |
1 |
2 |
1 |
3 |
0.9 |
4 |
0.8 |
5 |
0.3 |
6 |
0.55 |
7 |
1 |
8 |
0.25 |
9 |
0.75 |
10 |
1 |
Рекомендуется рассматривать лишь интервалы от –6 до +6 как для b (трудности), так и для q (способность). Значит мы не будем рассматривать 5,17,19-го опрашиваемого, давшего все правильные ответы, и вопросы 1, 10 на которые все испытуемые дали верный ответ.
Процедура вычисления θi и βj из эмпирических данных.
вычисление доли верных pi и неверных qi=1- pi ответов испытуемых.
где Xi - индивидуальный балл испытуемого, M - количество заданий в тесте.
Далее вычисляем начальные значения уровня подготовленности испытуемых по формуле
Далее вычисляем начальное значение трудности заданий βj.
Таблица 3. Начальные значения уровня
подготовленности испытуемых
i |
Xi |
pi |
qi |
qi0 |
(qi0)2 |
1 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
2 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
3 |
4 |
0.5 |
0.5 |
0 |
0 |
4 |
4 |
0.5 |
0.5 |
0 |
0 |
5 |
10 |
1 |
0 |
|
|
6 |
3 |
0.375 |
0.625 |
-0.511 |
0.261 |
7 |
6 |
0.75 |
0.25 |
1.099 |
1.208 |
8 |
6 |
0.75 |
0.25 |
1.099 |
1.208 |
9 |
7 |
0.875 |
0.125 |
1.946 |
3.786 |
10 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
11 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
12 |
4 |
0.5 |
0.5 |
0 |
0 |
13 |
4 |
0.5 |
0.5 |
0 |
0 |
14 |
7 |
0.875 |
0.125 |
1.946 |
3.786 |
15 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
16 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
17 |
10 |
1 |
0 |
|
|
18 |
5 |
0.625 |
0.375 |
0.511 |
0.261 |
19 |
10 |
1 |
0 |
|
|
20 |
6 |
0.75 |
0.25 |
1.099 |
1.208 |
|
|
|
|
|
13.284 |
Таблица 4. Начальные значения трудности заданий.
j |
Rj |
pi |
qi |
bj0 |
(bj0)2 |
1 |
17 |
1 |
0 |
|
|
2 |
16 |
0.941 |
0.059 |
-2.769 |
7.67 |
3 |
15 |
0.882 |
0.118 |
-2.011 |
4.046 |
4 |
13 |
0.765 |
0.235 |
-1.18 |
1.393 |
5 |
3 |
0.176 |
0.824 |
1.54 |
2.383 |
6 |
8 |
0.47 |
0.43 |
-0.089 |
0.008 |
7 |
16 |
0.941 |
0.059 |
-2.769 |
7.669 |
8 |
2 |
0.117 |
0.883 |
2.021 |
4.085 |
9 |
12 |
0.706 |
0.294 |
-0.876 |
0.767 |
10 |
17 |
1 |
0 |
|
|
|
|
|
|
|
28.021 |
Теперь мы можем вычислить средние значения уровня подготовленности испытуемых и трудности заданий.
(0.511*7+0+0-0.511+1.099*3+1.946*2)/17=0.569
(-2.769-2.011-1.18+1.54-0.089-2.769+2.021-0.876)/8=-0.7666
В таблицах 3 и 4 мы имеем значения параметров на разных интервальных шкалах. Нам надо свести их в единую шкалу стандартных оценок. Для этого необходимо вычислить дисперсии Sθ и Sβ, используя данные из таблиц 3 и 4
.
(13.284-18*(0.569)^2)/16=0.439
(28.021-8*(-0.7666)^2)/7=3.331
Далее вычисляем угловые коэффициенты
1.615
1.182
мы можем записать оценки параметров θ и β на единой интервальной шкале
Получим
θi = 1,615·θi0 -0.7666
βj=1.182· βj0 +0.569
Таблица 5. Расчетные параметры для уровня подготовленности испытуемых | ||
i |
θi |
SE(θi) |
1 |
0.059 |
1.179 |
2 |
0.059 |
1.179 |
3 |
-0.7666 |
1.154 |
4 |
-0.7666 |
1.154 |
5 |
|
|
6 |
-1.592 |
1.179 |
7 |
1.008 |
1.321 |
8 |
1.008 |
1.321 |
9 |
2.376 |
1.727 |
10 |
0.059 |
1.179 |
11 |
0.059 |
1.179 |
12 |
-0.7666 |
1.154 |
13 |
-0.7666 |
1.154 |
14 |
2.376 |
1.727 |
15 |
0.059 |
1.179 |
16 |
0.059 |
1.179 |
17 |
|
|
18 |
0.059 |
1.179 |
19 |
|
|
20 |
1.008 |
1.321 |
|
|
|
Таблица 6. Расчетные параметры для трудности заданий теста | ||
j |
βj |
SE(βj) |
1 |
|
|
2 |
-2.704 |
1.183 |
3 |
-1.808 |
0.863 |
4 |
-0.826 |
0.658 |
5 |
2.389 |
0.731 |
6 |
0.464 |
0.619 |
7 |
-2.704 |
1.183 |
8 |
-1.819 |
0.866 |
9 |
-0.466 |
0.611 |
10 |
|
|
Вычисление стандартных ошибок измерения SE(θi) и SE(βj) для θi. и βj