По результатам пробного тестирования

Важным условием проведения пробного тестирования является получение статистически достоверных результатов, что обеспечивается соблюдением ряда условий:

- пробное тестирование должно проводиться в нескольких параллельных*⁶ группах. При этом рекомендуется в каждой группе провести его дважды, но при условии, что испытуемые получат варианты теста с заданиями, на которые раньше не отвечали. Желательно, чтобы повторное пробное тестирование в одной и той же группе проводилось в разные дни;

- количество испытуемых в группах должно быть достаточно большим (не менее 20 человек);

- все параллельные группы должны находиться в одинаковых условиях (время, отводимое на тестирование, место и время проведения*⁷);

- все испытуемые в пределах одной группы также должны находиться в идентичных условиях, без каких-либо «скидок» и «поблажек» для отдельных испытуемых. Все испытуемые должны получить примерно одинаковые по сложности (параллельные) задания;

- время, отводимое на пробное тестирование должно быть таким, чтобы наиболее подготовленные успели ответить на все вопросы теста*⁸;

- для получения достоверных результатов следует свести к минимуму возможность подсказок среди испытуемых.

К пробному тестированию с использованием специализированной программы и ПЭВМ предъявляются примерно те же требования, что и при тестировании «на бумаге».

3.2. Анализ результатов пробного тестирования и отбор тестовых

заданий

3.2.1. Матрица тестовых результатов

После проведения пробного тестирования производятся проверка ответов испытуемых и обработка результатов тестирования. Обработку результатов следует начинать с составления матриц тестовых результатов (при компьютерном варианте тестирования такие матрицы должны создаваться программой автоматически). Очень важно, чтобы по номеру варианта теста и номеру задания в нем можно было бы однозначно определить – какие именно задания выполнял испытуемый. Это необходимо для того, чтобы, как уже отмечалось выше, исключить из общего массива именно те задания, которые не могут называться тестовыми.

Подготовку матриц тестовых результатов рекомендуется выполнять с использованием ПЭВМ, например, табличного процессора Excel, что позволит существенно облегчить обработку данных и проверку статистических свойств каждого задания. Пример такой матрицы приведен в табл. 3.4.

Таблица 3.4 – Матрица*⁹ тестовых результатов в группе из 10 человек

(Для всех заданий общее правило оценивания: правильный ответ – 1, неправильный – 0)

№ пп	Фамилия	№№ варианта теста	Номер задания (задания пронумерованы и расположены в порядке возрастания их трудности: №1 /самое легкое/  №10 /самое трудное/)										Суммарный балл по тесту
			1	2	3	4	5	6	7	8	9	10
1	Абрамов	4	1	1	1	1	1	1	1	1	1	0	9
2	Дмитриев	2	1	1	1	1	1	1	1	1	0	0	8
3	Васильев	8	1	1	1	1	1	1	1	0	0	0	7
4	Борисов	10	1	1	1	1	1	1	0	0	0	0	6
5	Щетинин	1	1	1	1	1	1	0	0	0	0	0	5
6	Зыков	3	1	0	0	0	0	1	1	1	1	0	5
7	Григорьев	7	1	1	1	1	0	0	0	0	0	0	4
8	Кириллов	5	1	1	1	0	0	0	0	0	0	0	3
9	Иванов	6	1	1	0	0	0	0	0	0	0	0	2
10	Жуков	9	1	0	0	0	0	0	0	0	0	0	1
			10	8	7	6	5	5	4	3	2	0	

В матрице тестовых результатов (табл. 3.4) строки с результатами испытуемых следует располагать в порядке убывания суммы баллов, набранных при тестировании, т.е. в первой строке – самый сильный студент, в последней – самый слабый. В столбцах таблицы, содержащих баллы испытуемых по каждому из заданий теста, задания следует расположить в порядке возрастания их трудности, т.е. от самого легкого до самого трудного.

Нижняя строка табл. 3.4 содержит сумму баллов, набранных всеми испытуемыми по каждому из 10 заданий теста. Именно эта сумма (точнее - обратная ей величина) в общем случае служит мерой трудностизадания и критерием, по которому то или иное задание получает свое место (порядковый номер) в системе заданий теста. Первоначально, как указывалось выше, преподаватель определяет трудность заданий, исходя из собственного опыта. Нижняя строка матрицы тестовых результатов содержит более объективную оценку трудности заданий, которая в некоторых случаях может не совпадать с первоначальным мнением преподавателя. В такой ситуации задание, трудность которого отличается от предполагавшейся первоначально, следует расположить в другом месте, присвоив ему новый номер, соответствующий его трудности. При этом должны учитываться ответы на то же задание, полученные в других (параллельных) группах испытуемых.