1.2 Критерии качества теста
Как инструмент для проведения педагогического измерения тест должен удовлетворять определенным критериям качества.
Дифференцирующая способность теста
Кривая распределения тестовых баллов должна быть достаточно широкой. Существуют статистические методы оценки того, на сколько каждое задание теста способствует выполнению данного критерия.
Валидность теста.
Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование. Высокая валидность теста означает, что тест свободен от субъективных факторов и беспристрастно измеряет то, для чего он предназначен. Можно выделить множество различных составляющих общего понятия «валидность». Рассмотрим валидность по содержанию.
Содержательная валидность теста означает, что задания теста полностью охватывают, и при том в нужной пропорции, все основные аспекты той области знания, подготовленность в которой этот тест оценивает, измеряет.
Составить тест валидный по содержанию могут только опытные специалисты-предметники, хорошо представляющие соответствующие учебные стандарты и программы, учебники, методику преподавания, а также владеющие основами тестологии. Оценить валидность по содержанию могут только независимые опытные эксперты.
Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины по данной теме в заданиях теста, от баланса и распределения заданий по трудности, от метода отбора заданий в тест и др.
Надежность теста.
Надежность понимается как мера одинаковости, повторяемости или связанности двух измерений одного и того же качества одним и тем же тестом или его параллельными вариантами.
На практике используются три основных метода оценки надежности теста:
Повторное тестирование (ретестирование).
Параллельное тестирование.
Расщепление теста на части.
Первый метод состоит в проведении повторного тестирования через некоторый интервал времени теми же заданиями. Надежность теста вычисляется как мера корреляции между результатами двух проверок.
Недостаток метода: неопределенность интервала времени (от двух недель до 6 месяцев), испытуемые знают содержание теста, интеллектуально выросли за прошедшее время и т.д.
Второй метод - повторное тестирование по параллельному тесту. Интервал времени может быть минимальным.
Метод расщепления теста на части применяется тогда, когда повторное тестирование нежелательно, и существует только один вариант теста. Самое простое деление - на две части. При этом распределение оценок за выполнение всего теста в целом должно быть близко к распределению оценок при выполнении частей теста. Надежность определяется качеством заданий, условиями проведения тестирования, психологическим состоянием тестируемых и др. факторами.
2. Глава
Апробация тестовых заданий
После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).
При предварительном объединении заданий в тест следует сделать следующее.
1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.
2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить. Пропущенное задание возвращается в банк тестовых заданий, как шар в барабан, и будет предъявлено еще раз, если у испытуемого останется время.
3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.
4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.
5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.
6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.
По результатам апробации часть заданий будет отбракована. Исходя из этого, для апробации, следует взять некоторый запас заданий. Рекомендации по этому вопросу достаточно разноречивы – от 20 да 100 процентов от планируемого количества заданий. Из опыта создания тестов учебных достижений можно сказать, что важно не только общее количество заданий, а сохранение их баланса согласно технологической матрице. Возможен случай, когда приходится отбраковать 3-4 задания, однако эти задания относятся к одной группе технологической матрицы. В результате возникают серьезные трудности в создании теста. Считается целесообразным взять для апробации по 1-2 дополнительных задания от планируемого для каждой группы заданий в соответствии с технологической матрицей.
Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.
1. Определение трудности заданий с целью оценки его годности для испытуемых.
2. Определение тех заданий, в которых есть существенные недостатки.
3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).
4. Определение времени, необходимого на решения задания или всего теста целиком.
5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.
6. Выявление недостатков в инструкциях.
Определение статистических характеристик является главным (после экспертной проверки содержания) средством диагностики тестовых свойств заданий. Статистические расчеты проводятся с целью выявления заданий, в которых есть недостатки, а не являются самоцелью процедуры апробации.
Вывод
Мною разработан и апробирован тест для проверки знаний по предмету «Основы работы в табличных редакторах». Для работы над данным проектом мне потребовалось довольно много знаний, было изучено методические рекомендации по разработке тестовых заданий, составлены предварительные варианты тестовых заданий, были необходимы навыки работы с LMS Moodle, текстовым процессором MS Word, табличным процессором MS Excel. Использование тестирования как системы оценки и контроля качества обучения учащихся целесообразно использовать в нашем учебном заведении. Внедрение тестирования позволит получить независимую, объективную оценку качества образования. Использование LMS Moodle для организации, проведения и оценки результатов тестирования позволяет автоматизировать процесс контроля качества обучения, повысить эффективность и доступность. Так же следует обратить внимание на то, что тестовые задания нуждаются в постоянной актуализации (минимум 1 раз в год), что бы соответствовать современным тенденциям развития изучаемого программного обеспечения.
Литература
Аванесов В. С. Композиция тестовых заданий. 3 изд. М.: Центр тестирования, 2002. 240с.
Аванесов В. С. Методологические и теоретические основы тестового контроля. Дисс… докт. Пед. наук. СПб, Госуниверситет, 1994. 339с.
Батурин Н.А. Пособие по разработке тестов достижений (тесты по учебным дисциплинам)./ Н.А. Батурин, Н.А. Курганский –
Челябинск - Санкт-Петербург, 2000. – 86 c.
Майоров А. Н. Теория и практика создания тестов для системы образования. – Москва, «Интелект-центр» 2001 – 296с.
Практические рекомендации к составлению контрольно – измерительных материалов: Метод. пособие / Иван. гос. хим.– технол. ун-т. – Иваново, 2005. –34 с.
Стоцкий Ю. Microsoft Office 2010. Самоучитель. / Стоцкий Ю., Васильев А., Телина И. – Питер, 2011. – 432с.