4. Анализ человеко-машинного взаимодействия

В данном разделе речь пойдёт о разработке метода оценки для определения готовности студента к обучению с использованием разрабатываемого лабораторного комплекса «Кластерные системы». В основе разработки теста лежит теория тестовых заданий (IRT) .

1. Обзор теории тестовых заданий (Item response theory).

IRT создана в рамках направления «Data Mining» (которое во время создания IRT не называлось ещё никак) для выявления скрытых параметров, в данном случае определяющих успешность учащихся и информативность контрольно-измерительных материалов (так в современной литературе по обучающим технологиям называются задания для контрольных работ, промежуточных испытаний, экзаменов и т.п., мы же для краткости будем вести речь об экзаменах).

Достоинством IRT считается возможность сравнения по одной шкале результатов экзаменов как по оцениваемым, так и по заданиям. Фактически протокол экзаменов, записанный в виде таблицы (экзаменационную ведомость) можно единообразно читать как по строкам (результаты студента по многим экзаменам), так и по столбцам (результаты экзамена по группе студентов) и, следовательно, единообразно оценивать успеваемость студентов и информативность экзаменов в смысле критериальной валидности.

IRT решает ещё одну важную задачу — в большинстве случаев оценки за результаты экзаменов выставляются в баллах, вследствие чего математически корректная обработка таких оценок возможна только в терминах порядковых статистик. IRT переводит шкалу баллов в логиты, в результате получается возможность использования математического аппарата, созданного для метрических шкал.

Основоположник IRT датский математик Г. Раш (G. Rasch) ввел две меры: «логит уровня знаний» и «логит уровня трудности задания». Первую он определил как логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов, а вторую – как логарифм доли неправильных ответов на задание теста к доле правильных ответов на тоже задание. Фактически предлагается перейти от самих оценок на экзамене к логарифмам оценок вероятностей успеха на экзамене для студента и вероятностей выполнения заданий для экзаменов и, соответственно, к статистикам по множеству испытуемых. В современных технологиях методы построения IRT-оценок не требуют больших затрат времени и вычислительных ресурсов.

Содержательно интерпретация IRT позволяет в статистическом смысле сравнить достижения разных студентов по разным учебным дисциплинам и строить соответствующие рейтинги.

Отсюда же получается возможность построения оценок, не зависящих от конкретного подбора заданий, и построение поправок в оценках на сложность самих заданий, т.е. получается инструмент калибровки экзаменов, если считать экзамен измерительной процедурой. Тем самым получается метод решения принципиальной методической проблемы построения оценок на экзамене — даже по математике невозможно в параллельных версиях экзамена подобрать задачи одинаковой или хотя бы сравнимой трудности, по другим областям знаний это ещё сложнее. В IRT поправка на трудность или сложность получается сдвигом соответствующей характеристической кривой.

В литературе известно мнение об общей устойчивости IRT-оценок в смысле test-retest-, crosstest- и test-subtest-валидностей, но, вообще говоря, в каждом конкретном случае эту устойчивость надо доказывать отдельно.

В IRT вводится основное предположение о существовании некоторой взаимосвязи между наблюдаемыми результатами и латентными качествами испытуемых. Предполагается, что каждому испытуемому ставится в соответствие только одно значение латентного параметра. Элементы первого множества — это уровни знаний N испытуемых θ_i, где i = 1,...,N. Второе множество образуют значения латентного параметра δ_j, j = 1,…,K, равные трудностям k заданий. На практике решается задача по ответам испытуемых на задания оценить значения латентных параметров θ и δ.