Суммарное сравнение нормативно-ориентированного и критериально-ориентированного подходов (по н. Гронлунду)

	Тестирование на основе нормы	Тестирование на основе критерия
1 Основной вид использования	Обзорное тестирование	Тестирование на степень владения материалом
2 Основное значение	Оценить индивидуальные различия в уровне достигнутых знаний	Описать задачи, которые студент может выполнить
3 Обработка результатов	Сравнение индивидуальных результатов с результатами других членов группы	Сравнение результатов с четко определенной областью достижений
4 Диапазон охвата	Обычно охватывает широкую область достижений	Обычно фокусируется на ограниченном наборе учебных задач
5 Характер тестового плана	Обычно используется таблица спецификаций	Принимается во внимание детальная область спецификаций
6 Процедура подбора вопросов	Отбираются вопросы, обеспечивающие максимальное разнообразие в индивидуальных оценках (для достижения более высокого разнообразия в оценках). Легкие вопросы обычно не включаются в тест.	Включаются все вопросы, необходимые для адекватной оценки. Не делаются попытки изменить сложность вопроса или исключить легкие вопросы в целях достижения большего разнообразия в оценках
7 Стандарты выполнения	Уровень выполнения теста определяется относительно позиции в группе (пятое место в группе из двадцати)	Уровень выполнения теста определяется исходя из абсолютных стандартов (владение материалом демонстрируется определением 90 процентов технических терминов)

Сравнительный анализ характерных особенностей нормативно-ориентированных и критериально-ориентированных тестов (по д. Вилфорду).

	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
1. Цель тестирования:	Возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение.	Возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности учащихся, уровня профессиональной подготовки кадров
2. Используемые шкалы:	Нормативные (или стандартные) шкалы. Необходимо указание среднего значении и стандартного отклонения в выбранной шкале.	Шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методике оптимального выбора критериального балла (или баллов).
3. Распределение индивидуальных баллов:	Близко к нормальному.	Произвольное, в большинстве случаев асимметричное
4. Уровень детализации области содержания	Несущественен. Авторы теста выбирают наиболее значимые элементы содержания.	Подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых	Обязательна. Обработанные (или шкалированные) баллы по результатам Н-О тестирования базируются на статистических данных нормативной группы, т.е. специфической, достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе.	Является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала, успешно им освоенного. Чаще всего балл учащегося отражает процент правильно выполненных заданий и выражается в шкале процентов.
6. Статистический анализ и отбор тестовых заданий.	Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (больше 0,3). Существует ряд других важных статистических показателей качества заданий.	Уровень трудности и различающая способность заданий не являются существенными факторами включения в состав теста или, наоборот, исключения из него. Главное условие отбора заданий – это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
7. Надежность теста	оценивается либо путем нахождения корреляции между результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании.	оценивается степенью постоянства принятия решения «зачет – не зачет» при двукратном тестировании.
8. Валидность.	Наряду с содержательной валидностью, для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности.	Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Таким образом, приступая к построению системы тестирования, специалист должен определить те цели, которых собирается достичь и выбрать соответственно им подходы и область применения планируемого тестового инструментария.

Целями создания тестов в системе психологической подготовки МЧС России являются разработка норм выполнения теста для всех профессиональных контингентов МЧС России, проходящих психологическую подготовку, а также определение уровня знаний у профессиональных контингентов МЧС России по основным разделам психологической подготовки и его места по отношению к норме. Таким образом, при разработке тестов мы действуем в рамках нормативно-ориентированного подхода.

Кроме приведенных подходов, тесты также можно классифицировать по другим основаниям. Перечислим некоторые из них.

1. По процедуре создания могут быть выделены стандартизированные и не стандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для тестируемых и минимизировать случайные ошибки и погрешности, как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

Тесты, разрабатываемые в системе психологической подготовки МЧС России, являются стандартизированными.

2. По средствам предъявления:

— бланковые (тесты «бумага и карандаш») - их можно разделить на два вида:

а) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых тестируемый фиксирует результаты;

б) с использованием бланков, в которых тестируемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий;

— предметные - в которых необходимо манипулировать материальными объектами. Результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

— аппаратурные — тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления;

— практические — появившиеся относительно недавно эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.), однако снабженные соответствующими инструкциями и имеющие тестовое оснащение;

— компьютерные.

Каждый из способов предъявления имеет свои плюсы и минусы.

Компьютерные тесты - очень быстрые, однако они провоцируют случайные ошибки и не оставляют исходных результатов на случай апелляции, что ограничивает их применение для аттестации обучающихся.

Бланковые - позволяют экономить на бумаге, удобны для пересылки, дают возможность сканирования для обработки результатов, но при этом также не дают исходных результатов и провоцируют случайные ошибки, поскольку требуют наличия навыка работы с бланком.

Наиболее качественные результаты могут быть получены с использованием тестовых тетрадей, но при этом возникает проблема ввода результатов для обработки и необходимость дополнительных расходов на печать самих тетрадей [5, с. 30-31].

Для сферы образования подходит любой из этих способов, при этом нужно помнить об одном — предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, полученные в результате разных способов предъявления.

В системе МЧС России используются, два типа тестов: бланковые – с использованием тестовых тетрадей и компьютерные. Тестовые тетради формируются в АИС «Психолог» автоматически, после чего раздаются обучающимся для заполнения вручную. Компьютерные тесты являются аналогом бланковых, только заполнение тестовой тетради обучающийся осуществляет непосредственно на компьютере.

3. По степени однородности заданий:

Гомогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания; систему, создаваемую с целью объективного, качественного и эффективного метода измерения уровня подготовленности обучающихся по одной учебной дисциплине [6, с. 47].

Гетерогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания; систему, создаваемую с целью объективного, качественного и эффективного метода измерения уровня подготовленности обучающихся по нескольким учебным дисциплинам и (или) свойствам личности [6, с. 47].

Тесты, разрабатываемые в системе психологической подготовки МЧС России, таким образом, можно условно отнести к гомогенным, так как нам важно измерить уровень знаний у обучающихся по одному из разделов психологической подготовки (при текущем контроле уровня знаний в рамках служебной подготовки) или по нескольким разделам психологической подготовки, но в рамках одной дисциплины (при пропедевтическом и итоговом контроле уровня знаний в рамках получения специальности и повышения квалификации). Условность отнесения педагогических тестов, разрабатываемых в системе психологической подготовки МЧС России, к категории гомогенных обусловлена тем, что мы при разработке тестов отступаем от требования расположения тестовых заданий в тесте по принципу возрастания их трудности, что связано с техническими особенностями АИС «Психолог».