1.3 Конструирование тестовых заданий

Определившись с целью разработки педагогического теста и соответственно выбрав подход, в рамках которого будет осуществляться разработка педагогического теста и интерпретация его результатов, можно переходить к конструированию тестовых заданий. Каждому специалисту, чья деятельность связана с проведением контроля уровня знаний у обучающихся с помощью тестирования, необходимо знать из каких обязательных элементов должна состоять конструкция тестового задания, а также какие существуют типы и виды тестовых заданий. Владение этим знанием позволит специалисту разрабатывать качественные, интересные, разнообразные тестовые задания, учитывая при этом особенности материала, на основе которого планируется разработка тестовых заданий, свои технические возможности, а также возможности и особенности обучающихся, среди которых будет проводиться тестирование. Если перед специалистом не стоит задача самостоятельной разработки тестовых заданий, а он пользуется в своей деятельности уже готовым банком заданий, то и в этом случае ему необходимо быть компетентным в вопросах конструирования тестовых заданий для того, чтобы уметь отличить среди множества тестовых заданий некачественные, изменить их, доработать или, в случае их полной некорректности, устранить.

1.3.1. Конструкция тестовых заданий

В составе тестового задания в обязательном порядке должны присутствовать три части:

1. Инструкция

2. Текст задания (вопроса)

3. Правильный ответ

1. Инструкция должна содержать указания на то, какое количество заданий предстоит выполнить обучающимся, какого рода задания им встретятся, как следует пометить правильный вариант ответа, сколько времени отводится обучающимся на выполнение заданий. Изложение инструкции должно быть доступным и подробным. После прочтения инструкции у обучающихся должно сформироваться понимание смысла задания и способа его выполнения, иными словами понимание того что и как им нужно сделать.

Поясним, каким образом лучше делать отметки при выполнении заданий. Наиболее универсальным, четким, понятным и однозначным представляется вариант обведения кружком цифры (буквы), соответствующей правильному ответу для заданий закрытого типа, и требование вписать ответ в отведенное место для заданий открытого типа, а также заданий на восстановление соответствия и восстановление последовательности (обозначив в бланке место для ответа). Эти требования актуальны в том случае, если специалист формирует тестовый бланк самостоятельно.

В связи с тем, что мы формируем уникальный бланк теста в АИС «Психолог», в которой программистами уже заложена определенная форма бланка заданий множественного выбора, то место для ответа у нас представлено в виде кругов и квадратов, в которые мы просим тестируемых поставить галочку.

Приведем пример инструкции, которую мы разработали на основе вышеизложенной информации для тестов, применяемых при проведении пропедевтического и итогового контроля уровня знаний в рамках получения специальности и повышения квалификации:

«Перед вами тест, состоящий из 60 заданий. В тесте присутствуют задания двух видов: задания, предполагающие один правильный ответ и задания, предполагающие несколько правильных ответов. Перед каждым из таких заданий – краткая инструкция: «Выберите один правильный ответ» (соответственно необходимо найти и отметить один правильный ответ) или «Выберите несколько правильных ответов» (соответственно необходимо найти и отметить все правильные ответы). Кроме того, место для ответа в заданиях, предполагающих один правильный ответ, представлено в виде круга, а в заданиях, предполагающих несколько правильных ответов, - в виде квадрата. Поставьте галочку в круге или квадрате того варианта ответа, который вы считаете верным.

Если вы желаете отменить отмеченный вами вариант ответа, то зачеркните галочку одной четкой линией.

В заданиях прописаны все необходимые варианты ответов, дописывать от руки варианты ответов не следует.

Время на заполнение теста – не более 60 минут».

Инструкция для проведения итогового контроля уровня знаний в рамках служебной подготовки будет выглядеть аналогичным образом, изменятся лишь значения количества тестовых заданий и времени, отводимого на заполнение теста.

Следует уточнить, что если задания двух видов – множественного выбора, предполагающие один правильный ответ и множественного выбора, предполагающие несколько правильных ответов, объединены в соответствующие блоки, то допускается делать одну инструкцию для группы однотипных заданий, которая помещается перед данной группой заданий.

Следует отметить, что вне зависимости от происхождения теста (создание нового, модификация старого, адаптация теста) инструкции составляются к каждому из них.

Рекомендуется соблюдать следующий порядок составления инструкций:

1. написание первого варианта инструкций;

2. первое опытное проведение теста;

3. устранение грубых ошибок в инструкциях;

4. апробация инструкции при проведении проверочного тестирования (желательно, чтобы проводящий тестирование не принимал участие в составлении инструкции);

5. окончательная редакция инструкций [5, с. 225].

В этом параграфе рассматривались правила составления инструкции, которая является общей для всего теста. Она помещается в начале тестового бланка, а также озвучивается специалистом, проводящим контроль уровня знаний у обучающихся, перед началом тестирования. Далее в параграфе, посвященном рассмотрению типов и видов тестовых заданий, будут рассмотрены более частные аспекты инструкций, специфичные для различных видов тестовых заданий.

2. Текст задания (вопроса) представляет собой содержательное наполнение задания.

Мы придерживаемся точки зрения, что содержательная часть задания должна быть сформулирована в форме утверждения, которое тестируемому необходимо продолжить правильным ответом/ответами. При формулировании основной части задания следует придерживаться определенных требований, которые изложены в параграфе 1.4.

Примерами текстов заданий могут служить следующие:

К симптомам ПТСР, объединенным в группу симптомов повторного переживания, относятся:

1. связанные с событием сны

2. избегание мыслей, деятельности и чувств, связанных с событием

3. обеднение чувств

4. навязчивые, негативные, насильно прорывающиеся воспоминания о событии, включая образы, мысли о событии

5. раздражительность

6. сверхбдительность

7. «флэшбэк-эпизоды», внезапные поступки и чувства, как если бы событие происходило сейчас

8. интенсивный стресс при событиях, напоминающих или символизирующих травму

Или: экстренная психологическая помощь – это:

1. комплекс лечебно-профилактических, реабилитационных и оздоровительных мероприятий, направленных на восстановление и сохранение психофизиологических функций, оптимальной трудоспособности, социальной активности лиц, пострадавших в чрезвычайном событии

2. система долгосрочных мероприятий, направленных на снятие эмоционального напряжения у пострадавших в чрезвычайном событии, целью которых является профилактика неблагоприятных массовых явлений;

3. система краткосрочных мероприятий, направленных на оказание помощи одному человеку, группе людей или большому числу пострадавших в чрезвычайном событии, целью которых является регуляция актуального психического состояния при помощи профессиональных психологических методов

3. Правильный ответ (или оценочная схема) – обязательный атрибут любого тестового задания, без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

Следует отметить, что тестовое задание должно иметь однозначный правильный ответ. Речь идет об однозначной, с точки зрения пользователя, возможности оценки результата выполнения тестового задания, а именно о возможности любого пользователя на основе сравнения ответа обучающегося и правильного ответа (схемы анализа), предложенного разработчиком, сделать однозначный вывод о том, выполнил данный обучающийся это задание верно или нет. Поэтому правильный ответ разработчика может заключаться не только в эталонном ответе, но и в описании схемы анализа, содержать конструкции «и … и», «… или …», описывать вариант неправильного ответа, считая все остальные правильными.

В инструкции Northern Examinations and Assessment Board (NEAB) - экзаменационной комиссии, располагающейся в северной части Великобритании, записано: «Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить, как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными, чтобы при оценивании у проверяющего не могло возникнуть сомнения в правильности засчитываемого ответа. Единство требований к тестируемым не может быть осуществлено, если сама схема оценки может толковаться специалистами по-разному» [5, с. 80, 82].

На наш взгляд это применимо для заданий открытого типа. В связи с тем, что мы при разработке тестов пользуемся только заданиями закрытого типа, у нас не возникает необходимости описывать все возможные варианты ответов, т.к. тестируемым нужно выбрать правильный ответ из списка, а не дописать его. Таким образом, в оценочной схеме мы фиксируем какие из приведенных вариантов ответа являются правильными.

Если нашим коллегам потребуется включить в тест задания открытого типа, то им, безусловно, необходимо предусмотреть и прописать в оценочной схеме все варианты, которые могут расцениваться как правильные, которые являются синонимами правильного ответа.

Считаем уместным сказать здесь также о правилах оценивания результатов тестирования, принятых в системе психологической подготовки МЧС России.

В случае полностью правильного ответа на задание тестируемому присваивается 1 балл.

В случае частично правильного ответа на задание, когда тестируемый не отметил всех правильных ответов, а отметил лишь некоторые из них, даже если отметил лишь один правильный ответ из нескольких правильных, а также не отметил ни одного из неправильных вариантов ответа, тестируемому присваивается 0,5 балла.

Если тестируемый выбирает хотя бы один неправильный ответ из множества предлагаемых вариантов ответа, ему баллы не присваиваются.

После подсчета баллов их следует сложить и перевести в проценты.

Для этого можно воспользоваться формулой:

К=(Б*100)/М, где:

К – коэффициент уровня знаний

Б – количество баллов, набранных тестируемым

М – общее количество вопросов в тесте

Вместе с тем, хотим отметить, что немалое значение имеет расположение заданий на листе и их шрифтовое оформление. С точки зрения исключения случайных ошибок достаточно важен вопрос пространственного расположения заданий на страницах тестовой тетради. Располагая задания, рекомендуем руководствоваться следующими правилами:

1. Инструкция и весь текст задания должны умещаться на одной странице.

2. Особые места инструкций и заданий должны выделяться шрифтом.

3. Варианты ответа лучше располагать в один столбик, максимум в два.

4. Место для ответа должно быть выделено определенным образом. Лучше, если место для ответа будет выделено единообразно для заданий разного типа и вида (многоточие, линия, квадратик или иным способом).

5. Размер шрифта теста, шрифтовое и полиграфическое оформление должны соответствовать возрасту тестируемых.

6. Для зданий открытого типа необходимо выделить достаточно места для фиксации ответов, с учетом различного объема почерка тестируемых [5, с. 118].