2.4. Типичные ошибки при разработке педагогического теста

Разработка педагогических тестов является очень непростой задачей, на пути решения которой можно допустить немало ошибок. Предлагаем читателю перед конструированием тестов ознакомиться с теми затруднениями, которые могут возникнуть у него в процессе работы. Полагаем, что их анализ позволит предотвратить возникновение большей части ошибок, характерных для процесса разработки педагогического теста.

Для организационного этапа характерны затруднения при формулировании цели тестирования. Постановка цели определяет направление приложения сил специалистом. Ошибки при определении цели тестирования чреваты тем, что, во-первых, специалист может неверно избрать подход, в рамках которого ему предстоит разрабатывать тест, в то время как нормативно-ориентированный и критериально-ориентированный подходы определяют существенные различия на большинстве этапов разработки теста. Во-вторых, от целей тестирования зависит определение источников валидности будущего теста. Валидность теста является одним из основных показателей качества теста. Она должна устанавливаться в отношении той конкретной области применения, для которой разрабатывался тест. Таким образом, если неверно определена эта область, неверно поставлена цель, то разрабатываемый инструмент нельзя считать качественным. Например, если целью тестирования является оценка уровня знаний у специалистов, а основным источником валидности избирается соотнесение результатов теста с показателями его будущей деятельности, а не соответствие содержания теста с содержанием курса, то нельзя утверждать, что этот тест разработан для проверки уровня знаний.

На содержательном этапе вероятно возникновение такой ошибки, как недостаточно полный охват технологической матрицей содержания учебного материала. Технологическая матрица является тем документом, на основании которого разрабатываются в дальнейшем тестовые задания. Поэтому содержание учебного материала, оценка которого предполагается в ходе тестирования, должно полностью покрываться технологической матрицей. Промахи в определении содержания будущего теста отрицательно сказываются на его валидности.

На подготовительном этапе можно столкнуться с ошибками, во-первых, при составлении тестовых заданий, в том числе инструкций к ним. Подобные ошибки подробно рассмотрены в предыдущей главе.

Во-вторых, упущением является недостаточно серьезное отношение к необходимости проведения содержательной и тестологической экспертизы тестовых заданий. Проведение содержательной и тестологической экспертизы позволяет выявить некачественные тестовые задания с тем, чтобы исключить их из теста или, если это возможно, переформулировать.

В-третьих, существует вероятность возникновения ошибок при построении выборки для апробации тестовых заданий, теста в целом. Выборка, на которой планируется проведение исследования, должна иметь достаточный объем и быть репрезентативной по отношению к генеральной совокупности, на которую планируется распространение результатов исследования. Чтобы выборка была репрезентативной генеральной совокупности, необходимо учитывать те факторы, которые могут влиять на изменчивость изучаемого признака. Такими факторами могут быть возраст, пол, стаж работы, уровень образования и т.д. Качество построения выборки оказывает значительное влияние на корректность расчетов трудности и дискриминативности заданий, надежности и валидности.

В-четвертых, специалист, занимающийся конструированием тестов, может допустить ошибки при компоновке заданий для апробации, например, это может касаться количества тестовых заданий в бланке, пространственного и шрифтового оформления тестовых заданий, наличия инструкции и корректности её формулировки.

Что касается исследовательского этапа, то, наверное, самой глобальной ошибкой, которую можно допустить на этом этапе, является в принципе его отсутствие. Можно встретить тесты, которые состоят из набора тестовых заданий, разработанных, вероятно, с учетом определенной цели и на основе определенных учебных программ, однако авторы этих тестов не посчитали нужным проверить качественные характеристики разработанного ими инструмента, такие как трудность заданий, их дискриминативность, надежность теста в целом и его валидность. Абсолютно точно, что инструмент, не имеющий подобных характеристик, нельзя называть тестом, призванным объективно измерить уровень знаний у обучающихся.

К более частным ошибкам, которые могут возникнуть на этом этапе, можно отнести неточности в расчетах показателей качества тестовых заданий и надежности теста. Подобные ошибки, чаще всего, обусловлены непрочными знаниями в области статистики и могут быть устранены путем увеличения своей компетентности в этой области знаний.

Для стандартизационного этапа характерны ошибки при планировании процедуры проведения тестирования и, как следствие, при описании этой процедуры в руководстве к педагогическому тесту. Например, специалист может не придать должного значения тем условиям, которые влияют на обучающихся во время прохождения тестирования. Однако даже незначительные аспекты тестовой ситуации могут существенным образом сказаться на результатах тестирования. Точные указания относительно используемого тестового материала, временных ограничений, инструкций тестируемым и любых других тонкостей проведения теста, в частности, обеспечения рабочих мест, освещения, вентиляции, шумоизоляции и т.д., позволят создать одинаковые условиях тестирования для всех обучающихся, сделать процедуру тестирования единообразной.

На интерпретационном этапе вероятны недочеты при написании инструкции по проверке тестов. Случается, что написанная инструкция является неполной, недостаточно ясно описывает алгоритм действий специалистов, в чьи задачи входит проверка тестов. Это может привести к неясностям и ошибкам при оценивании результатов тестирования и к нарушению единообразия процедуры обработки тестовых результатов.

Перечисленные ошибки следует учитывать в своей работе по конструированию педагогического теста и, по возможности, избегать.

Выводы по разделу 2

Из раздела, посвященного рассмотрению процедуры разработки педагогического теста, следует, что наиболее емким и в то же время лаконичным, нам представляется алгоритм разработки теста, состоящий из шести этапов: организационного, содержательного, подготовительного, исследовательского, стандартизационного и интерпретационного. На каждом из этих этапов решаются определенные задачи, вытекающие одна из другой. Успех в решении задач предыдущего этапа есть залог, основа успешной работы на последующих этапах, и наоборот. Таким образом, разработка теста - это сложный взаимосвязанный, взаимозависимый процесс. Если какой-то этап пропущен, или соответствующие ему задачи решены не в полной мере, то это снижает эффективность действий на последующих этапах и, в конечном итоге, влияет на качество инструмента в целом. Поэтому при конструировании педагогического теста важно придерживаться предлагаемого алгоритма, что позволит в конечном итоге разработать качественный, стандартизированный инструмент, позволяющий объективно измерить уровень знаний обучающихся.

На первом, организационном, этапе разработки педагогического теста необходимо определить цели тестирования. Постановка цели обусловливает выбор того или иного подхода к разработке теста (нормативно-ориентированного или критериально-ориентированного). Кроме определения цели, в начале организационного этапа задаются и другие предварительные характеристики теста: область его применения, контингент тестируемых. Также необходимо определить наиболее адекватные и информативные источники валидности для конкретного теста. Определение источников валидности напрямую зависит от целей разрабатываемого теста. Последнее, что нужно сделать на организационном этапе – это определить ресурсные возможности разработчиков, распределить круг задач и установить временные рамки разработки теста.

На втором, содержательном, этапе проводится серьёзная теоретическая работа по определению содержания будущего теста, и закладываются основы валидности будущего теста. Так, задачами, которые должны решаться на этом этапе являются: отбор содержания учебного материала, конструирование технологической матрицы и составление спецификации теста. Именно содержательный этап является связующим звеном между теорией и практикой, где простраивается соответствие содержательных особенностей изучаемого материала с формальными характеристиками будущего теста такими, как вид теста, виды тестовых заданий.

Работа по определению содержания будущего теста должна вестись серьезнейшим образом, так как она является основой валидности будущего теста. Если содержание плохо определено или недостаточно тщательно описано, то никакие последующие действия не компенсируют этого упущения.

Содержание теста, которое будет отобрано для проверки, и важность того или иного элемента содержания задает технологическая матрица. При этом необходимо, чтобы содержание предмета полностью покрывалось матрицей. В технологической матрице должны в обязательном порядке быть зафиксированы все разделы предмета, темы их составляющие, а также количество учебных часов, отводимых на рассмотрение той или иной темы и соотношение заданий в тесте.

После того, как составлена технологическая матрица, следует написать спецификацию теста, в которой должны быть прописаны все формальные характеристики теста: цель создания теста; область применения; перечень исходных документов, используемых при разработке теста; вид теста; виды тестовых заданий; содержание теста (технологическая матрица) и т.д. К спецификации следует постоянно обращаться в процессе дальнейшей работы для того, чтобы сохранить соответствие количества заданий значениям, прописанным в технологической матрице, так как по результатам проверки и отбора заданий некоторые из них могут быть удалены. А в спецификации соответственно закрепляется состав и пропорции содержательных элементов теста.

На третьем, подготовительном, этапе осуществляется непосредственная подготовка всего материала, из которого будет состоять тест. На этом этапе решаются такие задачи, как: составление тестовых заданий, в том числе инструкций к ним, экспертиза тестовых заданий, построение выборки для апробации заданий и теста и компоновка заданий для апробации.

Составление тестовых заданий осуществляется с учетом тех требований, которые изложены в предыдущей главе. После того, как тестовые задания подготовлены, следует их проверить на предмет соответствия требованиям, предъявляемым к формулировке тестовых заданий. Для этого необходимо провести содержательную экспертизу тестовых заданий. Кроме содержательной экспертизы тестовых заданий, необходима и тестологическая экспертиза, в которой должны проверяться соответствие содержания задания выбранному типу и виду тестового задания, правильность пространственного и логического расположения элементов заданий и другие элементы задания, которые не относятся к содержанию предмета. В качестве экспертов для проведения содержательной и тестологической экспертизы педагогических тестов, разрабатываемых в системе психологической подготовки МЧС России, могут выступать только психологи НИО ПП и ПК ФКУ ЦЭПП МЧС России.

Следующей задачей, которая решается на подготовительном этапе, является построение выборки для апробации заданий и тестов. Эта проблема является чрезвычайно важной. От того, насколько качественно построена выборка, зависит корректность расчетов трудности и дискриминативности заданий, надежности и валидности. Выборка должна точно отражать категорию лиц, для которых предназначен тест, то есть быть репрезентативной генеральной совокупности.

Последней задачей, решаемой в рамках подготовительного этапа разработки педагогического теста, является компоновка, упорядочивание заданий для апробации.

Центральное место в процессе разработки теста занимает четвертый, исследовательский, этап. Он достаточно объемен по содержанию и, как правило, занимает немало времени. На исследовательском этапе решаются такие задачи, как: апробация тестовых заданий, определение и расчет показателей качества тестовых заданий, отбраковка заданий и составление теста, апробация теста, определение и расчет показателей качества теста и составление окончательного варианта теста.

Апробация тестовых заданий проводится для того, чтобы определить трудность заданий с целью оценки их пригодности для тестируемых; определить те задания, в которых есть существенные недостатки; выявить случайные ошибки (опечатки, недостатки орфографии, пунктуации и т.д.); определить время, необходимое для решения задания или всего теста целиком; выявить недостатки в инструкциях; проанализировать ответы на задания открытого типа, в том случае, если они используются, с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

После проведения апробации тестовых заданий определяются показатели качества тестовых заданий, а именно трудность и дискриминативность. Трудность задания – это количество обучающихся, справившихся с заданием. Дискриминативностью называется возможность заданий разделять обучающихся, имеющих высокий индивидуальный балл по тесту, от обучающихся, имеющих низкий индивидуальный балл, или респондентов с высокой продуктивностью учебной деятельности от респондентов с низкой продуктивностью. В связи с тем, что основной целью нормативно-ориентированных педагогических тестов является разделение обучающихся по уровню знаний, то дискриминативность каждого из заданий является важной характеристикой качества теста. В том случае, если тестовое задание характеризуется неудовлетворительными значениями трудности и дискриминативности, то их следует исключить из теста.

После предварительной апробации и первичной отбраковки заданий, из оставшихся заданий составляется тест, соответствующий заданной ранее технологической матрице. Составленный тест вновь подвергается процедуре апробации. После всех проведённых проверок утверждается рабочая версия теста, в состав которой входят: подробно описанная процедура, зафиксированная инструкция, тестовый материал, формы для регистрации данных и алгоритмы обработки. После этого тест готов к дальнейшим испытаниям.

Одним из последних испытаний и «кульминацией» всего процесса разработки теста является определение и расчет показателей качества теста. Это проверка успешности всех действий, предпринятых ранее для обеспечения эффективности теста. Показателями качества теста являются надежность и валидность.

Под надежностью понимается устойчивость, или согласованность результатов теста, получаемых при повторном их применении к тем же респондентам в различные моменты времени, при использовании разных наборов эквивалентных заданий или же при изменении других условий обследования. Иными словами, надежность характеризует точность теста как измерительного инструмента, устойчивость его к действию помех (состояние респондентов, их отношение к процедуре тестирования, случайные ошибки и т.п.).

Валидность - это понятие, характеризующее что именно измеряет тест и насколько хорошо он это делает. Валидность теста говорит о том, какие выводы можно сделать из полученных по нему показателей. Выделяют валидность содержательную, критериальную и конструктную. Поскольку мы говорим о разработке педагогического теста, а выполнение таких тестов интерпретируется с точки зрения содержания предметной области, на основе которой они разрабатываются, то важнейшим условием их эффективного использования, является содержательная валидность.

Содержательная валидность устанавливается через описание содержания теста. Описание содержания заключается в систематической проверке содержания теста на соответствие репрезентативной выборке измеряемой области знаний. Содержательная валидность теста обеспечивается с самого начала конструирования теста. Для этого специалисту, разрабатывающему тест, необходимо перед составлением тестовых заданий проанализировать соответствующие учебные программы, методические пособия и пр.; в соответствии с поставленными целями и учебной программой разработать технологическую матрицу; провести ее тщательную экспертизу; в соответствии с технологической матрицей составить тестовые задания; предоставить разработанные тестовые задания на проверку экспертам; получить экспертные заключения о соответствии тестовых заданий технологической матрице; изложить результаты проделанной работы в спецификации теста.

Завершающим шагом исследовательского этапа, после определения статистических характеристик тестовых заданий и качества теста в целом, является составление окончательного варианта теста.

На пятом, стандартизационном, этапе важно решить такие задачи, как стандартизация теста и его нормирование. Стандартизация подразумевает единообразие процедуры проведения и оценки выполнения теста. Для того, чтобы показатели, полученные разными людьми, были сравнимы, условия тестирования должны быть одинаковыми для всех.

Второй важной задачей этого этапа является установление норм. Нормирование теста - это процесс получения количественных или качественных характеристик инструментария, на основе сравнения с которыми можно дать оценочное суждение о результатах, показанных респондентами. Психологические тесты не имеют заранее определённых стандартов их успешного или неуспешного выполнения. Критерии выполнения каждого теста устанавливаются опытным путём. Нормы теста определяется в результате усреднения оценок, полученных представителями репрезентативной выборки, с их последующим разделением по возрасту, полу и ряду других показателей.

На последнем, интерпретационном, этапе важно решить такую задачу, как разработка схем интерпретации результатов тестирования. Схемой интерпретации в данном случае является инструкция по проверке тестовых работ, в которой должны быть ясно, доступно, непротиворечиво прописаны алгоритм действий проверяющих, особенности оценивания разных видов заданий, способы перепроверки, а также действия проверяющих в «нештатных» ситуациях.

Таким образом, если перед специалистом психологической службы МЧС России встала задача разработки педагогического теста, то при её решении ему следует руководствоваться приведенным алгоритмом. Вместе с тем следует учитывать ошибки, характерные для процесса разработки педагогического теста и избегать их.