4.7. Оценка уровня достижений в школьном обучении

К категории “достижений” относят те знания, способности и т.д., которые человек уже приобрел, т.е. которых он “достиг”. Тесты достижений применяются для текущего контроля за процессом обучения и при разного рода отборе учащихся. Хорошо известный пример тестов достижений - тесты на овладение такими общеобязательными в современном обществе навыками, как чтение, арифметический счет и письмо.

К оценке уровня достижений можно подойти как к измерению навыков, т.е. психологическим конструктом здесь являются навыки, а конструктная и прогностическая виды валидности имеют центральное значение. Однако в тестах достижений не менее важна и содержательная валидность, поскольку необходимо учитывать, что должен знать или уметь делать тестируемый. Если бы даже содержательную валидность можно было рассматривать как валидность конструктную (Messick,1989) или как вопрос о надежности или обобщаемости результатов, все равно это понятие заставляет нас четко очерчивать соответствующую область знаний и навыков.

Все тесты должны быть надежны и валидны. Однако в практическом обучении существуют такие формы оценки уровня достижений, которые, не отвечая этим требованиям, тем не менее, полезны. Тест (письменный или устный) может иметь “созидательную” функцию, т.е. подсказывать учителю, что лучше делать. Такого рода оценивание не обязательно должно соответствовать строгим критериям психометрии. Иначе обстоят дела, если на основе результатов тестирования принимается решение о переводе ребенка в другой класс или какое-либо другое ответственное решение. В таком случае необходимы тесты, обладающие высокой надежностью и валидностью. Тесты достижений могут помочь в решении самых разных задач, поскольку они могут показать, на что конкретно ученик способен ученик и что он знает, каково его место среди других учеников класса с точки зрения успехов в обучении. С их помощью можно также сравнивать успешность обучения в разных классах, школах, у разных учителей.

4.7.1. Психологическая теория и достижения

У людей, конечно же, имеются некоторые представления о том, какого рода знания и умения необходимы для успешного обучения в школе или для успешной работы. Однако, насколько нам известно, эта сторона житейских представлений специально не исследовалась. Кроме того, в педагогических теориях подробно разработаны вопросы обучения таким основным навыкам, как чтение, письмо и элементарный счет. На основе этих теорий, а также идей информационного подхода и представлений об иерархии способностей разного уровня, делаются попытки описать и объяснить конкретные виды достижений. Однако надо признать, что эти теоретические представления не оказывают серьезного влияния на разработку тестов достижений, поскольку главную роль при конструировании таких тестов играет продукт, т.е. в данном случае то содержание, которое должно быть усвоено. Учащийся или претендент на какое-либо рабочее место должен продемонстрировать, что он знает и какими умениями он владеет.

4.7.2. Теория тестов и тесты уровня достижений

Продукт, который демонстрирует человек в тестах достижений, является предметом анализа с позиции классической и современной теории тестов. Классическая теория тестов создала средства анализа тестовых заданий. Например, задается определенная степень сложности заданий; подсчитывается разница в успешности решения заданий испытуемыми с высоким и низким уровнями достижений; определяются корреляции, показывающие степень согласованности отдельных заданий; определяется распределение суммарных оценок, и, кроме того, имеется немало показателей надежности как для отдельных заданий, так и, главным образом, для суммарных оценок.

Современная теория тестов также легко применима к тестированию уровня достижений. Теория анализа ответов в заданиях (IRT) содержит в себе много различных моделей. Они не совпадают с точки зрения тех характеристик, которым должны отвечать полученные данные. В случае строгих требований им может удовлетворить лишь небольшое число данных. Например, однопараметрическая модель Раша выглядит весьма привлекательно, но крайне мало данных могут подойти под предъявляемые ею требования. Для шкалы Моккена необходимо только монотонное возрастание заданий, следовательно, шкалированию в соответствии с этой моделью поддается большее число наборов заданий. Упрощенным примером применения теории анализа ответов в задании может служить конструирование шкалы, в которой тестируемым людям и заданиям придается организация порядковой шкалы. Место человека на такой шкале зависит от уровня его способности и от трудности задания. Задание можно охарактеризовать с помощью двух признаков: уровня трудности и дискриминативной силы. Под последней понимается степень связи, существующей между латентной способностью и возможностью дать хороший ответ в этом задании. Это не что иное, как крутизна характеристической кривой задания. Возьмем для примера два задания - одно, вероятность правильного решения которого при пятой позиции на шкале уровней способности составляет 50% и 80% при шестой позиции, и другое задание, в котором вероятность успешного решения составляет 55% при той же (шестой) позиции на указанной шкале. В этом случае дискриминативность первого задания будет больше, а характеристическая кривая задания - круче. Сочетание ответов в заданиях указывает на возможную предзаданность шкалы. Если задания не поддаются упорядочению в рамках одной шкалы, можно говорить, что результаты предлагают описание по более чем одному параметру. Таким образом, модель анализа ответов задания как бы изнутри проверяет конструктную валидность теста. С другой стороны, в рамках классической теории тестов разработаны понятия дивергентной и конвергентной валидности, которые опираются на сравнение с другими тестами, и здесь не требуется специальной модели измерения для тестов.

В тестах уровня достижений преобладают модели анализа ответов в задании. Эти модели выполняют функцию “измерения”, при этом измерение согласно принятому правилу отсутствует (см. главу 1). Модели начинаются со шкалы, которая представляет собой нелинейную функцию латентной черты. Дополнительное преимущество этих моделей состоит в том, что для каждого уровня этой латентной черты может быть определена стандартная ошибка. Современные теоретические модели тестов намного сложнее классической теории тестов. Действительным доказательством того, что те или иные тесты лучше, является их большая прогностическая и конструктная валидность. И это следует проверить. Далеко не самоочевидно, что модели теории анализа ответов в задании обладают большей прогностической и конструктной валидностью. Можно даже ожидать, что прогностическая валидность различных тестов уровня достижений не увеличится после их “реконструкции” на основе современной теории. Однако разработка теории анализа ответов заданий преимущественно ведется именно в области тестирования уровня достижений.

Тесты уровня достижений в избытке имеются в странах Западной Европы и Америки. В некоторых странах с этой целью созданы специальные институты, например ETS в США. Помимо этого, время от времени в той или иной стране проводится проверка качества владения определенными знаниями или умениями (mastery tests), например, владения речью, родным языком 12-летними детьми. Этот вид тестирования достижений иногда дает тревожные результаты, а порой служит толчком для организации программ помощи группам с наиболее низкими результатами. Примером такого рода может служить следующий факт, установленный в результате соответствующего тестирования: от 10 до 15 % двенадцатилетних детей владеют речью на уровне, отвечающем минимально необходимым общественным требованиям (Walsh, Betz, 1990). Другой пример дает исследование особенностей владения разными речевыми функциями 11-13-летних детей в Голландии. Детям было дано 16 заданий на чтение. Оказалось, что 7% детей читали очень плохо. Их пришлось отнести к “функционально неграмотным”. Кроме того, грамотность еще 14% детей можно было назвать сомнительной. Девять процентов детей очень плохо справлялись с письмом, а еще 44% - посредственно. В то же время их трудности в устной речи были заметно меньше: у 1,5% детей нашли очень низкий уровень владения речью, а у 11,5% - достаточно низкий. Большинство школьников считали язык скучным предметом. Они читали мало книг. В школьных программах обучению языку отводилось около 8 часов в неделю.

Подведем некоторые итоги. Этот раздел показывает, что тесты достижений имеют весьма широкое применение. Поскольку они непосредственно связаны с содержанием школьных дисциплин, содержательная валидность имеет в них главенствующее значение. Эти тесты могут использоваться неформально, если ученик понимает данную тему, и формально, т.е. для определения уровня владения какими-либо знаниями с целью отбора. С помощью тестов достижений можно сравнивать не только отдельных учеников, но и целые классы, школы, а также успешность работы учителей. Теория тестов достижений связана с теориями научения, точнее усвоения навыков и умений, как элементарных, так и сложных. Однако тесты достижений ориентированы на оценку “продукта” обучения, они не предназначены для проверки теорий усвоения. Тем не менее результаты тестирования уровня достижений можно проанализировать и с целью получения информации о тех умениях, от которых зависит успешное решение тестовых заданий. Для анализа тестов достижений часто привлекается современная теория тестирования. Тесты достижений можно использовать для определения уровня знаний населения в той или иной области.

Тринадцать итоговых тезисов

1. Эмпирическое исследование индивидуальных различий по интеллекту потребовало разработки таких задач, которые были бы понятны для тех, кто проходит тестирование, и решение которых можно было бы объективно оценить. Для этого психологи должны были расстаться с философскими и эпистемологическими подходами к постижению природы интеллекта.

2. Как подчеркивает Стернберг, неспециалисты и эксперты-психологи весьма сходным образом отвечают на вопрос о том, что такое интеллект. Различия возникают на уровне теоретического осмысления и, особенно, метода.

3. Свойственные обыденному сознанию представления об индивидуальных различиях по интеллекту рассматриваются с позиций социального конструктивизма в качестве репрезентаций, существующих в каждой конкретной социальной группе, в том числе есть они и у представителей научной психологии. Эти репрезентации имеют свою функцию (поддержание своей социальной идентичности) и структуру (параметры). Все возможные репрезентации в принципе рассматриваются как равноправные. Иногда они вступают в противоречие с точкой зрения научной психологии.

4. Спирмен остается центральной фигурой в научных исследованиях интеллекта. Он создал теорию интеллекта (корреляций и взаимосвязей); ввел метод корреляционного анализа; разработал тестовые задания, легко поддающиеся оценке, и модель факторного анализа.

5. В русле “психометрического” подхода к интеллекту были созданы теории, выделены факторы интеллекта, предложены модели анализа данных и тестовые процедуры. На этой основе стало возможным обсуждение вопроса о количестве факторов интеллекта и соотношении между ними. Все эти достижения не утратили своего значения и сегодня, несмотря на то, что появляются новые, более сложные теории интеллекта и процессов переработки информации.

6. Остается спорным вопрос о том, какое значение для объяснения индивидуальных различий в сфере интеллекта могут иметь исследования, коррелирующие когнитивные компоненты и биологические, нейрофизиологические процессы. Измерение когнитивных компонентов, так же как и установление характеристик тонких нейрофизиологических процессов, отличается крайней сложностью и требует особых процедур компьютерной обработки. В то же время получаемые корреляции когнитивных биологических показателей с оценками IQ оказываются весьма слабыми.

Нужно ли затрачивать такие усилия, чтобы дать прогностическую оценку IQ, который - в этом совпадают мнения психологов разных направлений исследований (нейрофизиологов, представителей информационного подхода) - опирается на упрощенные, сориентированные на продукт представления об интеллекте и который к тому же измеряется посредством весьма несовершенных процедур?

7. Привлекают внимание появившиеся в последнее время так называемые “мягкие” теории интеллекта. Однако эти теории не стали пока основой для соответствующих тестов и измерительных процедур. Создание таких тестов - задача сложная и требующая значительного времени. Сказанное, однако, не может служить оправданием, поскольку до тех пор, пока такие тесты не разработаны, теория не в состоянии пройти необходимую проверку и, следовательно, не способна использоваться психологами-практиками, которые вынуждены вновь обращаться к классическим “психометрическим” тестам.

8. Некоторые из наиболее широко используемых тестов интеллекта не имеют достаточного теоретического обоснования. С другой стороны, существуют теоретические представления об интеллекте, которые не нашли своего применения в разработке тестов и других методов оценивания.

9. К тестам интеллекта предъявляются многочисленные требования: выделение существенных (релевантных) критериев; наличие теоретического обоснования; особое содержание, которое не должно быть ни слишком широким, ни слишком частным, узким; разумность заданий как с точки зрения тестируемого, так и с точки зрения тестирующего; соблюдение равенства условий тестирования как на уровне заданий, так и на уровне построения прогноза; адекватность социальным требованиям, когда тесты не вступают в противоречие с нормами и ценностями общества. Каждое из этих требований вполне правомерно.

10. Конструирование тестов, создание психометрических процедур, разработка теории интеллекта - все это сегодня, по сути дела, самостоятельные специальности. Сотрудничество между ними, если оно станет реальным, приведет к созданию более совершенных тестов.

11. Отмечаются корреляции между тестовыми оценками интеллекта и многими другими переменными (от весьма умеренных, хотя и значимых, до достаточно высоких: 0,20 - 0,60). Эти корреляции отражают связь, существующую между двумя данными характеристиками в популяции, но их нельзя рассматривать как отражение связи двух переменных у конкретного индивида. Психологи могут научиться правильной интерпретации такого рода данных у представителей генетики поведения.

12. Модели интеллекта применимы и для анализа способностей. Доминирующее положение здесь занимает модель мультифакторного интеллекта, предложенная Терстоуном. Альтернативную ей модель разработали исследователи в области образования, так как были не согласны с тезисом о независимости отдельных способностей и предложили идею их иерархической организации.

Тесты оценки уровня достижений достаточно прочно базируются на классической и современной теориях тестов. Эти две теории часто сравнивают (см. гл. 1). Современная теория одержала победу, и тесты будут во все большей степени оцениваться в соответствии с ее критериями. Однако окончательным доказательством того, какая теория предпочтительнее, послужит аргумент более точной прогностической и конструктной валидности.

13. Проблемы, связанные с изучением интеллекта, способностей и уровня достижений, так же стары, как и сама психология. Возможно, они даже переживут саму психологию. И трудно сказать, к лучшему это или к худшему для понимания природы интеллекта.

* idola tribus (лат.) - мнение кумиров (прим. перев.).

106