Тема 9. Технология создания и адаптации методик

Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов. Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.

1.Теоретическое обоснование методики.

2. Собственно конструирование.

2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.

2.2. Разработка заданий.

2.4. Предварительное оформление.

3. Апробация методики.

На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.

4. Расчет психометрических показателей на выборке стандартизации.

5. Стандартизация теста. Расчет тестовых норм.

6. Окончательное оформление методики.

7. Пересмотры методики с течением времени.

Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.

А.А.Бодалев и В.В.Столин выделяют следующие этапы адаптации переводного теста:

1. Анализ внутренней согласованности пунктов теста.

2. Проверка устойчивости к перетестированию.

3. Анализ корреляций с релевантным внешним критерием.

4. Проверка или рестандартизация тестовых норм.

5. В случае адаптации многомерной методики – проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо: 1) проверить валидность методики; 2) перепроверить тестовые нормы.

Тема 10. Принципы создания тестовых батарей

Алгоритм работы по созданию тестовой батареи принципиально не отличается от такового при конструировании отдельных методик. Различие заключается в том, что конструирование тестовой батареи не предполагает детального концептуального обоснования.

Формирование тестовой батареи начинается с постановки психодиагностической задачи. Например, при разработке батареи тестов в целях профотбора в качестве исходной выступает профессиологическая задача, сущность которой заключается в построении уравнения профпригодности (И.Н.Носс, 2003).

Тестовые батареи формируются для измерения комплексных психологических характеристик. Изначально необходимо определить содержательную валидность батареи, то есть составить схему-структуру измеряемого объекта. В частности, в профотборе, схема профессиональной пригодности специалиста разрабатывается на основе соответствующей профессиограммы (психограммы). Подбор методик осуществляется в соответствии с выделенными параметрами.

По результатам пилотажного исследования производится расчет основных психометрических характеристик батареи: надежности, валидности, трудности и дискриминативности пунктов, нормы. В роли пунктов батареи выступают показатели по отдельным методикам.

Практические занятия

Знакомство с принципами оформления психодиагностического инструментария

Необходимое оборудование: профессиональные диагностические методики.

Практическое занятие проходит в микрогруппах по 3-5 человек. В процессе занятия необходимо:

1. Составить перечень требований к публикации методик. Можно воспользоваться данными, которые представлены в учебнике А.А.Бодалева, В.В.Столина.

2. Оценить в соответствии с требованиями профессиональные заключения. Обратить внимание на:

• стандарты в оформлении инструментария;

• стимульный материал;

• бланки ответов;

• ключ;

• методическое руководство.

3. Сформулировать заключение о степени соответствия методики стандартам, представить отчет о проведенном исследовании.

Анализ репрезентативности тестовых норм одномерного опросника

Необходимое оборудование: одномерный опросник, исходная матрица диагностических данных по опроснику, калькуляторы.

Этапы работы:

1. Построение распределения частот тестовых баллов.

2. Проверка гипотезы о нормальном распределении.

3. Проверка устойчивости распределения расщеплением выборки на 2 половины

4. Построение кривой накопленных частот.

5. Процентильная нормализация. Линейная стандартизация. Шкала «стенов».

6. Доверительный интервал.

7. Представление тестовых норм.

8. Отчет о проведенном исследовании.

Анализ надежности одномерного опросника

Необходимое оборудование: одномерный опросник, исходная матрица диагностических данных по опроснику, калькуляторы.

Этапы работы:

1. Расчет надежности методом тест-ретест.

2. Расчет надежности метод расщепления теста на две половины.

3. Расчет гомогенности теста по формуле Кьюдера-Ричардсона.

4. Отчет о проведенном исследовании.

Анализ валидности одномерного опросника

Необходимое оборудование: одномерный опросник, исходная матрица диагностических данных по опроснику, калькуляторы.

Этапы работы:

1. Конвергентная валидизация теста по отношению к другим тестам.

2. Экспертная валидизация теста.

3. Анализ пунктов по критерию валидности.

4. Отчет о проведенном исследовании.

Анализ заданий одномерного опросника

Необходимое оборудование: одномерный опросник, исходная матрица диагностических данных по опроснику, калькуляторы.

Этапы работы:

• Расчет индекса сложности заданий.

• Расчет коэффициента дискриминативности заданий.

• Переформулировка недостоверных пунктов.

• Отчет о проведенном исследовании.

Принципы подбора тестовой батареи

Необходимое оборудование:практикумы по психодиагностике, сборники психологических тестов.

Этапы работы:

1. Определение диагностических задач.

2. Критерии диагностики.

3. Сопоставление результатов.

4. Отчет о проведенном исследовании.