7. Надежность теста: типы и способы определения.

Надежность – это точность, воспроизводимость и устойчивость результатов измерений, полученных с помощью определенной методики, во времени и по отношению к побочным переменным.

На точность измерения влияют следующие факторы: 1) нестабильность измеряемого свойства; 2) несовершенство методики (нечеткость инструкции, формулировки заданий и т.п.); 3) меняющаяся ситуация обследования (время, освещенность, пр. условия); 4) поведение экспериментатора; 5) изменения функционального состояния испытуемого; 6) субъективность в способах оценки и интерпретации результатов.

Виды надежности:1. для расчета которой необходимо 2 измерения; 1.1. Реестровая надежность – ретест спустя время, считается только для стабильных свойств; 1.2. надежность взаимозаменяемых норм – проведение разных вариантов одного и того же теста; 1.3.надежность отдельных пунктов теста – рассчитывается в дополнение реестровой надежности. 2.для расчета которой достаточно 1 измерения: 2.1. надежность частей теста – степень согласованности ответов по одной шкале считается по формуле Спирмена-Брауна; 2.2.надежность по Кьюджеру-Ричардсону(где ответы да/нет) и формуле Кронбаха(где ответы да/нет/не знаю); 2.3. надежность оценщика – оценивают разные оценщики и смотриться однородность.

8. Валидность теста: типы и способы определения.

Валидность теста – это соответствие теста предмету измерения. Проверка валидности называется валидизацией. Выделяют два способа получения валидности: прагматическая(или эмпирическая) и собственно психологическая(или теоретическая) валидизация. Эмпирическая В.- через исследование. Виды эмпирической в.: 1) Критериальная – существует внешний внятный критерий по отношению к св-ву показатель. Требования к внешним критериям: 1) релевантность – смысловое соответствие диагностического инструмента независимому жизненно важному критерию; 2) свобода от помех (контаминация); отбор испытуемых из одной среды для исключения влияния побочных переменных, «загрязняющих» критерий; 3) надежность – отражение постоянство и устойчивость исследуемого свойства.

4 типа критериев: 1) Критерии исполнения (количество выполняемой работы, время, затраченное на обучение, темп роста квалификации и пр.)

2) Субъективные критерии (по данным интервью, анкет; отношение человека к чему-либо).

3) Физиологические критерии (частота пульса, давление и пр.)

4) Критерии случайности.

В зависимости от временных отношений между критерием и тестом выделяют следующие виды критериальной валидности: 1. Текущая валидность. Данные по тесту и критерию относятся к одному временному интервалу. 2. Прогностическая валидность. Данные по тесту и критерию относятся к различным временным интервалам. В случае, если критерий находится в прошлом, речь идет о ретроспективной валидизации, если в будущем – проспективной.

2)Конвергентная – существование связи с родственными методиками. Дискриминативная валидность – отсутствие связи с методиками, имеющими другое основание (отсутствие корреляции с тестом, измеряющим концептуально независимое свойство).

3)Конкурентная – корреляция с аналогичным тестом, валидность которого уже установлена.

Теоретическая В. – теоретическим путем. Виды теоретической В.: 1)Концептуальная – доказательство того, что данное сво-во может быть измерено именно этим способом. 2)Содержательная – если предмет теста ясен, то задания теста подбираются в соответствии с ним. 3)Конструктная – доказательство соответствия теста исходному конструкту/модели. По-Анастази конструктная валидность включает в себя все виды валидности.

Очивидная валидность – со стороны испытуемых тест должен выглядеть серьезно и обоснованно.

9. Причины, влияющие на надежность и валидность теста. Способы повышения валидности и надежности различных групп тестовых методик.

10. Требования к профессиональной компетентности психолога- диагноста.

1. Диагностика как вид деятельности психолога.

2. Компетентность психолога-диагноста.

3. Нормативные требования к диагностической работе.

Уметь работать со своими проекциями. Четко видеть объективные показатели, симптомы.

Нормы профессиональной этики психолога-диагноста в России однозначно не определены и не зафиксированы в соответствующих нормативно-правовых актах. ). Центральной этической проблемой А.Анастази считает саму возможность вторжения во внутренний мир человека, нарушающую право на личную тайну. Введенный принцип осведомленного согласия несколько сглаживает, но полностью не снимает данного противоречия.

Разработка нормативных предписаний к практическому использованию диагностических методик – одна из наиболее острых проблем отечественной психодиагностики. Нормативное регулирование, система правил призваны опережать практику, задавая ей ориентиры и перспективы на будущее. Наиболее полно нормативные правила представлены в учебнике А.А.Бодалева и В.В.Столина. Авторы выделяют требования к психодиагностической литературе и методическим материалам, требования к психодиагностическим методикам, требования к пользователям методик. Предлагается сделать регулярной процедуру аттестации, как пользователей, так и собственно методик. Отдельно рассматриваются вопросы использования психодиагностических методик специалистами-смежниками. Специалисты-смежники могут использовать только хорошо обоснованные и не требующие специальных психологических знаний при интерпретации (открытые) методики после предварительной консультации с профессиональным диагностом (Общая психодиагностика, 2002). Выборка стандартизаций: 1) д.б. большой больше 100чел. 2)д.б. репрезентативна – должна представлять ту часть популяции на которую ориентирован тест.

11. Технология создания и адаптации тестовых методик.

Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов. Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.

1.Теоретическое обоснование методики.

2. Собственно конструирование.

2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.

2.2. Разработка заданий.

2.4. Предварительное оформление.

3. Апробация методики.

На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.

1. Расчет психометрических показателей на выборке стандартизации.

5. Стандартизация теста. Расчет тестовых норм.

6. Окончательное оформление методики.

7. Пересмотры методики с течением времени.

Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.

А.А.Бодалев и В.В.Столин выделяют следующие этапы адаптации переводного теста:

1. Анализ внутренней согласованности пунктов теста.

2. Проверка устойчивости к перетестированию.

3. Анализ корреляций с релевантным внешним критерием.

4. Проверка или рестандартизация тестовых норм.

5. В случае адаптации многомерной методики – проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо: 1) проверить валидность методики; 2) перепроверить тестовые нормы.

12. Принципы построения комплексного психологического портрета личности и комплектование психодиагностической батареи.

Алгоритм работы по созданию тестовой батареи принципиально не отличается от такового при конструировании отдельных методик. Различие заключается в том, что конструирование тестовой батареи не предполагает детального концептуального обоснования.

Формирование тестовой батареи начинается с постановки психодиагностической задачи. Например, при разработке батареи тестов в целях профотбора в качестве исходной выступает профессиологическая задача, сущность которой заключается в построении уравнения профпригодности (И.Н.Носс, 2003).

Тестовые батареи формируются для измерения комплексных психологических характеристик. Изначально необходимо определить содержательную валидность батареи, то есть составить схему-структуру измеряемого объекта. В частности, в профотборе, схема профессиональной пригодности специалиста разрабатывается на основе соответствующей профессиограммы (психограммы). Подбор методик осуществляется в соответствии с выделенными параметрами.

По результатам пилотажного исследования производится расчет основных психометрических характеристик батареи: надежности, валидности, трудности и дискриминативности пунктов, нормы. В роли пунктов батареи выступают показатели по отдельным методикам.