3) Анализ распределения тестовых баллов, построение тестовых норм и проверка их репрезентативности.
При построении тестовых норм психолог должен произвести следующие действия /Общая психодиагностика, 1987/.
— Сформировать выборку стандартизации (случайную или стратифицированную по какому-либо параметру) из той популяции, на которой предполагается применять тест. Провести на каждом испытуемом выборки тест в сжатые сроки (чтобы устранить иррелевантный разброс, вызванный внешними событиями, происшедшими за время обследования).
— Произвести группировку «сырых» баллов с учетом выбранного интервала квантования.
— Построить распределение частот тестовых баллов (для заданных интервалов) в виде таблицы и в виде соответствующих графиков гистограммы и кумуляты.
— Произвести расчет среднего и стандартного отклонения, а также асимметрии и эксцесса. Проверить гипотезы о значимости асимметрии и эксцесса. Сравнить результаты проверки с визуальным анализом кривых распределений.
— Произвести проверку нормальности закона распределения частот тестовых баллов с помощью, например, критерия Колмогорова или с помощью других более мощных критериев.
— Если гипотеза о нормальности распределения отвергается, произвести процентильную нормализацию с переводом в выбранную стандартную шкалу. Проверить устойчивость распределения расщеплением выборки на две случайные половины. При совпадении нормализованных баллов для половины и для целой выборки считать нормализованную шкалу устойчивой.
— Проверить однородность распределения по отношению к варьированию заданного популяционного признака (пол, профессия и т. п.) с помощью критерия Колмогорова. Построить в совмещенных координатах графики гистограммы и кумуляты для полной и частной выборок. При значимых различиях этих графиков разбить выборку на разнородные выборки.
— Построить таблицы процентильных и нормализованных тестовых норм (для каждого интервала «сырого» балла). При наличии разнородных выборок для каждой из них строится своя таблица.
— Определить критические точки (верхнюю и нижнюю) для доверительных интервалов (на уровне -Р<СО,01) с учетом стандартной ошибки в определении среднего значения.
— Обсудить конфигурацию полученных распределений с учетом предполагаемого механизма решения того или иного теста.
— В случае негативных результатов — отсутствия устойчивости норм для шкалы с заданным числом градаций (с заданной точностью) — осуществить обследование более широкой выборки или отказаться от плана использования данного теста.
4) Анализ надежности.
— Для тестов, построенных по принципу внутренней согласованности (без использования внешнего критерия), производится расчет коэффициентов надежности по формулам 2.69—72.
— Если имеются результаты обследования выборки стандартизации параллельными формами теста, то рассчитываются коэффициенты корреляции этих результатов с баллами, полученными с помощью нового теста.
— Проверка надежности как устойчивости к перетестированию совершенно необходима при диагностике свойств, по отношению к которым теоретически ожидается инвариантность во времени. Анализ ретестовой надежности может быть (так же как анализ надежности — согласованности) совмещен с исследованием информативности отдельных пунктов.
5) Анализ валидности.
Рассчитываются коэффициенты корреляции сконструированного теста с релевантным внешним критерием, а также с результатами дополнительных тестов для оценки конструктной валидности.
Требования кпсихометристу, разрабатывающему психодиагностический тест изложены в /Бурлачук Л. Ф. и др., 1989/. Там же излагаются требования к использованию компьютеров в психодиагностике.
4. Требования к психодиагностическим методикамЭффективная диагностическая работа возможна лишь в том случае, если будут выполнены следующие требования:
1) в отношении используемых тестов присутствуют данные о валидности, надежности, существуют статистические нормы для предполагаемых категорий испытуемых;
2) имеются методические материалы (стимульный материал, бланки, ключи, описание методики, описание процедуры тестирования, алгоритм обработки результатов, текст интерпретации результатов и рекомендации по составлению заключения на их основе;
3) использование методики оправдано с точки зрения критериев отбора (оценки) персонала, финансовых и временных затрат;
4) имеется квалифицированный консультант, который может предоставить экспертное заключение в отношении данного теста и целесообразности его использования;
5) конфиденциальность персональной информации гарантируется в том числе и процедурно (создается специальный документ, в котором уточняется порядок хранения, передачи и использования информации, вводится специальная кодировка первичных результатов с ограниченным доступом к ключу)
7. Стандартизация психодиагностических процедур
Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована.
Стандартизация (по Анастази) - это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
Требования к проведению эксперимента:
1. инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же сло-вами, понятными для всех, в одинаковой манере;
2. ни одному испытуемому не следует давать никаких преимуществ перед другими;
3. в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
4. эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;
5. временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и так далее.
Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определённых стандартов успешности или неудачи в их выполнении.
Стандартизация методики осуществляется путем ее проведения на большой репрезентативной выборке такого типа, для которого методика предназначена. Относительно этой группы испытуемых вырабатываются нормы, указывающие не только средний уровень выполнения, но и относительную вариативность выше и ниже среднего уровня.
8. Репрезентативность тестовых нормРепрезентативность тестовых норм - соответствие граничных точек на распределении тестовых баллов, полученных на выборке стандартизации, аналогичным граничным точкам, которые могли бы быть получены на популяции проведения - на множестве испытуемых, для которых предназначен тест. Обычно при получении кривой нормального распределения делается вывод о том, что тестовые нормы обладают репрезентативностью. Однако нормальность не является необходимым условием репрезентативности. Репрезентативность тестовых норм может достигаться и в отсутствие нормального распределения.
Стандартная шкала - в психодиагностике используются несколько типов стандартных шкал, позволяющих сравнивать между собой показатели разных тестов (субшкал одного теста) в едином масштабе. Как правило, стандартные шкалы основаны на модели нормального распределения и описываются двумя параметрами значением среднего и стандартного (или среднеквадратического) отклонения. Вот неполный перечень основных СШ:
Шкала стенов: среднее=5.5; станд.откл=2; пример теста - 16PF
Т-шкала: среднее=50; станд.откл=10; пример теста - MMPI
IQ: среднее=100; станд.откл=15; пример теста - IQ Айзенка
Нормальное распределение - частотное распределение значений интегративного тестового показателя, которое возникает в результате воздействия на этот показатель со стороны множества факторов - случайных и разнонаправленных. Математик Карл Гаусс предложил функцию, описывающую нормальное распределение . Графическая кривая нормального распределения имеет характерную колоколообразную форму.