Интерпретация коэффициента валидности

Как и оценки надежности, оценки валидности теста получают в форме коэффициен­тов корреляции. Однако в отличие от интерпретации коэффициента надежности при интерпретации коэффициента корреляции как оценки валидности принимают во вни­мание гораздо больше и теоретических, и практических соображений. В целях иллюс­трации мы ограничимся здесь обсуждением интерпретации доказательств валидности по критерию, поскольку именно с этой ситуацией чаще всего сталкивается большин­ство индустриально-организационных психологов.

Коэффициент корреляции — см. стр. 60.

При обсуждении надежности теста было отмечено, что большинство психологов сочтут приемлемой оценку надежности в диапазоне свыше 0,80-0,90, при условии, что она основана на компетентно проведенном исследовании. При интерпретации коэффициентов валидности по критерию нет таких четких ориентиров. За те примерно 90 лет, в течение которых проводится тестирование при приеме на работу, эти коэффи­циенты редко превышали г = 0,50; этот показатель кажется довольно низким по сравне­нию с коэффициентами надежности, превышающими 0,80 или даже 0,90. Однако сле­дует помнить, что коэффициент надежности, в сущности, является мерой корреляции между двумя оценками одной и той же характеристики. В отличие от этого, коэффи­циент валидности по критерию является оценкой корреляции между двумя различны­ми показателями — результатами теста и какой-либо другой оценкой поведения.

Поведение в целом определяется сложным комплексом множества причин, и какой бы то ни было тест может, по-видимому, оценить лишь немногие из релевантных для Данного поведения прогностических факторов. Например, для прогнозирования аб­сентеизма часто используют оценки удовлетворенности работой, но все работающие люди знают, что решение не пойти на работу в один из дней может и не иметь никакого отношения к удовлетворенности работой или к ее отсутствию. Если воспользоваться терминологией главы 2, то удовлетворенность работой может быть одним из детерминантов абсентеизма, но ее влиянием объясняется лишь небольшая часть диспер­сии этой критериальной переменной.

Процентная доля дисперсии критерия, которая объясняется с помощью результатов данного теста, называется коэффициентом детерминированности. Математически этот показатель вычисляется путем возведения в квадрат коэффициента корреляции между тестом и критерием. Если между тестом и оценкой выполнения работы (крите­рием) существует корреляция с r = 0,50, то коэффициент детерминированности будет равен 0,25 (25 %). Другими словами, около 75 % (1,00 - 0,25) различий в выполнении работы не учитывается, поскольку существует много других факторов, которые не измеряются данным тестом, но влияют на то, как люди выполняют свою работу.

Детерминанты — см. стр. 64.

Диапазон значений коэффициента детерминированности ограничен, и в настоящее время верхним пределом является значение примерно 25 %. Поэтому может показать­ся, что не имеет смысла направлять значительные ресурсы на конструирование, доказа­тельство валидности и использование тестов в организациях с целью прогнозирова­ния. Однако здесь идет речь о статистическом прогнозе, то есть о прогнозе, который определяется величиной дисперсии критерия (такого как выполнение работы), объяс­няющейся влиянием предсказывающей переменной (результат теста).

На практике индустриально-организационные психологи часто считают, что тест с коэффициентом валидности по критерию 0,30 (9 % дисперсии) полезен и во многих ситуациях его использование повышает эффективность принятия решений. Концеп­ция полезности релевантна измерениям любого типа, проводимым для принятия лю­бых кадровых решений, но лучше всего это видно на примере показателя успешности приема на работу в организацию.

Термин показатель успешности приема на работу обозначает долю или процент принятых на работу сотрудников, которые успешно справляются со своими задачами. Этот процентный показатель может снижаться за счет ошибок при отборе, относящих­ся к двум типам. Если приняты на работу люди, которые работают плохо, то это ошибка ложного положительного отбора. Противоположная ситуация, когда принято реше­ние не нанимать людей, которые в дальнейшем работали бы хорошо, — это ошибка ложного отрицательного отбора. Связь между этими ошибками и правильными реше­ниями о приеме на работу показана на рис. 3.5.

На графике, представленном на рис. 3.5, показана связь между результатами отбо­рочного теста, использованного при приеме на работу (предсказывающая переменная), и общей оценкой выполнения работы (критерием). В целях иллюстрации предполага­ется, что все новые сотрудники, принятые на работу в эту компанию в данный период времени, проходили тестирование. Однако результаты теста не использовались для отбора, а были зафиксированы и сохранены, чтобы воспользоваться ими впоследствии, когда появятся оценки выполнения работы этими сотрудниками. (Это, конечно, та же самая процедура, что и составление прогноза валидности по критерию.)

Имеются еще два предположения о ситуации, которую отображает график, пред­ставленный на рис. 3.5. Во-первых, предполагается, что если бы тест использовался для отбора сотрудников, то кандидаты, получившие менее 50 баллов, не были бы при­няты на работу. Пятьдесят баллов — это черта отсекания по прогнозу. Во-вторых, предполагается, что сотрудники, получившие оценку выполнения работы выше сред­него балла (3) шкалы, считаются в организации успешными, а остальные таковыми не считаются. Оценка 3 — это черта отсекания по критерию.

С учетом этой информации о графике на рис. 3.5 становится яснее смысл ошибок ложного положительного и ложного отрицательного отбора и правильных решений о приеме на работу. Каждая точка точечного графика отображает положение одного сотрудника с точки зрения результата теста и оценки выполнения работы. Точки, по­павшие в квадрант IV, относятся к сотрудникам, которые получили баллы выше чер­ты отсекания по прогнозу и должны были стать хорошими работниками, но им выс­тавлены низкие оценки выполнения работы; отсюда и название «ложный положи­тельный отбор».

Сотрудники, положение которых отображается точками из квадранта I, попали в противоположную ситуацию. Если бы при приеме на работу учитывались результаты теста, то их бы не наняли, но их показатели выше черты отсекания по критерию; отсюда название «ложный отрицательный отбор». Наконец, точки из квадрантов II и III ото­бражают положение сотрудников, у которых оценки выполнения работы соответству­ют прогнозу и относительно которых были приняты правильные решения (истин­ный положительный или отрицательный отбор).

При принятии решений об отборе люди в организациях сосредоточиваются на слу­чае, представленном на рис. 3.5 в квадранте II — это ситуация, когда успешных со­трудников удается выявить заранее. То, насколько использование отборочного теста позволяет увеличить количество случаев, попадающих в квадрант II по сравнению с квадрантом IV, зависит от трех факторов:

1. Показатель успешности приема на работу без испол ьзования теста (иногда его на­зывают базовым уровнем).

2. Коэффициент валидности теста по критерию.

3. Соотношение числа кандидатов на каждое рабочее место и количества вакансий (отборочное соотношение ).

Число кандидатов, из которых надо выбрать одного человека для заполнения од­ного рабочего места, называется отборочным соотношением (selection ratio). Если это! соотношение равно 1:1 (всего один кандидат на каждое место), то не надо принимать решения и нет оснований использовать тест. С другой стороны, если кандидатов больЯ ше, чем рабочих мест, то надо принимать решения. Полезность конкретного теста опре­деляется тем, поможет ли он тому, кто принимает решения, лучше справиться со своей задачей.

Опубликованы таблицы, с помощью которых можно сразу же ответить на вопрос о полезности теста, если известны текущий показатель успешности приема на рабо­ту, коэффициент валидности по критерию отборочного теста и отборочное соотно­шение. На рис. 3.6 приведена выдержка из таблиц Тейлора-Расселл a (Taylor & Russel, 1939). На этом рисунке отражена следующая ситуация:

1. Показатель успешности приема на работу без использования нового теста равен 50 % (успешно работает половина принятых на работу сотрудников).

2. С помощью исследования валидности установлено, что критериальная валидность нового теста r - 0,41 (с помощью теста можно выявить около 17 % различий в вы- полнении данной работы).

3. Отборочное соотношение равно 50 % (в среднем на каждое вакантное место претендуют два кандидата).

Как показывает жирная черная линия на рис. 3.6, компания, которая должна на­нять только половину людей, претендующих на рабочие места (отборочное соотно­шение 50 %), может увеличить свой показатель успешности от 50 % до более чем 65 %, используя отборочный тест с коэффициентом критериальной валидности r =0,41. Такое повышение показателя успешности может привести к существенной экономии средств, которая обсуждалась в статье Шмидта и Хантера (Schmidt & Hunter, 1981) (отрывок из нее приведен в начале этой главы в рубрике «Психология в действии»).

Таблицы Тейлора—Расселла уже более 50 лет помогают индустриально-органи­зационным психологам и другим специалистам оценивать полезность тестов. Чтобы подчеркнуть историческую ценность этих таблиц, здесь приведен один из первых гра­фиков; в настоящее время обычно используются затабулированные данные. В табли­цах, разработанных Гизелли и Брауном (Ghiselli & Brown, 1955), непосредственно показано процентное увеличение эффективности работы при различных значениях коэффициента валидности. Таблицы Нейлора и Шайна (Naylor & Shine, 1965) особен­но полезны в тех случаях, когда невозможно провести четкое различие между успехом и неудачей в работе, из-за чего нельзя пользоваться таблицами Тейлора—Расселла.