- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
лов развития. Респондентам сообщают, что оценка не будет использована для их аттестации. Если оценивающий верит подобному утверждению, то не станет ни завышать, ни занижать оценку. Выясняется, что в результате подобного подхода значительно меняется качество отзыва, и все же уровень системного шума остается высоким, обеспечивая больший разброс оценок, нежели предполагается реальной эффективностью оцениваемого работника. Даже в случаях отзывов су-
губо в целях саморазвития357 в оценках по-прежнему присутствует много шума.
Старая проблема: в поисках решения
Если системы оценки эффективности работника настолько серьезно искажены, то люди, несущие ответственность за подобные тесты, должны заметить нарушения и принять меры к их исправлению. За последние несколько десятилетий действительно предпринимались попытки реформирования: организации внедряли стратегии снижения шума, о которых говорилось выше. Однако мы считаем, что работы еще непочатый край.
Методы обобщения используются практически в каждой компании и чаще всего ассоциируются с моделью «360 градусов», которая в 1990-х годах стала стандартной для круп-
ных корпораций. (Журнал Human Resources Management
опубликовал специальный выпуск, посвященный данной мо-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
дели, еще в 1993 году.)
Следует отметить, что методы усреднения рейтингов, определенных разными экспертами, должны способствовать снижению шумового фона, однако модель «360 градусов» придумали для других целей. Ее основная задача – оценить больше факторов, чем видит невооруженным глазом босс корпорации. Когда коллеги и подчиненные добавляют свое видение к оценке вашей эффективности, меняется сама природа качеств, которые они оценивают. Теоретически подобный сдвиг является шагом вперед, поскольку суть современных подходов к работе заключается не только в удовлетворении требованиям босса. Рост популярности модели «360 градусов» совпал с развитием концепции гибкой, ориентированной на реализацию проектов организации.
Имеется ряд свидетельств, что модель «360 градусов» стала полезным инструментом, прогнозирующим объектив-
но измеряемую358 эффективность работы. К сожалению, использование данной модели привело к некоторым проблемам. Всеобщая компьютеризация существенно облегчила добавление новых вопросов в подобные системы оценки. К тому же по мере усложнения корпоративных целей и правил разрастались и описания должностных функций, из-за чего многие формуляры для отзывов непомерно разбухли. Сегодня предостаточно анкет, перегруженных многочисленными
вопросами359 (мы видели анкету, содержащую одиннадцать оценочных характеристик каждого работника: каждый под-
раздел состоял из сорока шести вопросов). Похоже, эксперту следует обладать сверхчеловеческими способностями, чтобы запомнить и учесть каждый значимый факт в отношении многих работников, оцениваемых по огромному количеству параметров. Описанный нами сложнейший подход не только бесполезен во многих отношениях; по сути, его влияние пагубно. Мы уже поняли, к чему приводит завышение оценки работника вследствие какой-либо преобладающей характеристики («эффект ореола»): некоторые независимые параметры измерения в итоге теряют свою независимость. Акцентированная положительная либо отрицательная оценка по первому же пункту вопросника задает тон при ответах на прочие вопросы анкеты.
Еще более важное соображение: развитие модели «360 градусов» в разы увеличило затраты времени на составление отзыва. Менеджера среднего звена могут попросить ответить на десятки анкет, посвященных характеристикам его коллег (начальников и подчиненных), а порой и работников из других компаний. Дело в том, что сегодня многие организации просят обратной связи от клиентов, поставщиков и иных партнеров по бизнесу. Намерение благое, однако подобный шквал требований, предъявляемых к экспертам, которые и так находятся в цейтноте, вряд ли даст основания ожидать качественной информации. В таком случае достигнутое снижение шумового фона не стоит затраченных усилий, что мы и обсудим в шестой части нашей книги.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
И наконец, модель «360 градусов» не располагает защитой от общей болезни всех систем оценки: постепенной инфляции рейтингов. Одна из крупных промышленных ком-
паний указала, что 98 %360 ее менеджеров получили оценку «полностью удовлетворяет ожиданиям». Если почти каждому присваивается наивысший балл, напрашивается вопрос: какова ценность подобных рейтингов?
Аргументы в пользу суждений относительного характера
Теоретически эффективным решением проблемы инфляции рейтингов может стать их стандартизация. Одна из популярных практик в этом плане – принудительное ранжиро-
вание361. В рамках данной системы оценивающего не только ограничивают в возможности поставить аттестуемому завышенный балл, но и заставляют действовать в пределах заданного распределения оценок. Систему принудительного ранжирования горячо поддерживал Джек Уэлч в бытность руководителем General Electric, считая ее способом устранения инфляции рейтингов и гарантией «честной» аттестации. Многие компании взяли методику ранжирования на вооружение, однако впоследствии были вынуждены от нее отказаться, указав на ее нежелательное воздействие на моральное состояние коллектива и командную работу.
Каковы бы ни были недостатки методики, отметим, что ранжирование содержит меньше изъянов, нежели индивидуальные рейтинги. В примере с компенсацией морального ущерба мы наблюдали, что суждения относительные содержат меньше шума, чем абсолютные, и данная закономерность также прослеживается в оценке деловых качеств работников362.
Рис. 17363. Примеры абсолютной и относительной шкалы оценки
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Причины подобной разницы мы поймем, посмотрев на рисунок 17, представляющий нашему вниманию два примера шкалы оценки работников. В секции А служащий оценивается по шкале оценок в абсолютном выражении. Здесь от оценивающего требуется выполнить процедуру, которую мы называем «совмещением»: необходимо найти то значение, которое наиболее полно соответствует вашим впечатлениям от качества работы подчиненного. В секции Б, напротив, требуется сравнить вашего сотрудника с группой его коллег по одному параметру (в данном случае по надежности). Руководителя просят определить ранг сотрудника (или дать оценку в процентном выражении) в коллективе, используя процентильную шкалу. Мы видим, что начальник оценил по данной шкале трех подчиненных.
Подход, представленный в секции Б, имеет два преимущества. Во-первых, одновременное ранжирование всех сотрудников по одному критерию служит примером стратегии снижения шума, которую мы более подробно обсудим в следующей главе. Мы говорим о делении комплексного суждения на несколько элементов. Подобное структурирование представляет собой попытку ограничить влияние эффекта ореола, за счет которого баллы, присвоенные работнику по разным параметрам, колеблются в пределах узкой зоны значений. Разумеется, подобное структурирование работает лишь в случаях выполнения ранжирования отдельно по каждому
критерию, как и указано в нашем примере. В случаях, когда ранжирование производят на основе неверно определенного общего суждения «о качестве работы», снизить влияние эффекта ореола не получится.
Во-вторых, как мы уже говорили в главе 15, ранжирование снижает воздействие и внутриэкспертного, и межэкспертного шума. Вероятность ошибки сильно уменьшится, если вы сравните эффективность двух членов вашей команды, и возрастет, если вы попытаетесь оценить каждого по отдельности. В данном случае важно отметить, что ранжирование механически устраняет межэкспертный шум. Если Линн и Мэри оценивают одну и ту же группу из двадцати работников (учитывая, что Линн снисходительнее своей коллеги), то средний индивидуальный рейтинг, определенный нашими дамами, будет отличаться, а вот средний результат ранжирования – нет. Что снисходительный, что строгий эксперт
–в данном случае оба используют один и тот же подход. Снижение шума является главной заявленной целью при-
нудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок. Ранжирование носит принудительный характер в случаях, когда распределение оценок строится на обязательном условии. Например, стандарты компании предусматривают, что не более 20 % работников может попасть в высшую категорию и не менее 15 % – в низшую.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/