- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
чает пособие по инвалидности, а другой – с таким же заболеванием – не получает ничего.
Даже если считать, что несправедливость не так уж и страшна, в феномене системного шума кроется другая проблема. Люди, которых коснулись последствия оценочных суждений, полагают, что такие суждения отражают решение, принятое системой, а не мнение отдельно взятого судьи. Должно быть, дела плохи, если один покупатель, пожаловавшись на бракованный ноутбук, получил деньги назад, а другому достались лишь извинения от магазина; если один служащий с пятилетним стажем в компании, попросив о повышении, получил его, тогда как другой, ничем не хуже первого, услышал вежливый отказ. Системный шум – это непоследовательность, а непоследовательность подрывает авторитет системы.
Нежелательный, но поддающийся измерению
Все, что нам нужно для измерения уровня шума, – это множество суждений, вынесенных по одной проблеме. При этом нет нужды знать истинный результат. Как показала история про стрельбу в тире во введении, взглянув на оборотную сторону мишени, мы не видим обозначения ее центра, зато можем наблюдать разброс попаданий. Если нам известно, что все стрелки целились в одно и то же «яблочко», мы
можем измерить уровень шума. Именно эту задачу и выполняет ревизия шума. Если мы попросим прогнозистов оценить продажи в следующем квартале, шумом будет разброс в их оценках.
Понимание различия между смещением и шумом необходимо для практической цели улучшения качества суждений. Утверждение о том, что можно улучшить суждения, даже не имея шансов проверить, насколько они верны, звучит парадоксально. Однако это действительно так – при условии, что мы начнем с измерения уровня шума. Неважно, нацелено суждение на достижение верного ответа или на более сложный компромисс между различными альтернативами, шум нежелателен и при этом часто поддается количественной оценке. Как только уровень шума измерен, во многих случаях его можно сократить, как мы увидим в части V.
К разговору о профессиональных суждениях
«Это субъективное суждение. Люди не могут полностью во всем соглашаться».
«Да, это суждение субъективно, но некоторые оценки настолько оторваны от жизни, что просто не могут быть верными».
«Ваш выбор в пользу одного из кандидатов – отражение личных предпочтений, а не трезвое суждение».
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
«Для принятия решения необходимы как прогнозные, так и оценочные суждения».
Глава 5 Погрешность измерения
Очевидно, что постоянное смещение обходится очень дорого. Если ваши весы неизменно ошибаются в бóльшую сторону каждый раз, когда вы на них встаете, если полный энтузиазма менеджер регулярно вдвое занижает предполагаемые сроки завершения проекта, а неуверенный в себе руководитель год за годом дает неоправданно пессимистичные прогнозы продаж, это приводит к многочисленным серьезным просчетам.
Мы уже убедились, что шум тоже ведет к возникновению дорогостоящих ошибок. Если менеджер в большинстве своих прогнозов вдвое занижает сроки окончания проекта, но при этом иногда вдвое их завышает, бессмысленно утверждать, что «в среднем» он оказывается прав. Такие ошибки не отменяют друг друга, а суммируются.
Вот почему так важно установить, каким образом и насколько сильно смещение и шум способствуют появлению погрешностей в суждениях. Мы постараемся ответить на эти вопросы в настоящей главе. Основная идея проста: во всех видах профессиональных суждений, целью которых являет-
ся точность, при расчете общей погрешности смещение и шум играют одинаковую роль. В некоторых случаях боль-
ший вклад вносит смещение, в других – шум (и таких слу-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/