Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками

Перевод: А.В. Турчин

Источник:

Probing the Improbable: Methodological Challenges for

Risks with Low Probabilities and High Stakes

Toby Ord, Rafaela Hillerbrand, Anders Sandberg*

* Future of Humanity Institute, University of Oxford.

http://arxiv.org/abs/0810.5515

Некоторые риски имеют исключительно высокие ставки, например, всемирная пандемия или столкновение с астероидом могу убить более миллиарда людей. К счастью, научные вычисления часто дают очень низкие оценки вероятности таких катастроф. В этой статье мы хотим отметить, что есть важные новые методологические проблемы, которые возникают при оценке рисков глобальных катастроф, и мы сосредотачиваемся на проблеме оценки вероятностей. Когда эксперт даёт калькуляцию вероятности некоторого исхода, в действительности он даёт вероятность этого исхода при условии, что его доказательство является безупречным. Однако его доказательство может быть ложным по ряду причин, таких как ошибки в используемой теории или ошибки в вычислениях. Если оценка вероятности, даваемая неким доказательством, уменьшается за счёт того шанса, что само доказательство содержит ошибки, то тогда эта оценка находится под подозрением. Мы рассмотрим эту идею формально, объясняя попутно, чем она отличается от подобных неопределённостей модели и неопределённости параметров. Используя оценки рисков Большого Адронного Коллайдера в качестве тестового примера, мы покажем, насколько серьёзна может быть эта проблема, когда речь идёт о рисках глобальной катастрофы, и как наилучшим образом ее решать.

1. Введение

Падения больших астероидов являются крайне маловероятными событиями¹, однако правительство тратит значительные суммы на проблемы предотвращения связанных с этим рисков. Именно большой возможный ущерб, то есть большие ставки в игре, являются тем, что делает эти проблемы стоящими исследования. Исследование рисков включает в себя рассмотрение как размеров ставок, так и вероятностей этих событий. Если риск угрожает жизням огромного числа людей, то является не только рациональным, но и морально обязательным исследовать этот риск в деталях и постараться определить, что мы можем сделать, чтобы уменьшить его. В этой статье исследуются риски с низкой вероятностью, но с большими ставками. Во втором разделе мы покажем, что оценки вероятности в научном анализе не могут быть приравнены самой вероятности того, что эти события случатся. Вместо вероятности того, что событие случится, научный анализ даёт вероятность события при условии, что данное доказательство верно. Хотя это касается всех вероятностных оценок, мы покажем, как это становится особенно важно после некого порогового уровня. Чтобы продолжать, нам следует кое-что узнать о надёжности доказательства. Обычно при анализе рисков это делается через анализ различий между неопределённостью модели и неопределённостью параметров. Мы постараемся доказать, что эта дихотомия не очень хорошо подходит для оценки надёжности теорий, которые входят в оценку рисков. Более того, эта дихотомия не учитывает неосознанно сделанные ошибки. Вместо этого в третьем разделе мы предлагаем трёхуровневую классификацию различий между теорией доказательства, моделью и вычислениями.

Объясняя это разделение более детально, мы проиллюстрируем его историческими примерами ошибок во всех трёх областях. Мы покажем, как при конкретной оценке рисков можно использовать предложенное разделение теория-модель-калькуляция, чтобы вычислить надёжность данного доказательства и, таким образом, увеличить надёжность вероятностной оценки редких событий. Недавно возникли опасения, что высокоэнергетичные эксперименты в области физики элементарных частиц на таких установках как RHIC (Коллайдер тяжёлых релятивистских ионов) и на Большом адронном коллайдере в ЦЕРН, в Женеве, могут угрожать человечеству. Если эти риски реальны, эти эксперименты представляют угрозу человечеству, которую можно избежать, просто не проводя эти эксперименты. В 4 разделе мы применим методы, разработанные в этой статье, к нынешним дебатам о безопасности экспериментов в области физики высоких энергий. Мы рассмотрим опубликованные отчёты по безопасности в свете наших находок и дадим рекомендации по безопасности для будущих исследований. В последнем разделе мы вернёмся к главной проблеме оценки низковероятных рисков. Мы хотим подчеркнуть, что результаты этой статьи не должны интерпретироваться как антиинтеллектуализм, но как аргументы в пользу того, чтобы сделать заполненную шумом и ошибками природу научных и технических исследований предметом интеллектуального размышления, особенно в тех случаях, когда вероятности очень малы и ставки очень велики.