- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Оценка вероятностей
Предположим, что вы прочитали некий отчёт, который исследует некий возможный риск глобальной катастрофы и в котором делается вывод, что вероятность глобальной катастрофы составляет один к миллиарду. Какую вероятность вы должны приписать тому, что эта катастрофа случится? Мы утверждаем, что прямое использование оценки, даваемое этим отчётом, является наивным. Это связано с тем, что авторы отчёта подвержены ошибкам и их доказательство может содержать скрытые неточности. То, что нам говорится в этом отчёте – это не вероятность катастрофы, а вероятность катастрофы, при условии, что доказательство является верным. Даже если аргумент выглядит непробиваемым, шансы на то, что он содержит критическую ошибку могут быть гораздо выше, чем один на миллиард. В конечном счёте в выборке из миллиарда выглядящих неуязвимыми доказательств наверняка найдутся те, которые содержат скрытые ошибки. В результате наша наилучшая оценка вероятности катастрофы может быть значительно выше, чем даваемая в отчёте1.
Давайте использовать следующие обозначения:
X = катастрофа происходит,
A = доказательство истинно.
В то время как мы в действительности интересуемся P(X), отчёт даёт нам только оценку P(X|A), поскольку в нём не может приниматься во внимание вероятность его же собственной ошибки2. Из аксиом теории вероятностей мы знаем, что P(X) связано с P(X|A) следующей формулой:
P(X)=P(X|A)P(A)+P(X|-A)P(-A) .
Дл использования этой формулы для получения P(X) нам потребуются оценки вероятности того, что доказательство верно P(A), и оценка вероятности того, что катастрофа случится, если доказательство неверно P(X|-A).
Очень вряд ли нам удастся получить точные оценки этих вероятностей на практике, но мы увидим, что даже грубых оценок вероятности достаточно, чтобы изменить наш взгляд на определённые калькуляции рисков. Особый весьма распространённый случай касается отчётов, которые утверждают, что Х абсолютно невозможно. Однако, это говорит нам только о том, что X невозможно при условии, что все наши нынешние убеждения верны, то есть что P(X|A)=0. Но из уравнения (1) мы видим, что это полностью согласуется с тем, что P(X)>0, поскольку доказательство может содержать ошибки. Рисунок 1 является простой графической репрезентацией этой основной идеи.
Квадрат слева представляет пространство возможностей, подобное описанному в научном отчёте, где чёрная область соответствует тому, что катастрофа случилась, а белая область – что не случилась. На вертикальной оси обозначены вероятности того, что событие случилось, и что не случилось. В этом представлении игнорируется возможность того, что рассуждение неверно. Чтобы учесть эту возможность, мы можем обозначить её на квадрате справа. Белая и чёрная область сократились пропорционально вероятности того, что доказательство верно, а новая серая область представляет вероятность того, что доказательство неверно. Теперь горизонтальная ось также ортонормированна и показывает вероятность того, что доказательство неверно.
Чтобы продолжить наш пример, предположим, что доказательство, приведённое в отчёте, выглядит очень надёжным, и наша наилучшая оценка вероятности того, что в нём содержится ошибка составляет 1 к 1000 (P(-A)= 10-3). Другое неизвестный член в уравнении 1, а именно P(X|-A), в общем случае гораздо труднее определить, но давайте предположим, что в нашем примере мы считаем, что крайне маловероятно, что событие произойдёт, даже если доказательство неверно, и мы тоже считаем эту вероятность как 1 к 1000. Уравнение (1) говорит нам, что в этом случае вероятность катастрофы будет в этом случае чуть более одной миллионной – и эта оценка в тысячу раз больше, чем та, которую даёт сам этот отчёт. Это отражает тот факт, что если катастрофа действительно случится, то гораздо вероятнее, что это произойдёт из-за ошибки в отчёте, чем в результате того, что один случай на миллиард будет иметь место.
Ошибочные доказательства нередки. Один возможный способ оценить число больших ошибок в научных статьях – это посмотреть на ту долю их, которые были формально отозваны после публикации. Хотя некоторые отзывы статей связаны с неэтичным поведением, большинство связано с непреднамеренными ошибками1. Используя базу данных MEDLINE2 (Cokol, Iossifov et al. 2007) обнаружили приблизительную частоту отзывов в 6.3*10-5, но если использовать статистическую модель для оценки частоты отзывов статей, то результат будет между 0.001 и 0.01, если все журналы будут проверены с той же степенью тщательности, как те, которые находятся на высшем уровне. Из этого следует, что P(-A) > 0.001, что делает наши предыдущие оценки весьма оптимистичными. Мы также должны отметить, что доказательство легко может содержать ошибки, даже если статья не была формально отозвана. Отзывы статей происходят только тогда, когда ошибки не тривиальны и незамедлительно становятся очевидны научному сообществу. Таким образом частота отзывов даёт нижнюю границу частоты серьёзных ошибок. Конечно, мы должны помнить, что в различных областях науки могут быть различные частоты отзывов статей и различные частоты ошибок. Например, фундаментальная наука может быть в меньшей степени подвержена ошибкам, чем более прикладные области.
Важно отметить особую связь между данным анализом и рисками с высокими ставками и низкой вероятностью. Хотя данный анализ может быть применим к любым рискам, он наиболее полезен в данной категории. Только если P(X|A) очень мало, то серая область начинает играть относительно большую роль. Если P(X|A) умеренно велико, то тогда малый вклад вероятности ошибки имеет небольшое значение в оценке вероятности, например, определяя разницу между 10% и 10,001%, а не разницу между 0,001% and 0,002%. Ставки должны быть также очень велики, чтобы имел смысл дополнительный анализ рисков, при том, что изменение вероятности очень невелико в абсолютных терминах. Если ещё одна миллионная шанса смерти миллиарда людей определённо стоит дальнейшего рассмотрения, то дополнительная миллионная доля шанса пожара в доме этого не стоит.
Возможно следующее возражение нашему подходу, на том основании, что мы только показали, что неопределённость становится больше, чем это считалось раньше, но не вероятность события становится больше, чем это оценивалось ранее: дополнительная неопределённость может как увеличить, так и уменьшить вероятность события. При применении нашего подхода к произвольным случаям, это возражение будет работать, однако в этой статье мы специально обращаемся к случаям, в которых вероятность P(X|A) крайне мала, так что любое значение P(X|-A) было бы выше и, таким образом, двигало бы суммарную оценку вероятности вверх. Эта ситуация симметрична в отношении экстремально высоких значений P(X|A), где повышение неопределённости доказательства приведёт к уменьшению оценки вероятности, и эта симметрия нарушается только нашей концентрацией на очень маловероятных событиях.
Другое возможное возражение состоит в том, что поскольку всегда есть ненулевая вероятность того, что доказательство содержит ошибки, то ситуация является безнадёжной: любое новое доказательство не сможет полностью убрать серую зону. Верно, что серую область никогда не удастся убрать, однако если новое доказательство (А2) является независимым от предыдущего доказательства (А1), то тогда серая область уменьшится, то есть P(-A1,-A2)<P(-A1). Это может привести к значительному прогрессу. Небольшая оставшаяся серая область может быть приемлема, если P(X|-A)P(-A), согласно оценкам, является достаточно малым в сравнении с уровнем ставок.