- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Глобальные риски
Сборник статей
Под редакцией А.В.Турчина
Препринт
Проект
Российского Трансгуманистического Движения
Москва 2011
Содержание
Предисловие 4
Часть 1. Общие обзоры темы 6
ГЛОБАЛЬНЫХ РИСКОВ 6
Билл Джой. Почему мы не нужны будущему 6
Вернор Виндж. Технологическая Сингулярность 41
Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других 54
подобных опасностей. 54
Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков 94
Дэвид Брин. Сингулярность и кошмары 129
А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества 154
Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание 167
Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф 185
Часть 2. Оценка вероятности глобальной катастрофы 201
Ник Бостром, Макс Тегмарк. Насколько невероятна катастрофа судного дня? 202
Ник Бостром. Рассуждение о Конце Света для начинающих 210
Ник Бостром. Doomsday Argument жив и брыкается 215
Ник Бостром 227
Доказательство симуляции 227
М.Чиркович, А.Сандберг, 268
Н.Бостром. Антропная тень: 268
эффектнаблюдательной селекции 268
и риски вымирания человечества 268
Алексей Турчин. Природные катастрофы и антропный принцип 292
Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками 329
Эдриан Кент. Критический обзор оценок рисков глобальных катастроф 351
Часть 3. Глобальные риски и новые технологии 374
Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска 375
Роберт Фрейтас. Проблема Серой Слизи 427
CRN. Опасности молекулярного производства 443
М. Вассер, Р.Фрайтас. Проект «Нанощит» 456
Алексей Карнаухов. Парниковая катастрофа. 476
478
Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми 490
Ричард Керригэн. Следует ли обеззараживать сигналы SETI? 505
А.В.Турчин. Глобальные риски, связанные с программой SETI 516
П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня») 541
Часть 4. Глобальные риски, связанные с природными катастрофами 545
Владислав Пустынский. Последствия падения на Землю крупных астероидов 546
Уильям Нейпьер. Опасность комет и астероидов 559
Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы 579
Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду 598
Предисловие
Этот сборник статей посвящен пока малоисследованной области – рискам катастроф, которые могут привести к полному и окончательному вымиранию людей.
В XXI веке перед человечеством стоит монументальная задача – освоение сверхтехнологий. И хотя эти технологии обещают много сладких плодов, в том числе неограниченное продление жизни, главным вопросом все же является безопасность их применения. А наибольший риск от новых технологий – это катастрофа, которая может привести к полному исчезновению человечества.
Цель этого сборника – показать серьёзность подхода зарубежных учёных к проблеме глобальных рисков и ознакомить отечественного читателя с первоисточниками информации по проблеме.
В начале сборника находятся три фундаментальные статьи, каждая из которых в своё время привела к многочисленным откликам.
Первой идёт основополагающая статья Билла Джоя «Почему мы не нужны будущему», изданная в 2000 году в журнале Wired. Эта статья привела к началу широкой дискуссии в обществе на тему глобальных рисков.
Далее следует статья Вернора Винджа 1993 года о Технологической сингулярности, которая необходима для понимания проблем, возникающих перед человечеством в связи с будущим созданием Искусственного Интеллекта (ИИ).
Наконец, статья Ника Бострома об угрозах существованию (так мы переводим термин «existential risks»), послужившая отправной точкой для многочисленных статей, приведенных в этом сборнике, а термин «existential risks» закрепился в зарубежной науке.
В первую часть сборника входит и статья Е.Юдковски о когнитивных искажениях в оценке глобальных рисков, которая дала новую перспективу в анализе проблемы.
В статье знаменитого писателя-фантаста Д.Брина рассматривается такой способ предотвращения глобальных катастроф как «тотальная прозрачность».
А.Кононов рассматривает в своей статье глобальные цели, которые необходимы для долгосрочного выживания человечества, а именно «задачу неуничтожимости цивилизации».
Американский экономист Р.Хансен исследует вопрос о том, может ли социальный коллапс привести к последующему вымиранию человечества.
В моей статье рассматриваются процессы с положительной обратной связью как общий механизм разных глобальных катастроф.
Во второй части собраны статьи, в которых рассмотрены проблемы вычисления вероятности глобальной катастрофы. Это – наиболее сложная часть сборника, и неподготовленный читатель может ее пропустить. Большое внимание в сборнике уделено так называемой Теореме о конце света (Doomsday argument) и вообще различным приложениям теории вероятности для оценки рисков глобальных катастроф с учётом эффектов наблюдательной селекции. Дискуссии эти далеко не закончены, но наверняка представляют интерес для будущего исследователя глобальных рисков. Ещё две статьи дают новую перспективу в оценке рисков опасных физических экспериментов, вроде Большого Адронного Коллайдера. В этих статьях производится оценка рисков с точки зрения ожидаемого возможного ущерба и с точки зрения вероятности истинности оценок безопасности коллайдера. Две статьи рассматривают гипотезу о том, что мы живём внутри компьютерной симуляции, созданной сверхцивилизацией. Вероятность того, что мы можем быть в симуляции, полностью изменяет оценку глобальных рисков. Эти две статьи высказывают противоположные точки зрения на данный аргумент.
В третьей части собраны статьи, в которых рассматриваются риски, связанные с новыми технологиями. Три статьи посвящены рискам, связанным с нанотехнологиями, и проектам их предотвращения. Обсуждаются риски программы поиска сигналов внеземного разума SETI, а также риски Искусственного интеллекта. Глава из книги П.Д.Смита рассказывает о забытой угрозе – кобальтовой бомбе.
В четвертой части рассматриваются глобальные риски, создаваемые возможными природными катастрофами.
Часть статей для этого сборника взята из книги “Global catastrophic risks”, вышедшей в Оксфорде в 2008 году. Большую часть статей, которые приведены в этой книге, были переведены мной. (Кроме статей Билла Джоя, Винджа и одной статьи Бострома.)
Сборник выходит при поддержке Российского Трансгуманистического Движения в серии «Диалоги о будущем» и рассчитан в первую очередь на тех, кто имеет профессиональный интерес к глобальным рискам, но может быть любопытен и для широкого круга читателей.
А.Турчин