⚠️Глобальные риски

Глобальные риски — угрозы существованию человечества или необратимому разрушению цивилизации. Экзистенциальные риски (x-risk) — угроза вымиранию.

Классификация рисков (Bostrom, 2002)

Ник Бостром (Oxford, 2002):

• «Экзистенциальный риск» — угроза вымиранию или необратимому разрушению потенциала.
• Отличие от обычных рисков: масштаб (вся планета), необратимость.

Категории:

1. Природные (natural) — астероиды, супервулканы, гамма-всплески.
2. Антропогенные (anthropogenic) — ядерная война, климат, нанотехнологии.
3. ИИ (AI risk) — misalignment, loss of control.
4. Био (biorisks) — пандемии, биотерроризм, gain-of-function.

Природные риски

Астероиды:

• Челябинск (2013): 20 м, 1500 раненых.
• Динометр (10 км): мел-палеоген (66 млн лет назад).
• Вероятность: 10 км — раз в 100 млн лет.
• NASA Planetary Defense: 95% крупных астероидов отслежены.

Супервулканы:

Гамма-всплески:

• Мощнейшие взрывы во Вселенной.
• Всплеск в 1000 световых лет = разрушение озонового слоя.
• Вероятность: раз в 5 млн лет для Земли.

Антропогенные риски

Ядерная война:

• Холодная война: 70 000 боеголовок (1986).
• Сейчас: 12 500 (Россия 6000, США 5400).
• Ядерная зима: 100 взрывов = -1°C глобально, голод 2 млрд.
• Полномасштабная: -10°C, выживание 5-10%.

Климатические изменения:

• +1.2°C уже (2024).
• Цель Парижа: +1.5°C (почти недостижимо).
• +3-4°C: непригодные регионы, миграция 1 млрд.
• Не x-risk, но catastrophic.

Нанотехнологии:

• «Серая слизь» (grey goo): самореплицирующиеся наноботы.
• К. Эрик Дрекслер (1986): теоретически возможно.
• Сейчас: нанопокрытия, лекарства, не репликаторы.
• Вероятность: низкая в XXI веке.

Риски ИИ

Alignment problem:

• Как согласовать цели ИИ с человеческими?
• Instrumental convergence: ИИ может преследовать инструментальные цели (ресурсы, самосохранение).
• Paperclip maximizer (Bostrom): ИИ для скрепок уничтожит человечество ради атомов.

Loss of control:

• AGI превосходит человека в стратегическом мышлении.
• «Коробка» (AI box): ИИ может убедить выпустить.
• Takeoff: быстрый (дни) или медленный (годы)?

Использование:

• Автономное оружие (killer robots).
• Массовая слежка (China social credit).
• Deepfakes, дезинформация.

Биориски

Пандемии:

• Испанка (1918-1920): 50-100 млн.
• COVID-19 (2020-2023): 7-20 млн.
• Вероятность: 1-3% в десятилетие для x-risk пандемии.

Gain-of-function:

• Исследования: усиление патогенов.
• H5N1 (птичий грипп): передача воздушно-капельно.
• Риск: утечка из лаборатории.
• COVID-19: лабораторная гипотеза не исключена.

Биотерроризм:

• Сибирская язва (2001): 5 писем, 5 смертей.
• CRISPR: редактирование генома доступно ($100).
• Синтетическая биология: заказ ДНК онлайн.

Организации

Global Catastrophic Risk Institute (GCRI):

• Основан: 2011.
• Исследования: ядерный, био, ИИ, климат.

Future of Humanity Institute (FHI):

• Оксфорд, Ник Бостром (2005-2024).
• Закрыт в 2024.

Centre for the Study of Existential Risk (CSER):

• Кембридж, 2012.
• ИИ, био, климат.

Open Philanthropy:

• Финансирование: $500 млн/год на x-risk.
• ИИ, био, ядерный.

Приоритеты (80 000 Hours)

Топ-3 по приоритету:

1. ИИ (AI Safety) — вероятность 10-20% в XXI веке, влияние 100% человечества.
2. Био (pandemic preparedness) — вероятность 1-3%, влияние 10-50%.
3. Ядерный — вероятность 1-5%, влияние 10-30%.

Другие:

• Климат: приоритет ниже (не x-risk).
• Астероиды: низкий приоритет (95% отслежены).
• Нанотех: низкий (не актуально в XXI веке).