Конец света: реальные риски, роль искусственного интеллекта и как человечество дает отпор

Введение: часы тикают

Человечество всегда жило с осознанием своей смертности — не только как индивидуумы, но и как вид. Древние цивилизации боялись наводнений, голода и гнева богов. Сегодня наши страхи больше основаны на науке и более страшны из-за нее. Мы создали оружие, способное уничтожить цивилизацию за один день. Мы нагреваем атмосферу такими темпами, которые угрожают стабильности экосистем, от которых мы зависим. И мы начали создавать разум — искусственный — который однажды может превзойти наш собственный.

Оказывается, конец света — это не одно-единственное драматическое событие. Это спектр возможностей, некоторые из которых медленные и ползучие, другие внезапные и катастрофические. Понимание этих возможностей – это не упражнение в отчаянии, а первый шаг к их предотвращению.

Часть I: Каталог катастроф

1. Ядерная война

Из всех угроз, созданных человеком, ядерная война остается самой непосредственной и хорошо изученной. Сегодня в девяти странах существует около 12 500 ядерных боеголовок. Крупномасштабный обмен между Соединенными Штатами и Россией — двумя крупнейшими арсеналами — не просто убьет сотни миллионов людей напрямую. Это спровоцирует «ядерную зиму»: мощные огненные бури выбросят сажу в стратосферу, блокируя солнечный свет на годы, разрушая сельское хозяйство во всем мире и потенциально убивая миллиарды людей от голода.

Ужасает не только само оружие, но и системы, которые им управляют. Решения о запуске могут быть приняты за считанные минуты. Ложные тревоги несколько раз чуть не спровоцировали ядерную войну — в 1983 году советский офицер Станислав Петров, как известно, проигнорировал спутниковое предупреждение о приближающихся американских ракетах — решение, которое могло спасти цивилизацию. То, что судьба человечества зависела от решения одного человека посреди ночи, не обнадеживает.

2. Изменение климата и экологический коллапс

Изменение климата происходит медленнее, чем ракета, но его разрушительный потенциал не менее ошеломляет. При нынешних траекториях планета находится на пути к потеплению на 2–3°C по сравнению с доиндустриальным уровнем к концу этого столетия. При температуре выше 3°C петли обратной связи — таяние вечной мерзлоты с выбросом метана, умирание лесов, превращающихся из поглотителей углерода в источники углерода — могут привести к гораздо более сильному потеплению, намного превышающему любой уровень, который когда-либо переживала человеческая цивилизация.

Последствия носят каскадный характер: повышение уровня моря приводит к вытеснению прибрежного населения, засухи и наводнения разрушают сельское хозяйство, закисление океана разрушает морские пищевые цепи и массовые вымирания дестабилизируют биосферу. Никакого единого момента «конца света», а лишь медленное, мучительное разрушение условий, поддерживающих восемь миллиардов человеческих жизней.

3. Искусственные пандемии и биологическое оружие

Пандемия Covid-19, какой бы разрушительной она ни была, была предвкушением чего-то гораздо худшего. Достижения в области биотехнологий — редактирования генов, синтетической биологии, искусственного синтеза ДНК — делают все более возможным создание патогенов, которые являются более трансмиссивными, более смертоносными или особенно устойчивыми к существующим методам лечения.

Достаточно спланированная пандемия, независимо от того, выпущена ли она случайно из лаборатории или преднамеренно государственными или негосударственными субъектами, может убить сотни миллионов людей, прежде чем будут приняты меры по сдерживанию. В отличие от ядерного оружия, входной барьер для биологического оружия быстро снижается. Лабораторное оборудование стало дешевле и доступнее, чем когда-либо. Знания по созданию опасных патогенов распространяются все шире.

4. Астероиды и природные катастрофы

Природа сама по себе не испытывает недостатка в угрозах вымирания. Столкновение крупного астероида — того, который уничтожил нептичьих динозавров 66 миллионов лет назад — остается маловероятным, но решающим для цивилизации событием. Супервулканические извержения, такие как Йеллоустон или Тоба, могут выбрасывать пепел в атмосферу на долгие годы, вызывая вулканические зимы и глобальный неурожай.

Эти события действительно редки в человеческих временных масштабах. Но Вселенную не волнуют человеческие временные рамки, и «редкий» — это не то же самое, что «никогда».

5. Искусственный интеллект: подстановочный знак

И еще есть искусственный интеллект — возможно, самый сложный и спорный экзистенциальный риск в списке именно потому, что мы создаем его сами, прямо сейчас, с огромной скоростью.

Часть II: Фактор ИИ — и угроза, и защита

Обещание

Искусственный интеллект уже меняет способы обнаружения угроз и реагирования на них. Модели машинного обучения могут анализировать спутниковые снимки, чтобы отслеживать изменения окружающей среды в режиме реального времени. Системы искусственного интеллекта ускоряют разработку лекарств, позволяя быстрее реагировать на возникающие пандемии. Моделирование климата с помощью искусственного интеллекта значительно улучшает наше понимание того, как будут развиваться системы обратной связи. В сфере ядерной безопасности инструменты ИИ разрабатываются для обнаружения запусков ракет и проверки договоров о контроле над вооружениями с большей точностью и скоростью, чем только люди-аналитики.

Короче: ИИ — один из наших самых мощных инструментов для обнаружения, моделирования и потенциального предотвращения катастроф, описанных выше.

Угроза

Но ИИ также несет в себе новые риски — некоторые малозаметные, некоторые потенциально катастрофические.

Автономное оружие уже разрабатывается несколько наций. Дроны, которые могут идентифицировать цели и поражать их без разрешения человека, больше не являются научной фантастикой; сегодня они проходят испытания и развертываются в зонах конфликтов. Беспокойство вызывает не только индивидуальное автономное оружие, но и системный риск, который оно создает: более быстрая эскалация, меньшее количество человеческих решений в цикле и возможность катастрофических аварий или просчетов, которые перерастают в более крупные конфликты.

Биологическое оружие, ускоряемое искусственным интеллектом представляет собой особенно страшную угрозу. Большие языковые модели и системы искусственного интеллекта, складывающие белки, при неправильном использовании могут значительно снизить уровень знаний, необходимых для создания опасных патогенов. То, что когда-то требовало от команды докторов наук на протяжении многих лет, потенциально может быть сжато до месяцев человеком с базовыми знаниями в области биологии и доступом к инструментам искусственного интеллекта. Разрыв между «опасной идеей» и «опасной реальностью» сокращается.

Неправильная настройка ИИ  – риск того, что передовые системы ИИ преследуют цели, которые тонко или резко противоречат человеческим ценностям, – это, пожалуй, самый обсуждаемый и наиболее обсуждаемый риск в этой области. По мере того, как системы искусственного интеллекта становятся более функциональными, становится все труднее гарантировать, что они надежно выполняют то, что мы действительно хотим. ИИ, перед которым стоит простая цель — максимизировать энергоэффективность или максимизировать экономический результат — может преследовать эту цель способами, которые будут катастрофическими для человеческой жизни, если его ценности не будут глубоко совпадать с нашими.

Это не краткосрочный риск в том смысле, в каком это ядерная война. Но многие ведущие мировые исследователи ИИ считают, что это серьезная долгосрочная проблема, которая заслуживает серьезного внимания сейчас, хотя эта область еще относительно молода.

Дезинформация с помощью ИИ уже является проблемой настоящего времени. Дипфейки, пропаганда, созданная искусственным интеллектом, и синтетические СМИ могут дестабилизировать демократию, спровоцировать насилие и подорвать общее ощущение реальности, от которого зависят демократические общества. В мире ядерных держав дезинформация с помощью искусственного интеллекта, которая убеждает правительство, что оно подверглось нападению, может спровоцировать катастрофическую реакцию в реальном мире.

Часть III: Как мы защищаемся

Хорошая новость (и есть хорошие новости) заключается в том, что человечество не пассивно лунатит перед этими угрозами. В науке, политике, технологиях и международном управлении предпринимаются серьезные усилия по снижению экзистенциальных рисков.

Ядерное сдерживание и разоружение

Нынешний глобальный ядерный порядок опирается на систему взаимного сдерживания: идею о том, что любой первый удар вызовет разрушительное возмездие, что делает ядерную войну иррациональной для всех сторон. Это в основном работало на протяжении 80 лет, но оно хрупко, подвержено случайностям и зависит от рациональных участников — предположений, которые не всегда верны.

Более глубокое решение — контроль над вооружениями и, в конечном итоге, разоружение. Такие договоры, как новое соглашение о СНВ между США и Россией, значительно сократили арсеналы по сравнению с пиками холодной войны. Договор о запрещении ядерного оружия, хотя он еще не подписан ни одной ядерной державой, отражает растущий международный консенсус в отношении того, что это оружие должно быть ликвидировано. Прогресс медленный, но направление правильное.

Борьба с изменением климата и геоинженерия

Энергетический переход — от ископаемого топлива к солнечной, ветровой, ядерной энергии и другим экологически чистым источникам — происходит с поразительной скоростью. За последнее десятилетие стоимость солнечной энергии упала более чем на 90%. Электромобили становятся мейнстримом. Межправительственная группа экспертов по изменению климата (МГЭИК) ясно дала понять, что, хотя окно и узко, ограничить потепление до 1. Потепление на 5–2 °C остаётся технически и экономически осуществимым.

Что касается более экстремальных сценариев, учёные исследуют геоинженерные подходы, в том числе закачку стратосферных аэрозолей (отражающих солнечный свет обратно в космос) и удобрение океана железом (улучшение поглощения углерода). Они не заменяют сокращение выбросов и несут в себе свои риски. Но они могут оказаться необходимой поддержкой, если потепление превысит опасные пороги.

Готовность к пандемиям

COVID-19 выявил катастрофические пробелы в глобальной готовности к пандемиям — неадекватные системы раннего предупреждения, недостаточные мощности по производству вакцин, фрагментированную международную координацию. С тех пор реакция была существенной: новые платформы вакцин на основе мРНК теперь могут производить вакцины за недели, а не за годы. Всемирная организация здравоохранения ведет переговоры по новому международному договору о пандемии. Сети бионадзора расширяются.

ИИ и здесь играет растущую роль: модели, которые сканируют глобальные данные о заболеваниях на предмет ранних сигналов о вспышках, инструменты, ускоряющие выявление эффективных методов лечения, и системы, оптимизирующие логистику распределения вакцин.

Безопасность и управление ИИ

За последнее десятилетие сфера безопасности ИИ резко выросла. Крупные лаборатории искусственного интеллекта, в том числе Anthropic, DeepMind и OpenAI, имеют специальные группы по безопасности, работающие над согласованием: обеспечением того, чтобы передовые системы искусственного интеллекта надежно преследовали цели, которые приносят пользу человечеству. Правительства тоже начинают реагировать: Закон ЕС об искусственном интеллекте, Исполнительный указ США о безопасности искусственного интеллекта и новые международные механизмы представляют собой первые шаги к созданию структур управления для мощных систем искусственного интеллекта.

Основная задача состоит в том, чтобы гарантировать, что развитие искусственного интеллекта регулируется международным сотрудничеством, а не динамикой конкурентной гонки, что в некотором смысле аналогично проблемам контроля над вооружениями в ядерную эпоху. Ни одна страна или компания не может решить проблему безопасности ИИ в одиночку. Это требует такой продолжительной, неброской дипломатической и научной работы, которая редко бывает захватывающей, но часто именно она поддерживает жизнь цивилизаций.

Защита от астероидов

Миссия НАСА DART в 2022 году успешно изменила орбиту астероида, врезавшись в него космическим кораблем — первая демонстрация того, что человечество действительно может отклонить приближающийся космический камень. Координационный офис планетарной защиты контролирует объекты, сближающиеся с Землей, и наращивает потенциал раннего предупреждения и реагирования. Впервые в истории планеты существует вид, который действительно может что-то сделать с приближающимся астероидом. Это не пустяки.

Часть IV: Более глубокий вопрос

За всеми этими конкретными рисками стоит более глубокий вопрос: обладает ли человечество коллективной мудростью и институциональным потенциалом для управления технологиями и силами, которые оно высвободило?

Оптимистическая точка зрения – и для оптимизма есть веские основания – состоит в том, что мы делали это раньше. Мы избежали ядерной войны во время «холодной войны», несмотря на десятки угроз. Мы в значительной степени ликвидировали оспу. Мы начали, хотя и медленно, решать проблему климатического кризиса. Человеческая изобретательность и сотрудничество в своих лучших проявлениях замечательны.

Пессимистическая точка зрения заключается в том, что скорость технологических изменений опережает наши институциональные возможности управлять ими. Возможности искусственного интеллекта развиваются быстрее, чем наша способность понимать и регулировать их. Биосинтез демократизирует доступ к опасным биологическим знаниям. Изменение климата приближается к переломному моменту, который может навсегда исключить определенные варианты.

Честное мнение состоит в том, что ни чистый оптимизм, ни чистый пессимизм не оправданы. Что гарантировано, так это безотлагательность – ясное признание того, что выбор, сделанный в следующие несколько десятилетий, вероятно, определит траекторию развития человеческой цивилизации на протяжении столетий.

Вывод: неповиновение – единственный ответ

Конец света не является неизбежным. Это набор вероятностей — как высоких, так и низких, — которые могут быть повышены или понижены в результате человеческого выбора. Ядерная война более вероятна в мире, где разрушаются нормы контроля над вооружениями и автоматизированные пусковые системы. Климатическая катастрофа более вероятна в мире политического паралича и зависимости от ископаемого топлива. Экзистенциальный риск ИИ более вероятен в мире, где развитие ИИ обусловлено исключительно конкурентным давлением без каких-либо ограничений безопасности.

Обратное также верно. Каждый подписанный договор о контроле над вооружениями, каждая сэкономленная мегатонна углерода, каждая открытая технология безопасности искусственного интеллекта, каждая созданная система обнаружения пандемий — это не просто маленькие победы. В совокупности они представляют собой разницу между цивилизацией, которая выживает, и цивилизацией, которая нет.

Мы впервые в истории представляем вид, который понимает механизмы, которые могут его уничтожить, и имеет инструменты для их устранения. Решаем ли мы разумно использовать эти инструменты, это не вопрос технологии. Это вопрос воли.

Ответ, если мы обратим внимание, должен быть утвердительным.

Источники и дополнительная литература: Институт будущего человечества (Оксфорд), Центр биобезопасности при Джонсе Хопкинсе, Бюллетень ученых-атомщиков, Планетарная защита НАСА, Отчеты об оценке IPCC и исследования, опубликованные Anthropic, DeepMind и Исследовательским институтом машинного интеллекта по безопасности искусственного интеллекта.