世界末日：真正的风险、人工智能的作用以及人类如何反击

简介：时间在流逝

人类始终意识到自己的死亡——不仅作为个人，而且作为一个物种。古代文明害怕洪水、饥荒和神的愤怒。今天，我们的恐惧更多地基于科学，也更令人恐惧。我们已经制造出能够在一个下午结束文明的武器。我们正在以威胁我们赖以生存的生态系统稳定性的速度变暖大气层。我们已经开始创造思维——人造思维——有一天可能会超越我们自己的思维。

事实证明，世界末日并不是一个单一的戏剧性事件。这是一系列的可能性，有些是缓慢的、悄然发生的，有些是突然的、灾难性的。了解这些可能性并不是绝望的练习——而是预防它们的第一步。

第一部分：灾难目录

1。核战争

在所有人为威胁中，核战争仍然是最直接、最容易理解的。如今，九个国家拥有大约 12,500 枚核弹头。美国和俄罗斯这两个最大的核武库之间的大规模交火不仅会直接杀死数亿人。它将引发“核冬天”：大规模的火灾风暴会将烟灰注入平流层，使阳光无法照射数年，使全球农业崩溃，并可能因饥荒而导致数十亿人死亡。

可怕的不仅仅是武器本身，还有控制它们的系统。启动决定可以在几分钟内做出。误报曾多次差点引发核战争——1983 年，苏联军官斯坦尼斯拉夫·彼得罗夫 (Stanislav Petrov) 忽视了美国导弹来袭的卫星警告，这一决定可能拯救了文明。人类的命运取决于一个人在半夜的判断，这一点并不令人放心。

2。气候变化和生态崩溃

气候变化比导弹还要慢，但其造成破坏的潜力同样令人震惊。按照目前的发展轨迹，到本世纪末，地球气温将比工业化前水平高出 2-3°C。超过3°C，反馈循环——永久冻土融化释放甲烷，垂死的森林从碳汇转变为碳源——可能会进一步加剧变暖，远远超出人类文明所经历过的任何水平。

后果连锁：海平面上升导致沿海人口流离失所，干旱和洪水破坏农业，海洋酸化破坏海洋食物链，大规模灭绝破坏生物圈的稳定。并不是单一的“世界末日”时刻，而是对支撑 80 亿人生命的条件的缓慢而残酷的侵蚀。

3。工程流行病和生物武器

尽管 COVID-19 大流行具有毁灭性，但却是更糟糕情况的预演。基因编辑、合成生物学、人工 DNA 合成等生物技术的进步，使得设计更具传染性、更致命或对现有治疗具有特异性抵抗力的病原体变得越来越可行。

经过充分设计的大流行，无论是从实验室意外释放还是由国家或非国家行为者故意释放，都可能在部署遏制措施之前杀死数亿人。与核武器不同，生物武器的进入门槛正在迅速下降。实验室设备比以往更便宜且更容易获得。设计危险病原体的知识越来越广泛。

4。小行星和自然灾害

大自然本身并不缺乏灭绝级别的威胁。大规模的小行星撞击——6600万年前消灭非鸟类恐龙的那种撞击——仍然是一个低概率但对文明具有决定性的事件。黄石公园和多巴火山等超级火山喷发可能会在数年内将火山灰喷入大气中，引发火山冬季和全球农作物歉收。

这些事件在人类时间尺度上确实罕见。但宇宙并不关心人类的时间尺度，“罕见”并不等于“从未”。

5.人工智能：通配符

然后是人工智能——可以说是清单上最复杂、最具争议的生存风险，正是因为我们现在正在以极快的速度自己构建它。

第二部分：人工智能因素 - 威胁和防护

承诺

人工智能已经正在重塑我们检测和响应威胁的方式。机器学习模型可以分析卫星图像以实时跟踪环境变化。人工智能系统加速药物发现，从而更快地应对新出现的流行病。由人工智能驱动的气候建模正在极大地提高我们对反馈系统如何演变的理解。在核安全领域，正在开发人工智能工具来检测导弹发射并验证军备控制条约，其准确性和速度比单独的人类分析师更高。

简而言之：人工智能是我们用于检测、建模和潜在预防上述灾难的最强大工具之一。

威胁

但人工智能也带来了新的风险 - 有些是微妙的，有些可能是灾难性的。

自主武器已经由多个国家开发国家。无需人类授权即可识别和攻击目标的无人机不再是科幻小说；今天它们正在冲突地区接受测试和部署。人们担心的不仅仅是单个自主武器，还包括它们造成的系统性风险：升级速度更快、循环中人为判断更少，以及发生灾难性事故或误判而演变成更大冲突的可能性。

人工智能加速的生物武器代表了一种特别令人毛骨悚然的威胁。如果滥用大型语言模型和蛋白质折叠人工智能系统，可能会大大降低设计危险病原体所需的专业知识。曾经需要一个博士团队花费数年时间完成的任务可能会被具有基本生物学知识和使用人工智能工具的人压缩为几个月的时间。 “危险的想法”和“危险的现实”之间的差距正在缩小。

人工智能错位——先进人工智能系统追求与人类价值观微妙或显着不一致的目标的风险——可能是该领域讨论最多和争论最多的风险。随着人工智能系统的能力变得越来越强大，确保它们可靠地完成我们真正想要的事情变得更加困难。给定一个简单目标的人工智能——最大限度地提高能源效率或最大限度地提高经济产出——如果其价值观与我们的价值观不一致，它可能会以对人类生命造成灾难性的方式追求这一目标。

这不像核战争那样是一种短期风险。但许多世界领先的人工智能研究人员认为，这是一个严重的长期问题，现在值得认真关注，而该领域还相对年轻。

人工智能驱动的虚假信息已经是一个现在时的问题。深度造假、人工智能生成的宣传和合成媒体可能会破坏民主国家的稳定，煽动暴力，并侵蚀民主社会所依赖的共同现实感。在拥有核武器的国家的世界中，人工智能驱动的虚假信息让政府相信自己受到了攻击，可能会引发灾难性的现实反应。

第三部分：我们如何保卫自己

好消息——确实有好消息——人类并没有被动地梦游于这些威胁。在科学、政策、技术和国际治理方面，人们正在认真努力减少生存风险。

核威慑与裁军

当前的全球核秩序建立在相互威慑体系的基础上：任何第一次打击都会引发毁灭性报复的想法，使核战争对各方来说都是不合理的。这在很大程度上已经发挥了 80 年的作用，但它很脆弱，容易发生事故，并且依赖于理性行为者——这些假设并不总是成立。

更深层次的解决方案是军备控制，并最终实现裁军。美国和俄罗斯之间的《新削减战略武器条约》等条约已使核武库比冷战时期的峰值大幅减少。 《禁止核武器条约》虽然尚未得到任何核武器国家的签署，但它代表了国际社会日益达成的共识：必须消除这些武器。进展缓慢，但方向是正确的。

气候行动和地球工程

能源转型——从化石燃料到太阳能、风能、核能和其他清洁能源——正在以惊人的速度进行。过去十年来，太阳能发电成本下降了 90% 以上。电动汽车正在进入主流。政府间气候变化专门委员会 (IPCC) 已明确表示，虽然窗口很窄，但将升温限制在 1 以内。 5–2°C 在技术和经济上仍然可行。

对于更极端的情况，科学家们正在研究地球工程方法，包括平流层气溶胶注入（将阳光反射回太空）和海洋铁施肥（增强碳吸收）。这些并不能替代减排，而且它们也有自己的风险。但如果气候变暖超过危险阈值，它们可能会成为必要的后盾。

大流行病防范

COVID-19暴露了全球大流行病防范措施中的灾难性差距——早期预警系统不足、疫苗生产能力不足、国际协调分散。此后的反应是巨大的：新的 mRNA 疫苗平台现在可以在几周而不是几年内生产出疫苗。世界卫生组织正在谈判一项新的国际流行病条约。生物监测网络正在扩大。

人工智能在这里也发挥着越来越大的作用：扫描全球疾病数据以获取爆发早期信号的模型、加速识别有效治疗方法的工具以及优化疫苗分发物流的系统。

人工智能安全和治理

人工智能安全领域在过去十年中急剧增长。主要的人工智能实验室——包括 Anthropic、DeepMind 和 OpenAI——都有专门的安全团队致力于协调：确保先进的人工智能系统可靠地追求对人类有益的目标。各国政府也开始做出回应：欧盟的《人工智能法案》、美国关于人工智能安全的行政命令以及新兴的国际框架代表了建立强大的人工智能系统治理结构的早期步骤。

核心挑战是确保人工智能的发展受到国际合作而不是竞争性竞赛动态的控制——在某些方面类似于核时代的军备控制挑战。没有一个国家或公司能够单独解决人工智能安全问题。它需要持续、乏味的外交和科学工作，这种工作很少令人兴奋，但却往往是维持文明生存的因素。

小行星防御

NASA 2022 年的 DART 任务通过撞击航天器成功改变了小行星的轨道，这是人类实际上可以偏转传入太空岩石的首次证明。行星防御协调办公室监测近地天体，并正在建设预警和响应能力。在地球历史上，第一次出现了一个能够真正对即将到来的小行星采取行动的物种。这并不是什么。

第四部分：更深层次的问题

在所有这些具体风险的背后，隐藏着一个更深层次的问题：人类是否拥有集体智慧和机构能力来管理其所释放的技术和力量？

乐观的观点——并且有充分的乐观理由——是我们以前已经做到了。尽管有数十次千钧一发，我们还是在冷战期间避免了核战争。我们基本上消灭了天花。我们已经开始应对气候危机，尽管进展缓慢。人类的聪明才智和合作在最好的情况下是非凡的。

悲观的观点是，技术变革的速度正在超过我们治理技术变革的机构能力。人工智能能力的发展速度快于我们理解或调节它们的能力。生物合成正在使危险生物知识的获取变得民主化。气候变化正在接近临界点，可能会永久排除某些选择。

诚实的观点是，纯粹的乐观主义和纯粹的悲观主义都是没有道理的。需要的是紧迫性——清醒地认识到未来几十年做出的选择可能会决定人类文明几个世纪的轨迹。

结论：反抗是唯一的答案

世界末日并非不可避免。它是一组概率——有些高，有些低——可以通过人类的选择来提高或降低。在军备控制规范和自动发射系统不断受到侵蚀的世界中，核战争更有可能发生。在政治瘫痪和依赖化石燃料的世界中，气候灾难更有可能发生。在人工智能发展纯粹由竞争压力驱动且没有安全限制的世界中，存在人工智能风险的可能性更大。

反之亦然。 签署的每一项军备控制条约、每一百万吨的碳排放、每一项人工智能安全技术的发现、每一项流行病检测系统的建立——这些都不仅仅是小胜利。累积起来，它们就是一个文明能否幸存的区别。

我们在历史上第一次成为一个了解可能摧毁它的机制并拥有解决这些机制的工具的物种。我们是否选择明智地使用这些工具并不是技术问题。这是一个意志问题。

如果我们注意的话，答案一定是肯定的。

来源和进一步阅读：人类未来研究所（牛津）、约翰·霍普金斯大学生物安全中心、原子科学家公报、NASA 行星防御、IPCC 评估报告以及 Anthropic、DeepMind 和机器智能研究所发表的关于人工智能安全的研究。