人工智能应如何影响美国和中国的核政策

美国总统拜登和中国领导人习近平峰会的重磅新闻无疑是熊猫。 二十年后，如果有人知道这次会议，很可能是通过圣地亚哥动物园的一块牌匾。 那它， 如果 没有人活着去参观动物园了。 如果二十年后我们中的一些人还在这里，那可能是因为两位领导人达成了其他共识——谈论人工智能日益增长的风险。

峰会前 据《南华早报》报道 拜登和习近平将宣布一项协议，禁止在包括核武器控制在内的多个领域使用人工智能。 没有达成这样的协议 – 也不是预期的 – 但双方发布的读数…… 白色的房子 还有 中国外交部 他提到了美国和中国就人工智能进行谈判的可能性。 峰会结束后 他向新闻界发表的声明拜登解释说：“我们将召集我们的专家讨论与人工智能相关的风险和安全问题。”

美国和中国官员没有提供有关哪些专家将参与或将讨论哪些风险和安全问题的详细信息。 当然，双方有很多话可以谈。 这些讨论的范围包括人工智能系统与人类价值观不符的所谓“灾难性”风险——想想天网 终结者 薄膜 – 用途越来越普遍 致命自主武器系统，活动人士有时称之为“杀手机器人然后是介于两者之间的情况：人工智能可以用来决定使用核武器、下令核打击并执行它。

然而，该禁令不太可能得到执行，至少有两个主要原因。 第一个问题是定义问题。 目前还没有一个清晰、简洁的定义来区分已经融入我们日常生活的人工智能类型和我们未来担心的人工智能类型。 人工智能已经在国际象棋、围棋和其他游戏中一直获胜。 他开车。 它对大量数据进行分类，这让我想到了没人愿意在军事系统中禁止人工智能的第二个原因：它非常有用。 人工智能在民用环境中擅长做的事情在战争中也很有用，并且已经被用于这些目的。 随着人工智能变得越来越智能，美国、中国和其他国家正在竞相将这些进步融入到他们的军事系统中，而不是寻找禁止它们的方法。 从很多方面来看，人工智能军备竞赛正在蓬勃发展。

在所有潜在风险中，人工智能与核武器的结合——我们第一个真正改变范式的技术——应该引起世界领导人的注意。 人工智能系统是如此智能和快速，它们很可能成为我们所做的一切的核心，值得花点时间思考这个问题。 或者至少，让您的专家与他们的专家一起讨论该主题。

到目前为止，美国通过谈论人工智能的“负责任”发展来解决这个问题。 美国国务院正在推动一项“关于负责任地军事使用人工智能和自主权的政治宣言”。 这既不是禁令，也不是具有法律约束力的条约，而是 一套原则。 而同时 广告 它提出了负责任地使用人工智能的几项原则，其本质是，首先也是最重要的是，有一个“负责任的人类指挥和控制链”来做出生死决定——通常被称为“负责任的人类指挥和控制链” ”。人类在循环中“这是为了解决与人工智能相关的最明显的风险，即自主武器系统可能会不加区别地杀人。这适用于从无人机到核导弹、轰炸机和潜艇的一切事物。

当然，核导弹、轰炸机和潜艇是最大的潜在威胁。 该宣言的初稿特别指出了“人类控制和参与对通报和执行有关使用核武器的主权决定至关重要的所有行动”的必要性。 那种语言其实是 从第二稿中删除了 但维持人类控制的想法仍然是美国官员思考这个问题的关键要素。 六月，拜登的国家安全顾问杰克·沙利文 他称他为 其他核武器国家必须致力于“维持关于核武器指挥、控制和使用的‘人类知识’”。 这当然是美国和中国专家将讨论的事情之一。

然而，值得一问的是，人类参与循环的要求是否真正解决了问题，至少在人工智能和核武器方面是这样。 显然，没有人想要一台全自动的末日机器。 即使是在冷战期间投入了无数卢布来实现其大部分核指挥和控制基础设施自动化的苏联，也没有一路走下去。 莫斯科所谓“死手该系统仍然依赖于地下掩体中的人类。 让人类“参与其中”非常重要。 但只有该人能够真正控制整个过程才重要。 人工智能的日益广泛使用引发了这样的问题：这种控制有多重要，以及我们是否需要调整核政策以适应人工智能影响人类决策的世界。

我们关注人类的部分原因是我们有一种天真的信念，即当谈到世界末日时，人类总是会犹豫不决。 我们相信，人类总会将其视为虚惊一场。 我们把人类良心浪漫化到了许多关于核弹的书籍和电影的情节，例如： 赤红之潮。 这是苏联导弹预警官员斯坦尼斯拉夫·彼得罗夫 (Stanislav Petrov) 的真实故事，1983 年，他在电脑屏幕上看到了类似核攻击的情况，认为这一定是一场误报，但可以说，他没有报告。 拯救世界免遭核灾难。

问题是世界领导人可能会按下按钮。 核威慑的整个理念取决于可信地证明，当事情出现问题时，总统将继续采取行动。 彼得罗夫不是英雄，除非他将最后通牒传达给指挥系统，否则苏联指挥官可能会认为攻击正在进行并进行报复。

因此，真正的危险不是领导人将使用核武器的决定权交给人工智能，而是他们将依赖人工智能来提供所谓的“决策支持”——使用人工智能来指导他们的决策。 危机就像我们在开车时依靠导航应用程序提供方向一样。 这就是苏联在 1983 年所做的事情，依靠一台大型计算机，在发生核攻击时使用数千个变量向指挥官发出警告。 然而，这个问题是计算机科学中最古老的问题，即垃圾进，垃圾出。 该计算机的设计目的是告诉苏联领导人他们希望听到什么，以证实他们最偏执的幻想。

俄罗斯领导人仍然依靠计算机来支持决策。 2016年，俄罗斯国防部长向记者展示 俄罗斯超级计算机 它分析来自世界各地的数据，例如部队调动，以预测潜在的突然袭击。 他自豪地提到目前计算机的使用很少。 这个空间， 其他俄罗斯官员解释道，当添加人工智能时将会使用。

如果人类严重依赖人工智能来了解正在发生的事情，那么让人类参与其中就会更不让人放心。 由于人工智能是根据我们现有的偏好进行训练的，因此它往往会确认用户的偏见。 正是由于这个原因，使用根据用户偏好训练的算法的社交媒体往往成为错误信息的有效渠道。 人工智能之所以有吸引力，是因为它以一种完全引人入胜的方式模仿我们的偏好。 她这样做是毫无良心的。

在人工智能系统产生高度令人信服的错误信息的情况下，人类控制可能不是我们所希望的保证。 即使世界领导人没有明确依赖人工智能生成的评估，在许多情况下，人工智能也会在较低级别上用于指导以人类判断形式呈现的评估。 人类决策者甚至有可能过度依赖人工智能生成的建议。 数量惊人 研究表明 我们这些依赖导航应用程序的人正在逐渐失去与导航相关的基本技能，如果应用程序失败，我们可能会迷失； 同样的恐惧也可能适用于人工智能，带来更为严重的后果。

美国证实 大核电数百枚陆地和海上导弹在短短几分钟内即可发射。 这种快速反应时间使总统能够“预警发射”，即在卫星检测到敌方发射时、但在导弹到达之前发射。 中国现在正在效仿这种情况，有数百个 新导弹发射井 还有新的 预警卫星 在轨道上。 在压力时期，核预警系统容易出现误报。 真正的危险在于人工智能可能会让指挥官相信误报是真实的。

虽然让人类参与其中是解决方案的一部分，但给予人类有意义的控制需要设计核态势，以减少对人工智能生成信息的依赖，例如放弃警告发射，转而在报复之前进行最终确认。

无论我们喜欢与否，世界领导人可能会越来越依赖人工智能。 我们无法禁止人工智能，就像我们无法禁止任何其他信息技术一样，无论是书写、电报还是互联网。 相反，美国和中国专家应该讨论的是在人工智能无处不在的世界中有意义的核武器立场。