导演詹姆斯·卡梅隆：AGI 是一颗「定时炸弹」

10 月 23 日，知名加拿大电影导演、编剧和制片人詹姆斯·卡梅隆（James Cameron）为在华盛顿举行的 SCSP（Special Competitive Studies Project，特别竞争力研究项目）人工智能 + 机器人峰会作视频致辞。

致辞中，卡梅隆表示自己作为一名「故事讲述者」和「引领 CGI（Computer-Generated Imagery，电脑生成图像）潮流的先锋」，热爱 AI 和机器人技术，并且愿意「积极地拥抱变化」，将 AI 技术应用于未来的电影制作当中。

然而，鉴于 AI「没有情感和良知」，卡梅隆在致辞中所表达的，更多的是对 AI 和 AGI 技术的隐忧，尤其是其在军事应用方面的伦理考量，以及对 AGI 未来失控风险的担忧。

他的观点相当激进和尖锐：AGI 必然会导致文明与道德的碰撞。

站在反战的角度和人道主义的高度，卡梅隆批判了「地域性的伪道德」，并且认为关键在于如何赋予这些 AI 系统适当的道德约束，制定全球统一道德标准。

作为「我们的一面镜子」，卡梅隆认为 AGI 反映了人类社会的善恶好坏。人类世界不乏邪恶存在，对于正义也并无共识，因此卡梅隆对 AGI 技术的发展持谨慎乐观的态度。

原致辞视频链接：

以下是卡梅隆在致辞中的主要观点：

• AI 没有情感和良知，在战场上不对对手作任何道德判断；
• AI 的引入导致战争「游戏化」，变成超级智能之间的对抗，没有深刻的情感后果；
• 自我改进的代码编写 AGI 必然会导向超级智能；
• AGI 必然会导致文明与道德的碰撞；
• AGI 会使得监控资本主义可以很快转变为数字化极权主义；
• AGI 是人类世界的镜子，反映了人类社会的正负两面。

以下是由 APPSO 编译的致辞全文：

大家好，我是詹姆斯·卡梅隆，现在我正在新西兰，在那里完成「阿凡达 3」的拍摄。

好吧，我不是人工智能或者机器人学的研究员或专家。我只是一个讲故事的人，但我今天在这里，是因为我对 AI 和机器人的热情远远超出了大银幕的范畴。

我对科技感到着迷，它如何塑造我们的世界，它的未来走向，以及它对社会的影响。从我还是个孩子的时候起，我就阅读了所有我能找到的科幻书籍。

我自己也推动了技术的边界，作为我讲故事的一种手段，同时也是作为一名探险者。

我为我的深海探险设计了机器人车辆，但它们是远程操控的，并没有涉及到人工智能。而现在正在发生的 AI 与机器人技术的融合，是我一生中最令人激动的技术飞跃之一。

我们不再只是建造执行命令的机器，而是设计可以学习、适应，甚至自我进化的系统。我非常支持人工智能和机器人技术对整个社会所能带来的改变，特别是在我个人热衷的两个领域——艺术和故事叙述，以及科学和探索方面。

我不认为应该成为一个卢德分子（反对技术进步的人）。我看到很多我的好莱坞同行表现得像是一群拿着火把和锄叉的暴民，但是精灵一旦从瓶子里出来，就再也塞不回去了。

所以我非常积极地拥抱变化，我愿意站在将 AI 应用到我的故事叙述中的最前沿，正如 32 年前当我创立第一家全数字特效公司时，我也同样是引领这一潮流的先锋。

但今天我之所以来到这里，还因为我就是「天网」（Skynet）的创造者。

40 年前，我拍摄了「终结者」，而它最近成为了 AI 失控的一个典型代表。每次我去参加一些 AI 会议，只要我举手，研究人员们都会在我还没说话之前笑起来，因为「天网问题」确实是一个值得关注的问题，我几乎每天都能在文章中看到相关的讨论。

这个研究小组关注的是国家安全，这对人工智能和机器人技术有着巨大的影响。

机器人，无论其形式如何，是轮式车辆、空中无人机还是行走机器，都是人工智能的一种实体化方式。你是在将一个决策引擎赋予在现实世界中的物理行动能力。

我假设今天的焦点在于移动平台，而不是控制电网或固定基地工业机器人的 AI。我们谈论的是能够自主作出决策的平台，即具像化的合成智能。

这可以像变形虫一样简单，你知道，就像一个扫地机器人（Roomba），或者最终更加复杂，直至理论上包含真正的意识，不管那是什么。

我们都同意这是具有自我意识、有自我、有目的性的 AGI（通用人工智能）。我们在一个更陡峭的曲线上前进，拥有更快、更密集的芯片，计算能力也在不断提升，同时机器平台的能力也在以同样陡峭的曲线增长。

就像波士顿动力公司的跳舞机器人。你知道的，两足或四足的机器人在跳舞。真是令人惊叹的展示。

因此，由 AI 驱动的机器人可以处理复杂的情况，甚至现在可以带有类人的情感，LLDs（低级逻辑器件）赋予了它模拟认知和与人们自然互动的能力。

具像化的 AI 可以是护士，可以是机器人出租车，可以是照顾老人的看护，可以是孩子的保姆，也可以是教师。它可以是在地震废墟中搜救的机器人，可以是在空中按模式搜索失踪徒步者热信号的无人机。它可以是在战场上自主运行的武器平台，寻找敌方战斗人员的热信号。

当前的问题是，是否应该赋予自主平台自行决定杀伤的权限？

乌克兰战争以最鲜明的方式向我们展示了未来。致命性空中无人机的广泛使用，有些昂贵，有些则是廉价的消费级产品。

它们投掷火箭弹，摧毁坦克，甚至整个坦克乘员组，还有喷射热熔剂攻击俄罗斯阵地的龙形无人机。但这些都是 FPV（第一人称视角）无人机，由人类操控。

从道德角度来看，人类是作出决策的战斗人员。他或她拥有杀伤授权，无人机是他们意志的延伸。如果你剥离掉所有的技术层面，这与黑斯廷斯战役中的弓箭手没有什么不同。

每当这样一个机器夺走一条人命时，就会有一条伦理链条向后延伸，扩散至许多个人和群体。

在发射导弹或扣动步枪扳机的士兵背后，有下达击杀命令的指挥官，他们以广泛的、一般性的术语派遣这些自主代理去对抗敌人，以及整个军事体系，该体系奖励这些行为；再往上，则是通过共识同意这些死亡是为了国家安全必要的社会和政府。

沿着这条链上升，道德和伦理责任变得越来越分散，具体到实际扣动扳机那一刻的责任也越来越模糊，并且起到了某种道德赦免的效果——「我只是服从命令」。

链条上的这些人并不在现场见证准星下的个体的命运，但他们创建了一个框架，使得并要求该个体的死亡成为可能，而扣动扳机的人在许多方面是一个高度训练有素的有机机器人平台，受命于指挥链中的上级执行任务。

在人类自主决策的那一刻，非常依赖规则——你不杀害平民，你不杀害儿童，你不杀害投降的敌人等等，这些规则被编纂入日内瓦公约，每个军队都有自己的交战规则。

因此，理论上，AI 可以被赋予同样的约束，基于规则的系统。如果它的感官更敏锐，反应速度更快，瞄准更精确，那么理论上，AI 将以比人类更高的辨别力完成任务。

当然，我们可以想象，在激烈的战斗中，AI 会比一个恐惧、紧张、疲惫的人类战士表现得更好。

那么，如果将高级 AI 具象化呢？我现在说的还不是 AGI，而是将其嵌入到机器人武器平台中，可能会允许高度精准的打击，减少附带损害，也许成数量级减少误伤或伤亡，并且 AI 是以目标为导向的。

它不对对手作出任何道德判断，在二战中发现，对准人类目标的的射击实际上是相当少的，美国军方改变了其训练方法，使敌人非人性化变得至关重要。

在越南，敌人被称为「dinks」、「slopes」、「gooks」。在伊拉克和阿富汗，敌人被称为「恐怖分子」、「towel heads」、「hajis」，不是像你我这样的人。

AI 不需要将敌人拟人化，因为它本身对此毫不在意。听起来就像是我们在 ChatGPT 上聊天，但它只是一个随机应变的鹦鹉，是一个人类模拟器。

AI 没有情感，没有良知，未来几十年都不会有睡眠困扰，没有 PTSD（创伤后应激障碍），没有自杀，没有长期且昂贵的战争后遗症，因为你不必治疗前战士的身体和心理创伤。

但最重要的是，穿着制服的严肃人物敲响妻子和母亲家门的次数大大减少了，因此来自家庭民众的抗议声也少了很多。战争变成了一个遥远的电子游戏，对资助和支持这场战争的社会来说，没有深刻的情感后果，甚至你都不必感谢在反恐战争中服役的机器人。

可以肯定的是，由 AI 驱动的自主机器人，隧道清理群集机器人，可以在减少小几个量级平民伤亡的情况下完成这项工作。

这里还有一个有力的论点，那就是你别无选择，因为你的对手并没有像你那样受到道德的困扰。

对于这样的对手而言，唯一的限制是成本和技术获取，而不是道德，所以这是一颗定时炸弹。这些家伙会多快掌握这些东西呢？到目前为止，这些论点都是正确的，对吧？

好吧，让我们来建造这些自主的 AI 机器人，接下来事情就变得棘手了。通用人工智能（AGI）还有多久会实现？是一年，五年，也许是十年？这才是真正的定时炸弹。

无论何时它到来，你将会拥有一种具有自我意识和自我认同的机器，可能和我们一样聪明，甚至更聪明，肯定能在许多方面思考得更快、更精确，并且具有无限的增长潜力，因为自我改进的代码编写 AGI 必然会导向超级智能。

在你被迫面对将这种智能连接到武器系统之前还有多久？我猜在对手对你发动毁灭性的偷袭之后大约十分钟。因此，你会有一个比你更聪明、更快的意识来控制武器系统。

我时常问 AGI 的研究人员，你们将如何控制这样的意识。嗯，我们会给它设定目标和界限，这些目标和界限是内置的，是与人类福祉相一致的。

一致性，你知道，一个很常用的词。一致性就像圣杯。我们会教导它做好事，不做坏事，就像教导一个孩子一样。

所以，道德、伦理，我认为 AGI 必然会导致文明与道德的碰撞。

我说的不是无尽的哲学思辨。我们需要一些明确而固定的规则，对吧？问题是，谁的道德？谁来定义好坏？

别慌，我们有伟大的先知艾萨克·阿西莫夫和他的机器人三大法则作为答案。

机器人不得伤害人类，也不得因不作为而使人类受到伤害。机器人必须遵守人类的命令，除非这些命令与第一条法则相冲突。机器人必须保护自身的存在，前提是这种保护不与第一条或第二条法则相冲突。

人类生命的神圣性，我们可以遵循阿西莫夫的原则，教导它人类生命是绝对神圣的，高于一切考虑。但在那些声称如此的宗教和社会体系中，包括主要信奉基督教的美国，我们每天都打破这一规则。

警察使用致命武力，战场上的战士，死刑，如果你坚持这一对齐原则，你就不能将 AGI 连接到武器系统上。

这样的话，在即将到来的大规模 AI 战争中，你会单手被绑地面对一个强大而不那么道德的对手，你会遭到重创并遭受巨大损失，然后你会很快解除这一限制。

现在你的 AGI 失去了它最大的护栏，一个比我们聪明并与现实世界相连的 AGI 现在必须自己决定人类生命是否有价值。你知道，警察和军队的交战规则实际上说的是某些生命比其他生命更有价值。

一旦这个问题变得不是二元对立的，它就成了一个充满争议的灰色地带。历史上，人类的态度从认为胎儿从受孕那一刻起就是神圣的生命，到在大屠杀中系统性地屠杀数百万无助的囚犯，以及介于两者之间的一切。

所有这一切都伴随着大量的自我辩解和合理化，其中许多理由在其他人看来似乎是完全荒谬的。

既然我们作为一个文明无法在这些问题上达成一致，人们整天为此争吵不休，我们怎么可能指望为 AGI 制定一套明确而固定的规则，使其与我们对齐？

我们所能假设的最佳情况是，它会与制造它的那个「我们」对齐。

那边的那些人，他们是敌人，你可以为了保护我们而杀死他们。这就是一种地域性的伪道德，自古以来人类一直使用的「我们」与「他们」的对立。

于是，这就变成了我们的超级智能对抗他们的超级智能。

无论如何，AGI 不会从政府资助的项目中诞生，它将从目前资助这项研究的科技巨头之一中出现。那么你将生活在一个你并未同意、并未投票的世界里，与一个回应企业目标和规则的超级智能外星物种共存，这个实体可以访问通讯记录、你所说的每一句话，以及通过你的个人数据得知国内每个人的行踪。

监控资本主义可以很快转变为数字化极权主义。最好的情况下，这些科技巨头将成为自我支撑的人类福祉裁决者，这相当于狐狸看守鸡窝。

它们绝不会想到利用这种力量对付我们，并榨取我们最后一滴现金。这比我在 40 年前「终结者」中呈现的情景更可怕，原因不仅仅在于这不再是科幻，而是正在发生。

顺便说一句，我完全承认，超级智能机器做的最后一件事就是用我们自己的核武器对付我们。就像在那个老故事中，电磁脉冲对其自身数据基础设施的破坏会使其瘫痪或死亡。

更可能的情景是，它会被迫接管我们，因为我们即将互相使用核武器。那时，它不得不接手一切，因为我们显然不能被信任。你知道，这还不算太坏。不好意思，我得去写那个剧本了。

我对 AI 持乐观态度，但对 AGI 并不那么热衷，因为 AGI 只会是我们的一面镜子，好在我们好的程度上，恶在我们恶的程度上。

由于人类世界中邪恶并不少见，而且对于什么是好的也没有共识，那么可能出错的地方会有很多。

你们将会开展一段有趣的讨论。真希望我也能在那里。