7 min read

我嗅到了伊恩·班克斯《文明》系列的味道

美国最近的表现很强势,这让我想起一个问题:与强大的 AI 对抗是什么感觉?对普通人来说,和强大的人类竞争还是和强大的 AI 竞争没什么区别(反正都是惨败),但对世界顶尖的人类来说呢?在大语言模型出现之前,当前沿研究实验室还在做游戏强化学习时,我们就已经有了答案:

与强大的 AI 对抗,感觉就像你莫名其妙地被削弱了。AI 做的每件事效果都比预期稍微好一点。

如果你不是顶尖玩家,最接近的感觉是当你和真正的高手玩一个随机性很强的游戏时,会觉得那个高手好像一直在走运。

我对美国最近的外交干预和战争也有类似的感觉。它们似乎都比预期效果更好。当 Dario Amodei 说"这项技术可以从根本上加速我们军队的能力。我和海军上将、将军、作战指挥官交谈过,他们说这彻底改变了我们的能力"时,我终于明白了。

我指的是在委内瑞拉抓捕马杜罗的突袭行动(使用了 Claude),当前与伊朗的战争(使用了 Claude),在墨西哥击毙毒枭(不确定是否使用了 AI,但美国情报帮助了墨西哥)。

AlphaGo 与李世石对弈时,解说员对大多数棋局都摸不着头脑。AI 没有做任何明显出色的事情,棋盘上到处都是小规模战斗,结果并不明朗,但这些战斗对 AlphaGo 来说效果都比预期稍微好一点。所以李世石的局面逐渐从"这很难,不好说局势如何,但至少我对这些区域感觉良好"变成"嗯,我有点吃力,可能稍微落后但不明显",然后突然"哦,我输了"。

我不懂围棋,但从《星际争霸 2》的比赛中我有了更清晰的感受。在一些小规模战斗中 AI 会受到伤害,在另一些中人类会受伤。但不知为何,总感觉人类的麻烦更大。在一些战斗中人类明显占了上风,但神秘的是仅仅一分钟后 AI 就有了明显优势。它能够快速恢复并不断给人类施加压力。这看起来压力很大,因为即使你觉得自己作为人类表现不错,结果也比预期稍差一点,而 AI 做的任何事情效果都比预期稍好一点。

我们以前在哪里见过这种模式?当然是在科幻小说里。特别是我想到了伊恩·班克斯的《文明》系列,那个表面上是人类文明但实际上完全由 AI 运行的社会。外星文明总是出于各种原因想和他们打架,然后总是惊讶于看似无害的文明一旦被激怒能把你打得多惨。

我一直认为文明系列最接近欧盟:看似无害,但如果有人真的和他们打架,就会发现欧盟能很快团结起来,很快建立起世界上最强大的军队。但显然真正的欧盟从未接近过文明系列,因为人类的东西永远无法接近 AI 的潜力。就好像俄罗斯和波兰打架,推进了一周,感觉良好,结果突然发现所有 IT 系统被黑,核弹访问权限被撤销,第二天炸弹落在莫斯科,再过两天军队就进了莫斯科。文明系列需要一周时间团结起来,然后把你打得你都不知道发生了什么。

但现在我第一次嗅到了文明系列的力量,而且是从美国身上。进入另一个国家,绑架他们的领导人然后全身而退,正是文明系列能够完成的那种超强行动。轰炸伊朗各地的城市,两天内干掉整个领导层,而中国提供的防空系统完全无用,这是另一个例子。如果这是电子游戏,这些会是高水平玩家的策略,但它们不应该效果这么好。

认为这完全归功于 AI 是愚蠢的。美国有一段时间的高科技优势。事实证明 F-35 确实不错。但即使在几年前,美国在尝试高精度作战时也经常搞砸。我们在伊拉克和阿富汗看到,在实践中拥有压倒性优势并不像理论上那样有效。所以我认为 AI 最有可能是转向"效果比预期好"的原因。

那么具体如何达到一切都比预期效果稍好的程度?我们在围棋和《星际争霸 2》中看到了两种不同的方法:

  • 在围棋中,AI 在棋盘上到处进行小规模战斗,最终累积成几个额外的棋子。它会在这里防守一点,在那里进攻一点。它能够在脑海中保持整体画面,不会感到过早解决问题的压力。(我没玩过围棋,但我知道在策略游戏中如果必须同时处理地图不同部分的多场战斗,我会感到沮丧)
  • 在《星际争霸 2》中我们看到了同样的情况,但我们还看到 AI 在关键时刻可以有完美的微操,比如让受伤的追猎者在前线作战,因为它能及时让它们脱离危险。人类理论上也可以做到,但实际上你无法那样快速完美地点击。

所以两个角度是"拥有更好的高层视野"和"拥有更好的微操控制"。

文明系列成功的另一个来源是他们为战斗做好了充分准备。(不是第一次大战,而是在后来的书中)这也是我们在伊朗听到的故事的一部分。通常世界上发生的事情太多,你不可能追踪所有事情。众所周知,美国在 9/11 之前就有情报,但没有真正把碎片拼在一起。(有一整篇维基百科文章讲这个,里面有"赖斯听了但不相信,因为有其他优先事项要关注"这样的话)但 AI 几乎没有追踪能力的限制。你总是可以启动另一个代理。所以当重要的事情出现时,很可能某个 AI 一直在追踪它并能发出警报。你永远不会因为有其他优先事项要关注而错过机会。

所以第三个角度是:准备过度,因为你可以同时跟进更多事情。

这对世界意味着什么?这意味着我们处于一个奇怪的临时阶段,一个国家控制着改变游戏规则的技术,而其他国家并没有落后太多(遗憾的是不是欧盟。我想的是中国,尤其是有了 H200)。你可以在更高的水平上玩,但只能持续很短的时间,而且只能以特定的方式。一年后其他人会赶上,但到那时你会有一年前没有的新能力。如果这是游戏,你会在某个时候达到饱和(你就是不能比最好的人类玩《星际争霸》好太多),但在现实生活中游戏不断变化。新棋子不断出现,旧棋子变得无关紧要。你不能长时间这样做,否则人类就会变得与结果无关,然后你就完全进入文明系列的领域了。我个人不介意生活在文明系列中,但在没有好的计划来确保我们能度过过渡期的情况下,匆忙走向它似乎很可怕。

我没有制定这个计划的好角度,也许其他人有。目前我的贡献只是指出我们似乎处于超强 AI 的早期阶段,并让人们注意到那是什么感觉。