撰文：Nathan Gardels

来源：Noema

治理可能摧毁社会的技术。

比特币 9 月 2 日——尽管比特币下跌，但 2023 年比特币依然强劲

Zeebu 将与代币2049 一起在新加坡举办独家游艇派对

图片来源：由无界 AI工具生成

电影导演克里斯托弗 – 诺兰（Christopher Nolan）说，他曾与正在经历“奥本海默时刻”的人工智能科学家交谈过，他们担心自己的创造具有潜在的破坏性。“我在讲述奥本海默的故事，”他在谈到自己的奥本海默传记片时说，“因为我认为这是一个重要的故事，而且它也绝对是一个警世故事。”事实上，已经有人将 OpenAI 的山姆 – 奥特曼与这位Atom弹之父进行了比较。

奥本海默被他的传记作者称为“美国的普罗米修斯”，因为他从神那里破解了核火焰的秘密，分裂物质释放出可怕的能量，他担心这可能会焚毁人类文明。

而奥特曼也在想，他用 ChatGPT 推动生成式人工智能的发展，是否也是“非常糟糕的事情”。他在参议院的一次听证会上说：“如果这项技术出了问题，可能会酿成大祸。”被称为人工智能教父的 Gregory Hinton 今年 5 月从谷歌离职，称他对自己毕生的工作 — 制造比人类更智能机器 — 感到部分遗憾。他警告说：“我们很难防止坏人利用 AI 做坏事。”此外，他的其他同行也谈到了”人工智能灭绝的风险“，将它与核战争、气候变化和流行病等其他生存威胁并列。

在 Yuval Noah Harari（《人类简史》作者）看来，生成式人工智能对社会的破坏力可能不亚于Atom弹，用奥本海默引用《Baghavad Gita》中的一句话来说，就是“世界的毁灭者”。这一次，智人变成了神，他们孕育的无机后代有一天可能会取代先辈。在几年前的一次谈话中，Harari 这样说道：“人类历史始于人类创造诸神。当人类成为神的时候，人类历史也就结束了。”

Harari 和合著者 Tristan Harris、Aza Raskin 在最近的一篇文章中解释道：“起初是语言。语言是人类文化的操作系统。从语言中产生了神话和法律、神灵和金钱、艺术和科学、友谊、国家和计算机代码。人工智能对语言的新掌握意味着它现在可以入侵和操纵文明的操作系统。通过掌握语言，人工智能正在夺取文明的万能钥匙，从银行金库到圣墓都是如此”。

他们继续写道：

几千年来，我们人类一直生活在其他人的梦想之中。我们崇拜神灵，追寻美好的理想，将生命献给那些源于先知、诗人或政治家想象的事业。很快，我们也将发现自己生活在非人类智慧的幻觉之中……

不久之后，我们终将面对笛卡尔的恶魔、柏拉图的洞穴、佛教的玛雅。幻觉的帷幕可能会笼罩整个人类，而我们可能再也无法揭开这层帷幕 — 甚至无法意识到它的存在。

这种由非人类实体书写我们的叙事的前景让这位以色列历史学家和哲学家如此震惊，以至于他急切地建议智人在将我们领域的主控权交给我们授权的技术之前，停下来三思而行。

他们警告说：“在我们的政治、经济和日常生活对人工智能产生依赖之前，我们就应该对人工智能有所认识。”“如果我们等到混乱发生才采取措施，那就为时已晚了。”

“终结者”场景的可能性很低

谷歌副总裁 Blaise Agüera Y Arcas 和魁北克人工智能研究所的同事在《Noema》杂志上撰文指出，他们并不认为“终结者”这一好莱坞场景会在不远的将来出现。相反，他们担心，关注遥远未来的“生存威胁”会去中心化人们的注意力，无法减轻人工智能对当今社会造成的明显危险。

在人工智能成为超级智能之前，他们最担心的事情就已经来临：大规模监视、虚假信息和操纵、人工智能的军事滥用以及职业工种的大规模取代。

对于这群科学家和技术专家来说，“流氓人工智能带来的灭绝是一种极不可能发生的情况，它依赖于对生命、智能、技术和社会长期进化的可疑假设。这也是一种不太可能发生的情况，因为超级智能 AI 系统在以这种方式‘叛变’之前，需要克服许多物理限制和约束。有多个自然检查点，研究人员可以通过解决切实而紧迫的挑战来帮助减轻存在的人工智能风险，而无需明确将存在风险作为全球优先事项。”

在他们看来，“诱发灭绝的方式有三种：争夺资源、猎杀和过度消费，或者改变气候或其生态位，从而导致环境条件导致其消亡。这三种情况都不适用于目前的人工智能”。

最重要的是，“目前，人工智能依赖于我们，超级智能大概会认识到这一事实，并寻求保护人类，因为我们对于人工智能的存在就像产氧植物对于我们的存在一样重要。这就使得人工智能与人类之间相互依存的进化远比竞争的结果更有可能”。

为灭绝这种“不太可能发生的结果”付出“无限的代价”，就好比把我们所有的技术实力都用来抵御百万分之一的流星撞击地球的几率，将其作为地球的当务之急。简单地说，“超级智能人工智能带来的生存风险不值得作为全球优先事项，与气候变化、核战争和大流行病预防并列”。

另一个奥本海默时刻

人类与萌芽中的超级智能之间的竞争可能带来的任何危险，无论远近，都只会因民族国家之间的竞争而加剧。

奥本海默晚年受到迫害、孤立，并被美国Atom能委员会撤销安全许可，因为冷战初期的麦卡锡主义热潮将他视为共产主义同路人。他的罪行是：反对部署氢弹，呼吁与其他国家合作控制核武器的使用。

今年 6 月，奥特曼在北京对人工智能科学家发表演讲时，同样呼吁就如何管理人工智能的使用开展合作。“中国拥有世界上最优秀的人工智能人才，”他说。控制先进的人工智能系统“需要世界各地最优秀的人才。随着日益强大的人工智能系统的出现，全球合作的风险从未如此之高。”

人们不禁疑惑担心，奥特曼的普遍科学责任感过多久会像奥本海默一样，被成交量入华盛顿目前麦卡锡式的歇斯底里的反华情绪之中。

在人工智能所带来的明确而现实的危险中，首当其冲的是它如何被武器化。正如 Harari 所警告的那样，现在已经是应对这种威胁的时候了，不要当它成为现实且为时已晚时才采取行动。负责任的参与者需要发挥机器无法传授的智慧，合作降低风险。如果奥特曼遭遇另一个奥本海默时刻，生存风险就会越来越近。

一个值得欢迎的迹象是，美国国务卿 Antony Blinken 和商务部长 Gina Raimondo 承认，“没有哪个国家或公司能独自塑造人工智能的未来……只有通过国际社会的共同关注、智慧与合作，我们才能充分、安全地利用人工智能的潜力。”

然而，到目前为止，他们提出的倡议虽然至关重要，但仍然受到战略竞争的制约。对于世界各国来说，最严峻的挑战是如何在人工智能军备竞赛失控之前直接沟通，以阻止事态恶化。