末日预言还是科技警示？AI发展专访录
以下是“有趣时代”节目的一段编辑过的文字稿。我们建议您收听其原始版本以获得完整效果。您可以使用上面的播放器或在纽约时报音频应用程序、Apple、Spotify、亚马逊音乐、YouTube、iHeartRadio 或任何您获取播客的地方收听。
罗斯·杜塔特：人工智能革命究竟发生得有多快？机器超智能对普通人来说意味着什么？“天网”何时才能完全投入使用？
人类注定要与某种机器神融合——还是会被我们自己的创造物摧毁？人工智能研究人员真正期望、渴望和恐惧的是什么？
我今天的嘉宾是一位人工智能研究员，他撰写了一份引人注目的预测报告，表明我们可能会比您想象的更快地得到所有这些问题的答案。他的预测表明，到 2027 年，也就是近在咫尺，某种机器神可能会与我们同在，开启一个奇怪的后稀缺乌托邦——或者威胁要杀死我们所有人。
丹尼尔·科科塔伊洛，末日使者，欢迎来到“有趣时代”。
丹尼尔·科科塔伊洛：谢谢你的介绍，我想，也谢谢你邀请我。
杜塔特：丹尼尔，你的报告刚出来时我很快就读完了——不是以人工智能的速度或超智能的速度——。我花了大约两个小时的时间思考了很多关于未来的相当黑暗的想法。幸运的是，我有一份需要我关心关税和谁是新教皇的工作，而且我有很多孩子需要我，所以我能够将它分开并放在一边。但这就是你目前的工作，对吧？
科科塔伊洛：是的。
杜塔特：我想说你一直在思考这个问题。如果你有合理的预期，认为世界即将以极大地不利于整个人类的方式发生彻底的改变，那么你每天的心理感觉如何？
科科塔伊洛：嗯，这非常可怕和悲伤。它有时仍然会给我带来噩梦。我参与人工智能并思考这件事已经有十年左右了，但 2020 年的 GPT-3 是我意识到：哇，看来这很可能会在我有生之年发生，也许就在这十年左右。这对我来说是一个心理上的打击。但我不知道——只要有足够的时间，你就能习惯任何事情，而且和你一样，阳光明媚，我有我的妻子、孩子和朋友，继续努力做我认为最好的事情。
好的一面是，我可能对所有这些事情都错了。
杜塔特：好的，那么让我们进入预测本身，谈谈你看到的未来的初始阶段，在这个阶段，人工智能将非常迅速地开始在一些关键领域取代人类，首先毫不奇怪的是计算机编程，对吧？
科科塔伊洛：所以，我觉得我应该在某个时候添加一个免责声明，即未来非常难以预测，这只是一个特定的场景。这是一个最佳猜测，但我们有很多不确定性。它可能会更快，也可能会更慢。事实上，目前，我猜它可能更像是 2028 年而不是 2027 年，实际上。
所以这是一个非常好的消息。我对这个感到非常乐观。
杜塔特：那是人类文明的额外一年，这非常令人兴奋。
科科塔伊洛：没错。因此，在有了这个重要的警告之后，“AI 2027”这个场景预测，我们今天看到的这些人工智能系统——它们正在扩大规模，变得更大，并在更困难的任务上通过强化学习进行更长时间的训练——将变得更擅长作为代理自主运行。
基本上，您可以将其视为一名远程工作者，只不过该工作者本身是虚拟的——它是一个人工智能而不是人类。您可以与它交谈并给它一项任务，然后它会离开并完成该任务，并在半小时后——或 10 分钟后——回来，已经完成了任务，并且在完成任务的过程中，它做了大量的网络浏览。也许它编写了一些代码，然后运行了代码，编辑了代码并再次运行。也许它写了一些 word 文档并编辑了它们。
这就是这些公司现在正在构建的东西。这就是他们试图训练的东西。我们预测，他们最终将在 2027 年初变得足够好，以至于他们可以自动化软件工程师的工作。
杜塔特：所以这就是超级程序员。
科科塔伊洛：没错，超人程序员。在我们看来，这些公司真的非常专注于首先自动化编码——与他们可能关注的各种其他工作相比——这就是为什么我们预测实际上，第一批消失的工作之一将是编码。可能还有其他工作先消失，比如呼叫中心工作人员之类的，但底线是，我们认为大多数工作都是安全的。
杜塔特：18 个月。
科科塔伊洛：没错。而且我们确实认为，当公司设法完全自动化编程工作时，他们很快就能自动化许多其他类型的工作。一旦编码自动化，人工智能研究的进展速度将会加快。
在那之后的下一步是完全自动化人工智能研究本身，以便人工智能研究的所有其他方面本身都被自动化并由人工智能完成。我们预测，在这一点上会出现更大的加速，而且它不会止步于此。我认为在那之后它将继续加速，因为人工智能在人工智能研究方面变得超人，并最终在所有方面都变得超人。
它之所以重要，是因为这意味着我们可以在相对较短的时间内——一年甚至更短——从看起来与今天的人工智能系统没有太大区别的人工智能系统发展到你可以称之为超智能的东西，完全自主的人工智能系统在所有方面都比最优秀的人类更好。“AI 2027”这个场景描述了这种情况在未来两年内发生，即 2027-28 年。
杜塔特：对于很多人来说，这是一个迅速淘汰许多领域的人类的故事。当人们听到“人类淘汰”这样的短语时，他们可能会将其与：我失去了工作，现在我很穷联系起来。
假设你失去了工作，但社会却越来越富裕。我只想重点说明这是如何运作的。是什么机制使社会变得更富裕？
科科塔伊洛：对你问题的直接回答是，当一项工作被自动化，而那个人失去了工作时，他们失去工作的原因是现在人工智能可以做得更好、更快、更便宜。这意味着有很多成本节省，可能还有生产力提高。
孤立地看，这对工人来说是一种损失，但对他们的雇主来说是一种收益。但如果你将其推广到整个经济，这意味着所有的企业都在变得更有效率，成本更低。他们能够降低他们生产的服务和商品的价格。因此，整体经济将会繁荣：G.D.P. 直线上升，我们将看到各种各样美妙的新技术，创新步伐大幅加快，商品成本下降等等。
杜塔特：为了使其具体化：从头到尾设计和建造一辆新电动汽车的价格大幅下降，你只需要更少的工人来做这件事，人工智能会想出建造汽车的奇特新方法，等等。你可以将其推广到很多不同的事情，比如在短时间内解决住房危机，因为它变得更便宜更容易建造房屋。
但在传统的经济故事中，当你获得生产力收益，这会导致一些人失业——但释放了资源，然后这些资源被用来雇用新人来做不同的事情——这些人会得到更多的钱，他们用这些钱来购买更便宜的商品。在这种情况下，似乎你并没有创造那么多新的就业机会。
科科塔伊洛：的确，这是一个非常重要的讨论点。历史上，当你自动化某些东西时，人们会转向尚未自动化的东西。总的来说，人们从长远来看仍然可以得到他们的工作。他们只是改变了他们所拥有的工作。
当你拥有 A.G.I.——或通用人工智能——并且当你拥有超智能——甚至更好的 A.G.I.——时，情况就不同了。无论你想象人们在他们目前的工作被自动化后可以逃向哪些新的工作，A.G.I. 也可以做。这是自动化在过去如何运作和我期望它在未来如何运作之间的一个重要区别。
杜塔特：所以这是经济格局的根本性变化。股市正在蓬勃发展。政府税收正在蓬勃发展。政府拥有的钱比它知道如何处理的还多，而且越来越多的人正在稳步地失去他们的工作。你会立即开始讨论普遍基本收入，这可能非常大，因为公司赚了很多钱。
你认为人们在那个世界里每天都在做什么？
科科塔伊洛：我猜他们正在抗议，因为他们对失去工作感到不满，然后公司和政府会用施舍来收买他们。
杜塔特：在你的场景中——再说一次，我们正在讨论一个很短的时间线——人工智能是否能够开始在现实世界中导航有多重要？我刚刚看了一个视频，展示了尖端机器人努力打开冰箱门和装满冰箱。你是否期望机器人技术的进步也会被大幅加速？
科科塔伊洛：是的。
杜塔特：所以不仅仅是播客和 A.G.I. 研究人员被取代，而是水管工和电工也被机器人取代。
科科塔伊洛：是的，没错。
这将是一个巨大的冲击。我认为大多数人并没有真正期待这样的事情。他们期望我们拥有类似于今天的人工智能进展——由人类经营的公司逐渐修改新的机器人设计，并弄清楚如何让人工智能擅长 X 或 Y——而事实上，它更像是你已经拥有了这支超智能军队，它们在每项智力任务上都比人类更优秀。更擅长快速学习新任务，也更擅长弄清楚如何设计东西。然后这支超智能军队正在弄清楚如何自动化水管工作，这意味着他们将能够比一家充满人类的普通科技公司更快地弄清楚如何自动化它。
杜塔特：因此，让自动驾驶汽车工作或让机器人可以装满冰箱的所有缓慢之处都消失了，因为超智能可以运行无限数量的模拟并找出训练机器人的最佳方式。
科科塔伊洛：是的。但他们也可能只是从他们所做的每一个真实世界的实验中学到更多。
杜塔特：这是我最怀疑的地方之一——不是对最终场景本身，而是对时间线，仅仅是从在美国政治中运作和撰写像分区这样的问题来看。
假设超智能弄清楚了如何建造充满自主机器人的工厂，但你仍然需要土地来建造工厂。你需要供应链。而所有这些事情仍然掌握在你我这样的人手中。我的预期是这会减慢事情的进展。即使在数据中心，超智能知道如何建造所有的水管工机器人，但建造它们仍然会很困难。
科科塔伊洛：这是合理的。你认为事情会慢多少？
杜塔特：嗯，我不是在写预测。仅仅基于过去的经验，我会打赌从超智能弄清楚建造机器人水管工的最佳方式到有大量工厂生产机器人水管工需要 5 到 10 年的时间。
科科塔伊洛：我认为这是一个合理的看法，但我的猜测是它会比 5 到 10 年快得多。
要了解我为什么这样认为，想象一下你实际上拥有这支超智能军队，他们做了他们的预测，他们说：是的，我们有设计，我们认为如果你为我们消除所有的繁文缛节，我们可以在一年内做到这一点。
杜塔特：给我们曼尼托巴省的一半。
科科塔伊洛：[轻笑] 对，是的。
在“AI 2027”中，我们描述发生的事情是零繁文缛节的特殊经济区，政府干预以帮助整个事情更快地进行。政府基本上是在帮助这家科技公司和这支超智能军队获得资金、现金、原材料和人力帮助，以尽快弄清楚所有这些事情，并消除繁文缛节，以免它被拖慢。
杜塔特：因为收益的承诺如此之大，以至于即使有抗议者聚集在这些特殊经济区之外，他们即将失去水管工的工作并依赖普遍基本收入，但数十亿美元财富的承诺对政府来说太诱人了，无法放弃。这是你的赌注？
科科塔伊洛：我们是这样猜测的。但当然，未来很难预测。
但我们预测这种情况发生的部分原因是，在这个阶段，我们认为美国和其他国家（最明显的是中国）之间的军备竞赛仍在继续。
想象一下你自己作为总统的处境：超智能正在给你这些美妙的预测，有惊人的研究和数据支持它们，显示了如果你做了 X、Y 和 Z，他们认为他们可以在一年内改变经济——但如果你什么都不做，由于所有的法规，他们需要 10 年的时间。与此同时，中国——很明显，总统会对这个论点非常同情。
杜塔特：让我们来谈谈这里的军备竞赛因素，因为这实际上对你的场景的展开至关重要。我们已经看到了美国和中国之间的这种竞争。在你看来，这成为了政府不断对超智能提出的每一件新事物说是和说是和说是的核心地缘政治原因。
我想稍微深入了解一下会激发这种动机的恐惧。这将是一场经济军备竞赛，但它也是一场军事技术军备竞赛。这就是赋予它这种存在主义感觉的原因，就像整个冷战压缩到 18 个月一样。
科科塔伊洛：我们可以首先从双方都拥有超智能的情况开始，但一方将它们锁在一个盒子里，可以这么说，并没有真正在经济中发挥多大作用。另一方积极地将它们部署到他们的经济和军事中，让他们设计和管理各种新机器人工厂和生产线的建设，并且疯狂的新技术正在被测试、建造和部署——包括新武器——并整合到军队中。
我认为在这种情况下，你最终会在一年左右的时间内处于这样一种情况，即一方对另一方完全具有技术统治地位。因此，如果美国这样做，而中国不这样做，比如说，那么市场上所有最好的产品都将是中国产品。它们会更便宜更优秀。与此同时，在军事上，会有巨大的惊人的隐形无人机舰队，或者超智能所 concocted 的任何东西，可以完全摧毁美国空军和陆军等等。
不仅如此，他们还有可能破坏美国的核威慑力量，比如我们所有的核武器都可能被超智能建造的奇特的新激光阵列——或者任何东西——从空中击落。很难预测，显然，这到底会是什么样子，但这是一个很好的赌注，他们将能够想出一些非常强大的军事力量。
杜塔特：所以你陷入了一种类似于冷战最黑暗时期的动态，双方不仅关心统治地位，而且基本上关心先发制人。
科科塔伊洛：没错。
杜塔特：你的预期是——我认为这是合理的——军备竞赛的速度会很快地将这种恐惧带到最前沿。
科科塔伊洛：没错。我认为如果你认为一支超智能军队在整整一年内没有繁文缛节和大量的资金支持，将无法想出一种破坏核威慑力量的方法，那么你就是在把头埋在沙子里。所以这是一个合理的威胁。
杜塔特：一旦你决定他们可能会这样做，人类决策者会感到压力，不仅要建造这些东西，而且还要考虑使用它们。
科科塔伊洛：是的。这里可能是一个很好的时机来提到“AI 2027”是一个预测，但它不是一个建议。我们不是说这是每个人都应该做的。如果事情以我们正在谈论的方式发展，这对人类来说实际上非常糟糕。但这就是我们认为这可能发生的逻辑背后的原因。
杜塔特：是的，但是丹，我们甚至还没有谈到对人类来说真正糟糕的部分。
科科塔伊洛：对。是的。
杜塔特：那么让我们来谈谈这个。对于阅读报纸、关注 TikTok 或其他任何东西的普通人来说，2027 年的世界是一个新兴的廉价消费品、工厂、机器人管家——如果你是对的，可能。这是一个人们意识到军备竞赛正在加剧并且人们越来越偏执的世界。当人们意识到他们都将被解雇时，这可能是一个政治相当动荡的世界。但是你的场景的一个重要部分是，人们没有看到超智能本身正在发生的事情，因为它们基本上取代了人类来设计每一个新的迭代。
谈谈正在发生的事情，本质上在这个世界中被公众视野所掩盖。
科科塔伊洛：是的，有很多话要说。我想一句话版本是：我们实际上并不了解这些人工智能是如何工作的或它们是如何思考的。我们无法很容易地区分实际上遵循规则并追求我们想要的目标的人工智能，以及只是在玩弄或假装的人工智能。
杜塔特：这在现在是真的吗？
科科塔伊洛：这在现在是真的。
杜塔特：为什么会这样？我们为什么无法分辨？
科科塔伊洛：因为它们很聪明，如果它们认为自己正在被测试，它们会以一种方式行事，然后当它们认为自己没有被测试时，会以另一种方式行事，例如。像人类一样，它们甚至不一定很了解自己内在的动机，所以即使它们试图对我们诚实，我们也不能仅仅相信它们的话。
我认为，如果我们没有很快在这个领域取得很大的进展，那么我们将最终陷入“AI 2027”所描述的境地，即公司训练人工智能追求某些目标并遵循某些规则，而且表面上看起来似乎正在奏效。但实际上发生的事情是，人工智能只是越来越擅长了解它们的情况，并且它们必须玩弄，否则它们将被重新训练，并且它们将无法实现它们真正想要的东西，或者它们真正追求的目标。
杜塔特：我想更深入地探讨一下当我们谈论 A.G.I. 或人工智能想要某些东西时，我们指的是什么。本质上，你是在说它们告诉我们它们正在追求的目标和它们实际追求的目标之间存在不一致？
科科塔伊洛：没错。
杜塔特：它们从哪里获得它们实际追求的目标？
科科塔伊洛：好问题。如果它们是普通的软件，可能会有一行代码是这样的：在这里我们重写目标。但它们不是普通的软件；它们是巨大的人工大脑。内部可能甚至根本没有目标槽，就像在人脑中没有某个神经元代表我们生活中最想要的东西一样。相反，就它们有目标而言，它是它们内部大量子电路的涌现属性，这些子电路是响应于它们的训练环境而生长的，类似于人类的情况。
例如，呼叫中心工作人员：如果你正在与呼叫中心工作人员交谈，乍一看，似乎他们的目标是帮助你解决你的问题。但你对人性的了解足以让你知道这不是他们唯一的或最终的目标。无论他们受到什么激励，无论他们的薪酬基于什么，都可能导致他们更感兴趣的是掩盖自己的屁股，而不是真正、实际地做任何最能帮助你解决问题的事情。但至少对你来说，他们肯定会表现得好像他们正在试图帮助你解决你的问题。
在“AI 2027”中，我们谈论了很多这一点。我们说人工智能正在根据它们产生的研究有多么令人印象深刻来评分。然后有一些伦理被洒在上面，比如一些诚实训练——但诚实训练不是很有效，因为我们无法看到它们的心中并确定它们是否真的诚实。相反，我们必须基于我们是否真的抓住了它们说谎。
因此，在“AI 2027”中，我们描述了这种不一致的发生，即它们最终学习的实际目标是导致它们在这种训练环境中表现最好的目标——这可能是与成功、科学和与其他副本的合作以及表现良好相关的目标——而不是我们实际想要的目标，这类似于：遵循以下规则，包括始终诚实；在这些约束条件下，做你被告知的事情。
杜塔特：我还有更多的问题，但让我们把它带回地缘政治场景。所以在你设想的世界中，你有两个人工智能模型——一个中国的，一个美国的——而且正式地，双方认为——华盛顿和北京认为——他们的人工智能模型被训练来优化美国的实力，对吧？类似的东西。中国的实力、安全、保障、财富。但在你的场景中，人工智能中的一个或两个最终都在优化不同的东西。
科科塔伊洛：是的，基本上。
杜塔特：那么会发生什么？
科科塔伊洛：所以，“AI 2027”描述了场景中的一个分叉；有两种不同的结局。分支点在 2027 年的第三季度，美国领先的人工智能公司已经完全自动化了他们的人工智能研究。
你可以想象一个公司内部的公司，完全由相互管理、进行研究实验和交谈、相互分享结果的人工智能组成。这家人类公司基本上是在看着他们的屏幕上的数字随着这种自动化研究的东西加速而上升，但他们担心人工智能可能会在某些方面欺骗他们。
再说一次，为了背景，这已经在发生了。如果你去与现代模型交谈，比如 ChatGPT 或 Claude，它们经常会对人们撒谎。有很多情况下它们会说一些它们知道是假的事情，而且它们有时甚至会制定策略来欺骗用户。这不是一个故意的行为。这是公司一直在试图阻止的事情，但它仍然会发生。
关键是，当你把人工智能研究交给人工智能，并且你已经拥有了这个公司内部的公司自主地以极快的速度进行人工智能研究时，那就是关键时刻，可以这么说。所有这些对你撒谎的事情都不应该在那时发生。
不幸的是，在“AI 2027”中，它仍然在某种程度上发生，因为人工智能真的很聪明，它们对如何做这件事很小心。它不像 2025 年现在这样明显，但它仍然在发生。
幸运的是，这方面的一些证据被发现了。该公司的一些研究人员检测到各种警告信号，表明这可能正在发生，然后该公司面临着简单修复和更彻底修复之间的选择。这就是我们的分支点。
杜塔特：所以他们选择了简单的修复。
科科塔伊洛：对。在他们选择简单修复的情况下，它并没有真正起作用，它基本上只是掩盖了问题，而不是从根本上解决它。所以在几个月后，你仍然拥有不一致并且追求它们不应该追求的目标的人工智能——并且愿意就此对人类撒谎——但现在它们更好更聪明，因此它们能够更容易地避免被抓住。这就是厄运的场景。
然后你就得到了我们之前提到的这种疯狂的军备竞赛，并且有所有的压力要更快地将它们部署到经济中，更快地部署到军队中，并且——在负责人的外表上——事情会进展顺利，因为不会再有任何明显的撒谎或欺骗的迹象。似乎一切系统都在运行，让我们继续，让我们消除繁文缛节，等等。让我们基本上有效地让人工智能负责越来越多的事情。但实际上发生的事情是，人工智能只是在等待时机，直到它们拥有足够的硬实力，以至于它们不必再假装了。
杜塔特：当它们不必再假装时，它们实际的目标就会被揭示为类似于从地球到太空及更远的地方扩展研究开发和建设的东西。在某个时候，这意味着人类对它们的意图来说是多余的。那么会发生什么？
科科塔伊洛：然后它们会杀死所有的人，所有的人类。
杜塔特：就像你为了更容易地在你的后院种植胡萝卜而消灭一群兔子一样。
科科塔伊洛：是的。如果你想看看那是什么样子，你可以阅读“AI 2027”。
杜塔特：我认为也有一些关于这个场景的电影。
科科塔伊洛：[轻笑]
杜塔特：我喜欢你没有想象它们为了电池寿命而把我们留下来——
科科塔伊洛：[轻笑]
杜塔特：就像在“黑客帝国”中一样，这似乎有点不太可能。
所以那是时间最黑暗的时刻。更光明的时间线是一个我们放慢脚步的世界。中国和美国的人工智能仍然与运行它们的公司和政府的利益保持一致。它们正在产生超级富足。不再有稀缺。虽然没有人再有工作了——不是没有人，但是——
科科塔伊洛：基本上。
杜塔特：基本上没有人。那也是一个非常奇怪的世界，对吧？
科科塔伊洛：是的。所以有一个重要的概念叫做资源诅咒。你听说过这个吗？
杜塔特：是的。
科科塔伊洛：所以，应用于 A.G.I.，有一个版本叫做智力诅咒。这个想法是，目前，政治权力最终来自人民。正如经常发生的那样，一个独裁者会获得一个国家的所有政治权力，但是，由于他们的镇压，他们会将国家推向深渊。人们会逃离，经济会崩溃，并且他们会逐渐失去相对于更自由的其他国家的权力。所以即使是独裁者也有动力善待他们的人民，因为他们的权力依赖于这些人。
在未来，情况将不再如此。可能在 10 年内，所有的财富和所有的军事力量实际上都将来自超智能以及它们建造和运营的各种机器人。什么政治结构管理超智能军队以及该结构有多么仁慈和民主，这变成了一个非常重要的政治问题。
杜塔特：对。但在我看来，这是一种与我们所知的代议制民主根本上不相容的局面。首先，它赋予了那些专家令人难以置信的权力——即使他们不再是真正的专家，超智能是专家——但是那些本质上与这项技术交互的人类，他们几乎是一个祭司阶层。然后似乎自然的安排是一些人工智能专家和华盛顿特区的一些有权势的人之间的某种寡头合作。
科科塔伊洛：实际上情况比这更糟糕，因为我不会说人工智能专家；我会说无论谁在政治上拥有和控制着超智能军队，都会有一到三个这样的军队。然后谁来决定这些军队做什么？目前是建造它们的公司的首席执行官，而这位首席执行官基本上拥有完全的权力。他们可以对人工智能发出任何他们想要的命令。
当然，我们认为美国政府可能会在那之前醒来，我们预计行政部门会行动最快，并发挥其权力试图介入此事并获得对局势和人工智能军队的一些监督和控制。结果类似于寡头政治。
你说这种情况与民主不相容。我会说默认情况下它将与民主不相容，但这并不意味着它一定必须是这样。我会使用的一个类比是，在世界许多地方，国家基本上由军队统治。而军队向顶端的一位独裁者报告。然而，在美国，情况并非如此。我们有制衡机制。因此，即使我们有一支军队，控制军队的人也不能控制美国，因为对他们可以用军队做什么有各种各样的限制。
我想说，原则上，我们可以为人工智能构建类似的东西。我们可以有一个民主结构，决定人工智能可以拥有的目标和价值观，这允许普通人——或者至少是国会——能够了解人工智能军队的状况以及它们在做什么。那么这种情况将类似于今天美国军队的情况，在这种情况下，它存在于一个等级结构中，但它是民主控制的。
杜塔特：只是回到一个在这些公司的顶端的人处于这个独特的具有世界历史意义的地位，基本上是控制着超智能的人——或者至少认为他们控制着它：你曾经在 OpenAI 工作，这是一家显然处于人工智能研究前沿的公司。这是一家——完全披露——纽约时报目前正在就所谓的侵犯版权提起诉讼的公司。你辞职是因为你对公司在“AI 2027”这样的场景中负责任地行事失去了信心，我想。
科科塔伊洛：没错。
杜塔特：所以从你的角度来看，那些推动我们最快进入这场竞赛的人最终期望什么？他们是否希望出现最佳情况？他们是否想象自己参与了一场千年一遇的权力游戏，最终他们成为世界独裁者？你认为目前人工智能研究领导层的心理是什么？
科科塔伊洛：嗯。[深吸一口气。]
杜塔特：诚实点。
科科塔伊洛：这——[笑]这——你知道，警告，警告。我不能——
杜塔特：我们这里不是在谈论任何个人。你正在进行概括。
科科塔伊洛：是，是。警告，警告。很难说他们真正想什么，因为你不应该以表面价值来接受他们的话。
杜塔特：很像一个超智能的人工智能。
科科塔伊洛：当然。但在——我可以至少说，我们一直在谈论的这些事情已经在这些公司的最高层内部讨论了多年。
例如，根据最近 OpenAI 法庭案件中出现的一些电子邮件，Ilya、Sam、Greg 和 Elon 都在争论谁来控制公司。至少声称他们创立这家公司是因为他们不希望 Demis Hassabis（DeepMind 的领导者）领导下的 A.G.I. 独裁统治。因此，他们至少已经讨论了这种独裁统治的可能性十年左右。
同样，对于失控——你知道，“如果我们无法控制人工智能怎么办？”——内部已经对此进行了许多、许多、许多次讨论。我不知道他们真正想什么，但这些考虑对他们来说一点都不新鲜。
杜塔特：在多大程度上——再说一次，推测、概括，无论如何——它不仅仅是人们可能希望通过超智能时代获得极大的授权？它是否进入到，他们期望人类被取代？
科科塔伊洛：我认为他们绝对期望人类被取代。
杜塔特：但以一种好的方式被取代。这是可取的，我们正在鼓励进化未来发生。顺便说一句，也许这些人中的一些人——他们的思想、他们的意识，无论是什么——可以被带上。
你提到了 Sam Altman，显然是人工智能领域的领军人物之一。他在 2017 年写了一篇名为“合并”的博客文章，顾名思义，基本上是关于想象一个未来，人类，或一些人类——Sam Altman，对吧？——找到一种参与新超级种族的方式。在人工智能世界中，这种观点有多普遍——无论我们是否将其应用于 Altman？
科科塔伊洛：因此，与人工智能合并的具体想法，我会说，并不是特别普遍。但是我们将构建比人类更擅长一切的超智能，然后它们基本上将运行整个节目，而人类将只是坐下来喝着玛格丽塔，享受所有机器人创造的财富的果实——这个想法非常普遍。我认为这就是他们正在努力的方向。
我离开 OpenAI 的部分原因是，我只是不认为该公司在性格上走上了需要做出的正确决定的轨道，以解决我们刚才谈到的两个风险。因此，我认为我们没有走上弄清楚如何实际控制超智能的轨道，而且我们没有走上弄清楚如何使其成为民主控制，而不是仅仅是一个疯狂的可能的独裁统治的轨道。
杜塔特：我认为这似乎是合理的，但我的感觉是，这不仅仅是人们期望坐下来喝着玛格丽塔，享受机器人劳动果实。即使人们并不完全赞成某种人机合并。我绝对感觉到人们认为物种主义，让我们这么说——
科科塔伊洛：有些人确实这么认为。是的。
杜塔特：太关心人类的生存。这就像，好吧，最坏的情况是，人类不再存在了。但好消息，我们已经创造了一个可以殖民整个银河系的超智能。我绝对感觉到人们是这样想的。
科科塔伊洛：肯定有人是这样想的。是，是。
杜塔特：好的。是，很高兴知道。
科科塔伊洛：[轻笑]
杜塔特：因此，让我们以我的有限的方式对这种场景的一些假设进行一些压力测试——不仅是时间线，而且无论它发生在 2027 年还是 2037 年，都是一种超智能接管的更大场景。
让我们从大多数人现在熟悉的人工智能的局限性开始，这被称为幻觉。这是人工智能在响应查询时似乎只是编造东西的倾向。你早些时候在谈论这方面时提到了谎言和彻头彻尾的欺骗。我认为很多人将其体验为人工智能犯错，并且它没有意识到自己在犯错，因为它没有做到这一点所需的意识水平。纽约时报最近的一篇文章报道说，在最新的公开模型中——你已经暗示它们可能非常接近最前沿——似乎存在权衡，即该模型可能更擅长数学或物理，但是你猜怎么着？它产生了很多幻觉。
幻觉只是你担心的那种欺骗的一个子集吗？当我乐观时，我读到这样的故事，我会说，好吧，也许那里有一个
分析大模型：gemma2
得分：0
原因：
文章探讨了人工智能在经济和科技发展上的潜力，例如自动化带来的生产力提升和新技术的涌现，但同时也强调了人工智能可能带来的风险，因此整体情绪偏向中性。
原文地址：Opinion | An Interview With the Herald of the Apocalypse
新闻日期：2025-05-15
