目录
原始链接：AGI is Still 30 Years Away — Ege Erdil & Tamay Besiroglu
Dwarkesh Patel： 今天，我与 Tamay Besiroglu 和 Ege Erdil 对谈。他们之前运营 Epoch AI，现在正在创办 Mechanize，一家致力于自动化所有工作的公司。Tamay，你最近提出了一个有趣的观点，认为智能爆炸的整个概念是错误的或具有误导性。能否解释一下你的意思？
Tamay Besiroglu： 是的，我认为这个概念（智能爆炸）不太有用。这有点像把工业革命称为“马力爆炸”。 诚然，在工业革命期间，我们看到了原始物理动力的急剧加速，但还有许多其他因素，在解释工业革命期间我们看到的增长和技术变革加速方面，可能同样重要。
Dwarkesh Patel： 如何描述“马力视角”会忽略的工业革命中更广泛的因素？
Tamay Besiroglu： 就工业革命而言，它是经济中许多不同部门的一系列互补性变革。农业、交通运输、法律金融、城市化以及从农村向城市的迁移等等。许多不同的创新同时发生，导致了我们社会经济组织方式的这种变化。
不仅仅是我们拥有了更多的马力。我的意思是，那是其中的一部分，但在思考工业革命时，那并不是需要关注的核心问题。 我认为，类似地，对于人工智能的发展，当然，我们会得到很多非常智能的 AI 系统，但这将是解释我们为何预期会发生这种转变、增长加速和技术变革的众多驱动因素之一。
Dwarkesh Patel： 我想更好地理解你对这种更广泛转变的看法。但在那之前，你世界观中另一个非常有趣的部分是，你对实现通用人工智能（AGI）的时间预期比旧金山大多数思考 AI 的人要长。你预计什么时候会出现可以完全替代远程工作者的 AI？
Ege Erdil： 对我来说，大概是 2045 年左右。
Dwarkesh Patel： 哇。等等，你呢？
Tamay Besiroglu： 我稍微乐观一点。我的意思是，这取决于你所说的“完全替代远程工作者”是指能够完成所有可以远程完成的工作，还是指能完成大部分工作。
Ege Erdil： 我指的是能够完成所有工作。
Tamay Besiroglu： 对于“所有工作”，那就比 Ege 的预测早五年，或者说缩短 20% 左右吧。
Dwarkesh Patel： 为什么？过去几年我们已经看到了如此巨大的进步。两年前我们有了 ChatGPT，现在我们有了能够进行推理的模型，编码能力比我还强，而我大学是学软件工程的。当然，我后来成了播客主播，不是说我是世界上最好的程序员。
但如果过去两年取得了这么多进步，为什么还需要 30 年才能完全自动化远程工作？
Ege Erdil： 我认为很多人凭直觉认为进步非常快。他们看着趋势线就直接外推；显然，这将在，我不知道，2027 年或 2030 年或其他什么时候发生。他们就是非常乐观。但显然，你不能真的这样做（指简单外推趋势线）。
并没有一个你可以直接外推的“我们何时实现完全自动化？”的趋势。因为如果你看看经济中被 AI 实际自动化的比例，它非常小。所以如果你只外推那个趋势，就像 Robin Hanson 喜欢做的那样，你会说“嗯，这需要几个世纪”或类似的话。
当然，我们不同意这种观点。但我认为，思考这个问题的一种方式是，有多少“大事”？AI 系统需要擅长多少核心能力、胜任力，才能产生如此广泛的经济影响，比如增长加速 10 倍？过去 10 年、15 年里，我们获得了多少这样的能力？我们还有一个以计算为中心的观点……
Tamay Besiroglu： 补充一下，我认为 Ege 指的是，如果你回顾过去 10 年 AI 的进展，我们大约经历了 9 到 10 个数量级的计算量增长，并解锁了各种能力。早期，人们解决了特定游戏，甚至是非常复杂的游戏玩法。这发生在 2015 年到 2020 年，围棋、国际象棋、Dota 和其他游戏。然后，随着这些大型语言模型的出现，可能解锁了复杂的语言能力，以及可能的高级抽象推理、编码和数学能力。这可能是另一个被解锁的重要能力。
所以，过去 10 年里可能发生了几次这样重大的能力解锁，但大约每三年发生一次，或者说大约每增加三个数量级的计算量才解锁一次。 然后你可能会问，“我们还需要解锁多少这样的能力，才能让 AI 系统在各个方面，特别是远程工作任务上，匹敌人类的能力？” 那么你可能会想，也许你需要具备非常长期的连贯性，或者你需要能动性（agency）（注释：指系统自主设定目标并采取行动以实现目标的能力）和自主性，或者你可能需要像人类一样的完全多模态理解（multimodal understanding）（注释：指理解和处理多种类型信息（如文本、图像、音频）的能力）。
然后你问，“好吧，那可能需要多长时间？” 你可以从日历年的角度思考，之前的能力解锁大约每三年一次。但当然，之前的时期恰逢我们用于训练的计算量快速扩展。从 AlexNet 到我们今天拥有的最大模型，计算量可能增加了 9 或 10 个数量级。我们正达到一个计算量越来越难扩展的水平。我们做了一些外推和分析，研究了像能源或 GPU 生产这样的具体限制。
基于此，看起来我们可能还剩下大约三到四个数量级的扩展空间。 之后，你真的需要将世界产出的相当大一部分或不可忽视的一部分用于建设数据中心、能源基础设施、芯片工厂等等。
Dwarkesh Patel： 这已经是 GDP 的 2% 了，对吧？
Tamay Besiroglu： 嗯，目前还不到 2%。
Ege Erdil： 是的，而且目前大部分实际上并没有用于 AI 芯片。即使是台积电（TSMC）目前的大部分产能也用于手机芯片或类似的东西，对吧？
Dwarkesh Patel： 即使是尖端制程（leading edge）（注释：指芯片制造中最先进、最小尺寸的工艺节点），也只占了大约 5%。
Tamay Besiroglu： 是的，即使是尖端制程占比也很小。但这表明，我们可能需要更多的计算量扩展来解锁这些额外的能力。然后就有一个问题，作为一个经济体，我们是否有能力维持这种扩展？
Dwarkesh Patel： 但似乎你的直觉是，智能还有很多未竟之处。当你使用这些模型时，它们感觉几乎就在那里了。你常常会忘记自己是在和 AI 对话。
Ege Erdil： 你说它们“几乎就在那里了”是什么意思？我不知道。我不能让 Claude（Anthropic 公司开发的大语言模型）拿起这个杯子放到那边去。
Dwarkesh Patel： 我是说远程工作方面。
Ege Erdil： 好吧。但即使是远程工作，我也不能让 Claude……我认为目前的计算机使用系统甚至不能正确地预订航班。
Dwarkesh Patel： 如果到 2026 年底，它们能预订航班，这会对你的看法产生多大改变？
Ege Erdil： 我可能认为到今年年底它们就能做到这一点。但那是一个非常简单的……没有人会因为只会预订航班而获得一份工作并得到报酬。那不是一项（完整的）任务。
Dwarkesh Patel： 我认为有些人是做的。
Tamay Besiroglu： 如果真的只是预订航班的工作，并且没有其他……
Ege Erdil： 但我认为这很重要，因为很多人看着经济中的工作，然后他们会说，“哦，那个人，他的工作就是做 X”。但事实并非如此。那是他们工作中做的某件事。但如果你看他们工作时间中花在那件事上的比例，那只是他们实际工作的很小一部分。这只是人们普遍的看法。比如旅行社代理，他们只是预订酒店和航班。但这实际上并不是他们工作的大部分。所以自动化那项任务实际上并不会自动化他们的工作，也不会对经济产生那么大的影响。
所以我认为这实际上是一个重要的观点，一个重要的世界观差异，将我们与那些更乐观的人区分开来，因为他们认为经济中的工作在某种意义上要简单得多，并且认为完全自动化这些工作所需的胜任力要少得多。
Dwarkesh Patel： 我们的朋友 Leopold 有一个所谓的“解放束缚”（unhobblings）的观点。可以这样描述：这些模型基本上已经是婴儿版的 AGI 了。但由于我们人为地对它们施加了限制，例如，只用文本训练它们，而不给它们理解 Slack 环境或 Gmail 环境所需的训练数据；或者在推理时间扩展之前，不给它们“沉思”自己所说内容并真正想清楚的机会；以及不给它们关于这份工作实际涉及内容的上下文，只在提示中给出零碎的、几分钟的上下文。我们正在限制这些本质上是小型智能体发挥其应有生产力的潜力。这意味着“解放束缚”似乎比获得全新的智能能力更容易解决。你对这个框架怎么看？
Tamay Besiroglu： 我的意思是，我想你五年前也可以提出类似的观点，说“看看 AlphaZero，那里面有个迷你 AGI，只要你通过文本训练、给它所有上下文等等来解放它”，但这根本行不通。我认为你确实需要重新思考如何训练这些模型才能获得这些能力。
Dwarkesh Patel： 但我认为过去几年的惊人之处在于，你可以从互联网这个预训练语料库开始，然后实际上相当容易……ChatGPT 就是这种“解放束缚”的一个例子，其中额外花费 1% 的计算量进行后训练（post training）（注释：在预训练之后，使用更专门的数据或目标对模型进行进一步训练，以使其适应特定任务或风格），使其以类似聊天机器人的方式对话，就足以让它在那项能力上变得非常胜任。
推理是另一个例子，似乎目前在这些模型中用于强化学习（RL, Reinforcement Learning）（注释：机器学习的一个分支，智能体通过与环境互动接收奖励或惩罚来学习最佳行为策略）的计算量只占总计算量的一小部分。同样，推理看起来很复杂，然后你只投入 1% 的计算量就得到了它。为什么不认为计算机使用，或者长期的计算机使用能动性，也是类似的事情呢？
Tamay Besiroglu： 当你说“推理很容易”，“只花了这么多计算量”，“不是很多”，也许“你看看令牌（token）的数量，也不是很多，所以看起来很容易”，嗯，从我们今天的位置来看确实如此。但我认为，如果你让 2015 年的人去构建一个推理模型，那看起来会是无法克服的。你将需要用数万个 GPU 来训练一个模型，你需要解决那个问题，并且从他们当时所处的位置每扩展一个数量级都会带来他们需要解决的新挑战。
你需要生成互联网规模的，或者说数十万亿令牌（token）（注释：在自然语言处理中，文本被分解成的基本单位，可以是一个词、子词或字符）的数据，才能实际训练出一个拥有知识的模型，然后你可以通过训练它成为一个推理模型来解锁和访问这些知识。你可能需要让模型在推理（inference，模型进行预测的过程）时更高效，也许需要蒸馏（distill）（注释：一种模型压缩技术，训练一个更小的模型来模仿一个更大、更强的模型的行为）它，因为如果它非常慢，那么你得到的推理模型就不是特别有用。所以你还需要进行各种创新来使模型被蒸馏，这样你就可以更快地训练它，因为这些推演（rollouts）（注释：在强化学习中，指模型根据当前策略与环境互动生成一系列状态、动作和奖励的过程）需要很长时间。
如果一个推理模型每秒只能生成几个令牌，那将非常难以使用，而如果能达到这个速度，它实际上就成为了一个有价值的产品。所以从某种意义上说，站在我们过去五年左右建立起来的巨大技术栈上，它（推理）看起来很容易，但在当时，它会非常困难。
所以我的主张是类似的：我认为能动性部分可能在类似的意义上是容易的，即在五年或三年或无论多长时间后，我们会回顾解锁能动性的方法，它看起来会相当简单。但是，使模型能够学习如何成为一个胜任的智能体所需的互补性创新工作量，可能一直都非常困难，需要多年的创新以及在硬件、扩展和各种其他方面的诸多改进。
Dwarkesh Patel： 是的，我觉得 2015 年和现在不同之处在于……2015 年如果你想解决推理问题，你根本没有基础可言。也许你可以尝试形式化证明方法之类的，但没有立足点。而现在你确实有了东西——你有了预训练的基础模型，你有了脚手架（scaffolding）（注释：指为 AI 提供结构化支持或逐步引导，以帮助其完成复杂任务的技术）、后训练、强化学习这些技术。所以似乎你认为，未来的我们将像现在看待 AlphaGo 一样看待这些技术，认为它们是更广泛智能的基础。
我很好奇你为什么不认为我们现在拥有的语言模型就是……我们已经得到了那个缺失的关键大块，现在只是在其上添加东西？
Ege Erdil： 嗯，我的意思是，相信这一点的理由是什么？你可以看看 AlphaGo 或 AlphaGo Zero，AlphaZero，它们在当时看起来非常令人印象深刻。你只是在没有任何人类知识的情况下学习玩这个游戏，你只是从头开始学习玩它。我认为当时它确实给很多人留下了深刻印象。但后来人们尝试将其应用于数学，尝试应用于其他领域，但效果并不好，他们未能获得在数学方面胜任的智能体。
所以很有可能，这些模型，至少是我们现在拥有的方式，你将尝试做人们为推理所做同样的事情，但对于能动性，它不会运作得很好。然后你就不会——
Dwarkesh Patel： 抱歉，你是说，到 2026 年底，我们将拥有能动的计算机使用能力。
Tamay Besiroglu： 我认为 Ege 说的是能够预订航班，这与拥有完全能动的计算机使用能力是非常不同的。
Dwarkesh Patel： 我的意思是，你在计算机上需要做的其他事情也只是由像预订航班这样的事情组成的。
Ege Erdil： 我同意，但它们不是孤立的任务。这就像说，你在世界上做的所有事情都只是移动你身体的各个部分，然后移动你的嘴巴和舌头，然后转动你的头。是的，单独来看这些事情很简单，但你如何将它们组合在一起呢？
Dwarkesh Patel： 是的。好的。所以你可以有两个截然不同的证据。
第一，METR 评估（METR eval，一个评估 AI 完成复杂任务能力的基准），我们私下一直在讨论，它表明在某些类型的任务上，任务长度……（我能看到你已经准备好反驳了）AI 完成需要人类 10 分钟、1 小时或 4 小时才能完成的任务的能力，对应人类任务的时间长度，这些模型似乎每七个月就能将其任务长度翻一番。 这个想法是，如果外推这条曲线，到 2030 年，它们可能能够完成需要人类一个月或一年才能完成的任务。那么，这种在执行任务时的长期连贯性，从根本上说就是智能。所以这条曲线表明我们正在接近目标。
第二件证据——我有点觉得我自己的思维方式就是这样。我很容易分心，很难同时在脑子里保持一个长期计划。我在这方面比这些模型稍微好一点。但它们对我来说似乎没有那么不同。我本来会猜测推理是一件非常复杂的事情，然后看起来，“哦，这就像学习 10 个令牌（token）（注释：语言模型处理的基本文本单位）的 MCTS （蒙特卡洛树搜索）（注释：一种启发式搜索算法，常用于游戏中寻找最佳决策，通过随机抽样扩展搜索树）”，比如“等等，让我们回头看看，让我们换种方式思考”。
单是思维链（Chain of Thought, CoT）（注释：一种让大语言模型通过逐步推理来解决复杂问题的方法）就能给你带来这种提升。这似乎表明智能比我们想象的要简单。也许能动性在这方面也更简单。
Ege Erdil： 是的。我的意思是，有理由预期复杂推理不像人们可能预想的那么困难，即使是提前看，因为 AI 很早就解决的许多任务是各种复杂推理任务。所以，这并非人类解决数学问题时所涉及的那种推理。
但如果你回顾，比如说，自 1950 年以来的主要 AI 里程碑，很多都是关于复杂推理的。比如国际象棋，你可以说是一个复杂推理任务。围棋，你也可以说是一个复杂推理任务。
Dwarkesh Patel： 但我认为也有长期能动性的例子。比如在星际争霸中获胜就是一个在相当长的时间内保持能动性的例子。
Ege Erdil： 没错。那种情况下的问题是，它是一个非常具体、狭窄的环境。你可以说下围棋或下国际象棋也需要一定的能动性。这是真的。但这是一个非常狭窄的任务。这就像说，如果你构建一个能够对非常具体、非常特定的图像或非常特定的视频源等做出反应的软件系统，那么你就接近了通用的感觉运动技能自动化。
但通用技能是非常不同的东西。我认为我们正在看到这一点。我们似乎仍然离能够让一个 AI 模型从 Steam 上下载一个通用游戏（比如说，今年发布的游戏，你不知道怎么玩），然后就直接去玩它的水平还很遥远。而且大多数游戏对人类来说其实并不难。
Dwarkesh Patel： 那么 Claude 玩宝可梦（Claude Plays Pokemon）的例子呢？我不认为它接受过宝可梦的训练。
Ege Erdil： 对，这是一个有趣的例子。首先，我觉得这个例子非常有趣，因为它确实没有经过明确训练。他们没有在玩《宝可梦 红》上做任何强化学习。但显然，这个模型知道它应该如何玩《宝可梦 红》，因为互联网上有大量关于《宝可梦 红》的资料。
事实上，如果你在玩《宝可梦 红》时卡关了，不知道该做什么，你很可能可以去问 Claude：“我卡在月见山了，我该怎么办？” 它很可能能给你一个相当不错的答案。但这并不能阻止它在月见山卡住 48 个小时。 所以这是一个非常有趣的现象：它拥有明确的知识，但在实际玩游戏时，它的行为方式并不反映它拥有这些知识。
Dwarkesh Patel： 它所要做的就是将显性知识与其行动联系起来。
Ege Erdil： 是的，但这容易吗？
Dwarkesh Patel： 好吧，如果它们能够利用预训练中关于这些游戏的知识来在一定程度上胜任这些游戏，好吧，它们将利用不同的技能基础。但凭借同样的杠杆作用，它们将拥有类似的技能库。如果你读过人类见过的所有关于任何技能的一切资料。
Ege Erdil： 人类拥有的许多技能，并没有非常好的训练数据。
Dwarkesh Patel： 没错。在接下来的几年里，你会希望看到什么，让你觉得，“哦，不，我其实错了，这是最后一次能力解锁，现在只是解决一些小问题了。”然后我们就得到了那个能引发，我敢说，智能爆炸的东西？
Tamay Besiroglu： 我认为，如果它能展示出处理非常长上下文的能力，以有意义的方式使用多模态能力，并将其与推理和其他类型的系统集成起来，那将是重要的。还有能动性，能够在很长的时间跨度内采取行动，完成对人类来说需要很长时间才能完成的任务， 不仅仅是在特定的软件环境中，而是非常广泛地；比如说，从 Steam 上下载一个它从未见过的任意游戏，它没有太多训练数据，也许是在训练截止日期之后发布的，所以没有教程，或者没有互联网上讨论过的该游戏早期版本，然后完成那个游戏，实际玩通关并完成那些对人类来说具有挑战性的各种里程碑。这将是一个重大的更新（指观点的改变）。我的意思是，还有其他事情也会让我更新看法，比如 OpenAI 的收入远超现在。
Dwarkesh Patel： 根据他们的合同，1000 亿美元的收入标志着他们实现了 AGI，这足够吗？
Tamay Besiroglu： 如果发生这种情况，我认为对我来说不是一个巨大的更新。我认为，如果收入达到 5000 亿美元或类似水平，那才会让我更新看法。但 1000 亿美元，对我来说似乎很有可能。我可能会给它分配 40% 左右的概率。
Dwarkesh Patel： 如果你有一个系统，以生产者剩余（producer surplus）（注释：生产者愿意接受的最低价格与实际市场价格之间的差额）计算价值 1000 亿美元。这与 AlphaZero 的区别在于 AlphaZero 永远不会在市场上赚到 1000 亿美元。那么，智能到底是什么？它就像某种能够有效地实现其目标，或你的目标的东西。如果人们愿意为它支付 1000 亿美元，这就是它正在实现某些目标的相当好的证据。
Tamay Besiroglu： 我的意思是，人们为各种各样的东西支付 1000 亿美元。这本身并不是一个非常有力的证据，表明它将带来变革。
Ege Erdil： 人们为石油支付数万亿美元。我不知道，这似乎是一个非常基本的观点。但人们为某样东西支付很多钱并不意味着如果我们设法“解放”它，它就会改变世界经济。这是一个非常不同的主张。
即使是推理模型也缺乏动物智能
Dwarkesh Patel： 那么这就引出了智能爆炸的问题，因为人们会说，我们不需要自动化所有远程工作所需的一切，更不用说所有人类劳动了。我们只需要自动化那些足以完全闭合研发循环以制造更智能智能体所需的东西。
如果你这样做，你会得到一个非常快速的智能爆炸。而那次爆炸的最终产物不仅是 AGI，而且可能是超人类的东西。这些东西在编码和推理方面极其出色。这似乎正是自动化 AI 实验室研发所必需的那种能力。你对这个逻辑怎么看？
Ege Erdil： 我认为，如果你看看它们的能力概况，与经济中的随机工作相比，我同意它们在执行研发中涉及的编码任务方面比随机工作要好。但从绝对意义上说，我不认为它们那么好。我认为它们擅长的是那些让我们对人类程序员印象深刻的事情。如果你想看看是什么让一个人成为真正令人印象深刻的程序员，你可能会看他们在竞技编程（competitive programming）（注释：一种智力运动，参与者在规定时间内编写程序解决算法问题）中的表现。事实上，公司在招聘相对初级的人员时，常常根据他们在这类问题上的表现来决定。但这只是在人类分布中令人印象深刻。
所以，如果你从绝对意义上看，实际自动化研究人员过程所需的技能是什么？那么 AI 系统实际拥有这些技能的多大比例？即使在编码方面，很多编码工作是，你必须处理一个非常大的代码库，指令非常模糊。 例如，你提到了 METR 评估，其中，因为他们需要将其作为评估，所有任务都必须是紧凑的、封闭的，并有明确的评估指标：“这是一个模型，将其在这个数据集上的损失降到尽可能低”。或者“这是另一个模型，它的嵌入矩阵（embedding matrix）（注释：在机器学习中，将离散的类别（如单词）表示为连续向量的一种方式，矩阵存储了这些向量）被打乱了，修复它以恢复其大部分原始性能”，等等。
这些并不是你在 AI 研发中实际处理的问题。它们是非常人为的问题。 现在，如果一个人类擅长解决这些问题，我认为你会合乎逻辑地推断出这个人类很可能实际上是一名优秀的研究员。但如果一个 AI 能够解决它们，这个 AI 缺乏人类（不仅仅是研究员，就是普通人）在研究过程中会拥有的许多其他能力，而我们并没有考虑到这些能力。所以我们的观点是，首先，自动化研究比人们想象的要困难。 我认为你需要更多的技能来做到这一点，而且肯定比模型现在展示的要多。
其次，即使你确实自动化了研究过程，我们认为很多软件进步并非由认知努力驱动——认知努力发挥了作用——而是由计算规模驱动。 我们只是有了更多的 GPU，你可以做更多的实验，找出更多的东西，你的实验可以在更大的规模上进行。这只是一个非常重要的驱动因素。如果你在 10 年前、15 年前，试图弄清楚 10 或 15 年后哪些软件创新会很重要，你会非常困难。事实上，你甚至可能无法构想出正确的创新方向，因为你离那个拥有更丰富计算资源和人们届时已经学到所有东西的时代背景太遥远了。
所以这是我们观点的两个组成部分：研究比人们想象的更难，并且很大程度上依赖于计算规模。
Dwarkesh Patel： 你能否更具体地指出一个与“训练分类器”或“调试分类器”非常不同，但与 AI 研发相关的任务例子？
Tamay Besiroglu： 例子可能包括引入对未来解锁创新非常有用的新颖创新。 这可能是引入一种思考问题的新颖方式。一个很好的例子可能是在数学领域，我们有这些非常擅长解决数学问题的推理模型。
Ege Erdil： （它们擅长的是）非常短视界（short horizon）的问题。
Tamay Besiroglu： 当然。也许不是极其擅长，但肯定比我强，可能比大多数本科生强。所以它们能很好地完成那些任务，但它们不擅长提出对推动数学进步有用的新颖概念框架。 所以它能够解决那些你可以从某个非常混乱的背景中巧妙地剥离出来的问题，并且能够在那里取得很大进展。
但在某个更混乱的背景下，它不太擅长弄清楚哪些方向对于你构建东西或取得渐进式进展特别有用，从而使你能够在以后实现重大的创新。 所以，思考这种更大的背景，以及可能更长远、更模糊的优化目标，我认为它在这些类型的任务上要差得多。
Ege Erdil： 对。所以我认为一个有趣的事情是，如果你只看这些推理模型，它们知道如此之多，特别是更大的模型，因为从某种意义上说，它们确实比任何人类知道的都多。我们已经在这些知识之上解锁了这些推理能力，我认为这实际上是使它们能够解决很多这类问题的原因。但如果你真的看看它们解决问题的方式，它们所做的事情之所以让我们印象深刻，是因为我们拥有的知识要少得多。
模型解决问题的方式与人类的方式有着根本的不同。 人类的知识要有限得多，他们通常必须在解决问题时更具创造力，因为他们缺乏知识，而模型知道的如此之多。但你问它一些晦涩的数学问题，需要用到 1850 年左右的某个特定定理，如果它是一个大模型，它就会知道。所以这使得难度分布非常不同。
如果你看看推理模型解决问题的方式，它们通常不具创造性。它们非常有效地利用它们拥有的极其庞大的知识。这使它们在很多方面非常有效。 但你可能会问，一个推理模型是否曾提出过一个对人类数学家来说哪怕有点有趣的数学概念？我从未见过。
Dwarkesh Patel： 我的意思是，它们才出现了六个月。
Tamay Besiroglu： 我的意思是，那是一段很长的时间。一个数学家在那段时间里可能已经完成了很多工作，而他们（指模型）在数学上产生的令牌数量要少几个数量级。
Ege Erdil： 然后我只想强调一下，因为想想这些模型拥有的知识的绝对规模。从人类的角度来看，它是巨大的。所以实际上相当引人注目的是，没有任何有趣的重新组合，没有任何有趣的，“哦，这个领域的这个东西看起来有点像那个领域的那个东西”。没有任何创新从中产生。 它不必是一个伟大的数学概念，它可以只是一个小东西，也许你可以添加到过去人们常看的周日数学杂志上。但连那样的例子都没有。
Tamay Besiroglu： 我认为在这里解释一个对我们思考 AI 擅长什么和不擅长什么非常重要的框架会很有用，那就是莫拉维克悖论（Moravec's paradox）（注释：由汉斯·莫拉维克等AI研究者提出，指对人类来说困难的抽象思维任务（如下棋、数学）对AI相对容易，而对人类来说容易的感知和运动技能对AI却非常困难的现象）。那些对人类来说似乎非常困难的事情，AI 系统往往进展得更快，而那些对我们来说看起来容易得多的事情，AI 系统则完全挣扎，或者常常完全无法做到。 比如这种抽象推理、下棋、下围棋、玩 Jeopardy 游戏、做高等数学和解决数学问题。
Ege Erdil： 还有更强的例子，比如心算 100 位数字相乘，这几乎是所有问题中最早被解决的问题之一。或者遵循非常复杂的符号逻辑论证，比如演绎论证，人们实际上在这方面非常吃力。比如前提如何逻辑地导出结论？人们在这方面非常困难。但对形式化证明系统来说非常容易。
Tamay Besiroglu： 一个相关的且非常重要的见解是，人类似乎感到困难而 AI 系统似乎进展更快的任务，是那些在进化史上出现相对较晚的事物。 高级语言使用可能在十万年前出现在人类身上，而下棋和围棋等肯定是近代的创新。因此，进化有更少的时间来优化它们，部分原因是它们非常新，但也部分因为当它们出现时，压力要小得多，因为它们给人类带来的适应性优势相对较小，所以进化并没有非常强烈地优化这些东西。
因此，在这些人类觉得其他人类能做到就非常了不起的特定任务上，AI 系统能够取得快速进展，这并不奇怪。在人类中，这些事情通常与其他能力高度相关，比如善于实现目标，或者一个好的程序员通常与解决编程问题高度相关，或者一个好的工程师通常与解决竞技编程问题相关。
但在 AI 系统中，这种相关性并不那么强。 甚至在 AI 系统内部，竞技编程能力最强的系统甚至不是那些最擅长实际帮助你编码的系统。比如 o3 mini 的某个版本似乎可能是解决竞技编程问题最好的，但它并不是实际帮助你编写代码最好的。
Ege Erdil： 而且它也不是从 Coursera 或其他地方获得大部分企业收入的那个，那个是 Claude，对吧？
Tamay Besiroglu： 但这里一个重要的见解是，对于那些我们觉得人类能做到就非常了不起的事情，我们应该预料到 AI 系统能够在这些方面取得更多进展。但我们不应该因此就对其一般能力（general competence）产生过强的更新（指改变看法），因为我们应该认识到，这只是人类成为一个胜任的、具有经济价值的智能体所做的相关任务中一个非常狭窄的子集。
Dwarkesh Patel： 是的。首先，我真的非常欣赏外面有一个 AI 组织——因为还有其他人认真对待计算视角，或者试图根据经验研究规模定律（scaling laws）（注释：描述模型性能、计算量、数据量和参数量之间关系的经验性规律）、数据等等。而认真对待这种视角的人往往会得出结论，“好吧，2027 年实现 AGI”，这可能是对的，但听到“不，我们也研究了完全相同的论点、相同的论文、相同的数字。而我们得出了完全不同的结论”就很有趣。
两年前我采访 Dario Amodei（Anthropic CEO）时，问了他完全相同的问题，那次采访火了。
Ege Erdil： 他不是说两年内实现 AGI 吗？
Dwarkesh Patel： 是的，但 Dario 的时间线一直很短。
Ege Erdil： 好吧，但我们现在已经过去两年了。
Dwarkesh Patel： 他说了两年吗？我记得他好像确实说了两年。
Ege Erdil： 他是说了三年吗？
Tamay Besiroglu： 所以我们还有一年。
Dwarkesh Patel： 还有一年。
Tamay Besiroglu： 最好努力工作。
Dwarkesh Patel： 但是他，我的意思是，我认为他，特别是他，一直不太准确。2018 年，他好像……
Tamay Besiroglu： 我记得 2017 年和一位现在在 Anthropic 的非常资深的人士交谈过。然后他告诉各种人，他们不应该读博士，因为等他们完成学业时，所有人都会被自动化。
Dwarkesh Patel： 总之，我问了他（指 Dario）完全相同的问题，因为他的时间线很短，那就是如果一个人类知道这些模型所知道的事情量，他们会发现所有这些不同的联系。事实上，前几天我采访 Scott Alexander 时问了他这个问题，他说，“看，人类也没有这种逻辑全知（omniscience）（注释：哲学概念，指无所不知的能力。这里引申指从已知信息中推导出所有逻辑结论的能力）”。
我不是说我们是全知的，但我们有例子表明人类会发现这类联系。这并非罕见之事，对吧？我认为他的回应是，这些东西只是没有被训练来发现这类联系，但他们的观点是，不需要太多的额外计算就能构建某种强化学习环境，激励它们去发现这些联系。 下一个词元预测（next token prediction）并不能激励它们这样做，但这样做所需的强化学习不会——或者设置某种脚手架。我认为实际上 Google DeepMind 确实做了一些类似的脚手架来做出新发现。我没有深入研究这个新发现有多令人印象深刻，他们声称 LLM 因此做出了某个新发现。
关于莫拉维克悖论，这确实是思考 AI 进展的一种超级有趣的方式。但我也会说，如果你比较动物和人类，长期智能规划……动物也不会帮你预订航班。动物也不会为你做远程工作。
我认为将人类与其他动物区分开来的是，我们可以长期持有计划并执行它。而其他动物通常必须依靠本能，或者在它们具有进化知识的那种环境中行事，而不是，“我被扔到热带草原中部，或者沙漠中部，或者苔原中部，我会学着利用那里的工具和任何东西”。我实际上认为人类和动物在基于知识适应不同环境的能力上存在巨大的不连续性。 所以这也是一个最近才被优化的东西。然后我会想，“好吧，我们很快就有了（指人类）。AI 会更快地优化它”。
Ege Erdil： 对。所以我想说，如果你在比较动物和人类，这是有点不同的事情。
我认为如果你能把动物拥有的能力赋予 AI 系统，那可能就已经让你达到 AGI 了。 我认为动物和人类之间之所以存在如此大的不连续性，是因为动物必须完全依赖自然世界的数据来训练自己。想象一下，作为一个人，你唯一看到的是没有人跟你说话，你没有读过任何东西，你只能通过经验学习，也许在某种程度上通过模仿他人，但你没有任何明确的交流。那效率会非常低。
实际发生的是，你有了这个——我认为其他人也提出过这个观点——进化有点像一个外部优化器，它在很多方面提高了大脑的软件效率。 你继承了一些遗传知识，但不多，因为基因组中没有那么多空间。然后你有这种终生学习，在终生学习中你实际上看不到那么多数据。很多数据是冗余的等等。
所以，与其它动物相比，人类似乎发生的变化是，人类能够拥有文化和语言，这使他们能够拥有比动物效率高得多的训练数据模态。 他们也有，我认为，更强的模仿其他人类并学习他们技能的方式，所以这也使得知识得以传递。我认为动物在这方面比人类差得多。所以基本上作为人类，你只是在接受效率高得多的数据训练，这又会产生进一步的洞见，让你更有效地从中学习，然后这就创造了一个反馈循环，选择压力变得更加强烈。
所以我认为这大致就是人类身上发生的事情。但是，成为人类经济中优秀工作者所需的许多能力，动物已经拥有了。 它们拥有相当复杂的感觉运动技能。我认为它们实际上能够追求长期目标。
Dwarkesh Patel： 但那是进化灌输的目标。我认为狮子会找到羚羊，这是一件复杂的事情，需要潜行等等等等——
Ege Erdil： 但是当你说这是进化灌输的时候，基因组里的信息并没有那么多。
Dwarkesh Patel： 但我认为如果你把狮子放到撒哈拉沙漠，然后说：“去抓蜥蜴吧”。
Ege Erdil： 好吧。假设你把一个人类放在那里，而他们没有见过相关的训练数据。
Dwarkesh Patel： 我认为他们会稍微好一点。
Ege Erdil： 稍微好一点，但不会好太多。再次强调，你最近不是采访了——
Dwarkesh Patel： Joseph Henrich。
Ege Erdil： 是的。他可能会告诉你这一点。
Dwarkesh Patel： 我认为你提出的观点实际上非常有趣和微妙，并且有一个有趣的含义。人们常说ASI（人工超智能）（注释：远超人类认知能力的智能）将是一个巨大的不连续性，因为我们在从动物到人类的转变中看到了这种巨大的不连续性，前人类灵长类动物和人类在基因上变化不大，但这导致了能力上的巨大变化。所以他们说，“嗯，为什么不期待在人类水平智能和超人类智能之间发生类似的事情呢？”
你观点的一个含义实际上是，并非我们获得了这种不可思议的智能。而是由于生物限制，动物被以一种非常奇怪的方式限制住了，没有 AI 系统会像那样被任意地限制，无法与其他副本或其他知识来源交流。 因此，由于 AI 没有被这种方式人为地限制，就不会出现我们需要解除那种束缚，然后它们就爆炸性发展的时刻。
现在，实际上，我想我不同意我刚才得出的那个含义——我有点像一条无法控制的思维链。
我们（指 Dwarkesh, Ege, Tamay）一起写了一篇关于 AI 公司的博客文章，其中我们讨论了未来的 AI 实际上会经历类似的“解放束缚”，这与智能无关，而是与其他 AI 的带宽、沟通和协作水平有关，其变化幅度类似于非人类动物到人类在社会协作方面的变化幅度。 这将是因为 AI 能够精确复制它们所有的知识，能够合并，能够蒸馏自身。
Tamay Besiroglu： 或许在我们讨论那个之前，我认为这里需要强调一个非常重要的观点，它构成了我们与其他人就从非人类动物向人类转变的论点存在分歧的基础，那就是过分强调智能、推理以及由智能驱动的研发是极其重要的。 因此，如果你认为从非人类灵长类动物到人类的转变带来了这种非常重要的差异，那么你就会认为，在某种意义上，通过相当小的规模扩展（比如大脑尺寸）就获得了极其重要的能力解锁。
然后你可能会想，“嗯，如果我们扩展超过人脑使用的训练计算量（也许大约是 1E24 FLOP 或类似水平，我们最近已经超过了），那么也许再稍微超过一点就能让我们解锁非常复杂的智能，就像人类相比非人类灵长类动物拥有更复杂的智能一样”。我认为我们部分分歧在于，智能固然重要，但仅仅拥有更多的智能、推理和良好的推理，并不会非常显著地加速技术变革和经济增长。
并非当今世界完全受制于缺乏足够好的推理，这并非真正限制世界实现更显著增长的能力瓶颈。 我认为我们可能在这个具体论点上存在一些分歧，但我认为同样非常重要的是，我们对于这种加速如何发生持有不同的看法，即不仅仅是拥有一群非常优秀的推理者为你提供技术，然后大幅加速一切。 因为仅凭这一点是不够的。你需要其他行业的互补性创新。你需要整个经济的增长来支持这些不同技术的发展。你需要升级各种供应链。你可能需要对正在构建的各种产品有需求。
所以我们持有的观点是，实际上，你的技术和经济非常广泛的升级是重要的，而不仅仅是拥有非常优秀的推理者和非常非常好的推理令牌就能带来这种加速。
智能爆炸
Dwarkesh Patel： 好吧。那么这就回到了智能爆炸。支持智能爆炸的论点是这样的：
你说得对，某些类型的事情可能需要更长的时间才能出现，但是，只需要（自动化）这个所需的核心软件研发循环，如果你只看要制造更通用智能需要什么样的进展。 你可能是对的，它需要更多的实验性计算，但正如你们所记录的，未来几年，我们每年都会获得巨量的更多计算资源。所以你可以想象在未来几年发生智能爆炸，比如 2027 年，用于 AI 的计算资源将是现在的 10 倍。
你会看到这样的效果：从事软件研发的 AI 正在找到使运行它们副本更有效的方法，这有两个效果。 第一，你增加了从事这项研究的 AI 的数量，因此更多并行的 AI 可以找到这些不同的优化方法。他们在这里经常提到的一个微妙观点是，AI 领域的软件研发不仅仅是 Ilya Sutskever（OpenAI 联合创始人兼前首席科学家）那样提出新的类似 Transformer 的架构。
正如你所指出的，它实际上涉及很多——我不是 AI 研究员，但我假设从最底层的库到内核（kernels）（注释：指在 GPU 等硬件上执行特定计算任务的一小段优化代码），到构建强化学习环境，到寻找最佳优化器（optimizer）（注释：在机器学习训练中用于调整模型参数以最小化损失函数的算法）……有太多的事情要做，你可以并行地做所有这些事情或在它们之间寻找优化。所以你有两个效果，回到这一点。第一是，如果你看最初的 GPT-4 和现在的 GPT-4o，我认为它运行起来便宜了多少？
Tamay Besiroglu： 大约，同样能力下便宜了 100 倍左右吧。
Dwarkesh Patel： 对。所以它们正在找到以 100 倍或类似的成本运行更多副本的方法，这意味着它们的种群数量在增加，而更高的种群数量有助于你找到更多的效率提升。
这不仅意味着你有更多的研究人员，而且在互补性输入是实验性计算的情况下，重要的不是计算本身，而是实验。 运行一个副本或开发一个副本越高效，你可以运行的并行实验就越多，因为现在你可以用比 2024 年或 2023 年便宜得多的成本进行 GPT-4 规模的训练。因此，这个纯软件奇点（software-only singularity）也能看到更多的研究人员副本，他们可以用更低的成本运行实验，等等等等。它们最初可能在某些你提到的方面存在不足，但通过这个过程，它们正在迅速变得更加强大。这个逻辑有什么问题吗？
Tamay Besiroglu： 我认为这个逻辑看起来没问题。我认为这是一种思考这个问题的不错方式，但我认为借鉴经济学家们在研究研发回报以及如果你将输入（例如研究人员数量）增加 10 倍，创新或创新率会发生什么变化方面所做的大量工作会很有用。
在那里，他们指出了两种效应：随着你进行更多创新，你得以站在巨人的肩膀上，从过去的发现中受益，这使你作为科学家的生产力更高。但也存在收益递减的情况，低垂的果实已经被摘取，取得进展变得更加困难。 总的来说，你可以将这些估计总结为思考研究投入的回报。
我们研究了软件领域特定研究投入的回报。我们考察了传统软件或线性整数求解器或 SAT 求解器等多个领域，以及 AI 领域：计算机视觉、强化学习和语言建模。在那里，如果这个模型（指仅需认知努力即可）是真的，那么关于这是否会导致加速（超指数增长）还是仅仅导致指数级增长，现有的估计似乎有些模棱两可。
然后你可能还会想到，嗯，进行这些创新并非只需要扩展你的研究投入，因为你可能有互补性输入。 正如你提到的，实验可能是瓶颈。我认为有大量证据表明，事实上，这些实验和硬件规模的扩展，对于算法、架构等方面的进展至关重要。 在 AI 领域——这对整个软件领域都是如此——如果你观察软件的进步，它通常与我们在硬件上看到的进步速度非常匹配。对于传统软件，我们看到每年大约 30% 的增长，这基本上与摩尔定律（Moore's law）（注释：戈登·摩尔提出的经验观察，指集成电路上可容纳的晶体管数量大约每两年翻一番）相符。在 AI 领域，我们看到了同样的情况，直到深度学习时代，然后出现了一个加速，事实上，这与我们在计算规模扩展中看到的加速相吻合，这暗示了计算规模的扩展可能非常重要。
除了这种进展速度的巧合之外，其他证据包括：算法和架构的创新往往集中在 GPU 资源丰富的实验室，而不是在 GPU 资源匮乏的地方，如学术界或较小的研究机构。这也表明拥有大量硬件非常重要。如果你看看过去五年中似乎非常重要的具体创新，许多创新都有某种与规模或硬件相关的动机。 比如 Transformer 本身就是关于如何利用更多并行计算。像 Flash Attention 这样的技术实际上就是关于如何更有效地实现注意力机制（attention mechanism）（注释：深度学习中允许模型在处理序列数据时关注输入中最相关部分的技术）。或者像Chinchilla 规模定律（Chinchilla scaling law）（注释：DeepMind 提出的关于在给定计算预算下，模型大小和训练数据量之间最佳平衡点的定律）。
因此，许多这些重大创新都只是关于如何更有效地利用你的计算资源。这也告诉你，计算规模的扩展实际上可能非常重要。我认为有许多证据都指向这种互补性的图景。
所以我想说，即使你假设实验不是特别重要，我们现有的证据，无论是来自 AI 还是其他软件的估计（尽管数据并不完美），都表明你可能无法在整体算法效率上获得这种双曲线式的、快于指数级的超增长。
Dwarkesh Patel： 我不太相信那个论点，即因为计算和 AI 进展这两件事如此同步地增长，就意味着这是一种因果关系。
总的来说，整个行业一直在获得更多的计算资源，并因此取得更多进展。但如果你看看顶尖参与者，有很多例子表明，一家计算资源少得多、但愿景更清晰、研究力量更集中的公司，能够击败拥有更多计算资源的现有巨头。 比如 OpenAI 最初击败了 Google DeepMind。如果你还记得，之前有邮件被公开，Elon 和 Sam 等人之间的邮件说，“我们必须创办这家公司，因为他们在计算上存在瓶颈”，“看看 Google DeepMind 有多少计算资源”。然后 OpenAI 取得了很大进展。现在 OpenAI 对比 Anthropic 等也是类似情况。然后我认为总的来说，你的论点太“外部视角（outside view）（注释：一种预测方法，侧重于参考类似情况的历史数据或统计规律，而非具体细节）”了。而我们实际上对这个非常宏观的经济论点了解很多，我反而想，为什么我们不直接问 AI 研究人员呢？
Tamay Besiroglu： 我的意思是，AI 研究人员通常会夸大纯粹认知努力和进行研究对于推动这些创新的重要性，因为这通常对他们来说很方便或有用。他们会说这个见解源于统计力学中某个好想法，或者物理学中某个好公式，表明我们应该这样做。但通常这只是他们为了让审稿人觉得更有说服力而临时编造的故事。
Dwarkesh Patel： Daniel Kokotajlo 提到他做过一项调查，他问了很多 AI 研究人员，“如果你只有三十分之一的计算资源”——他用三十分之一是因为他们假设 AI 会快 30 倍——“你的进展会慢多少？”他们回答说，“我只能取得平时三分之一的进展”。所以这是一个相当好的替代效应的证据：计算资源减少到十分之一，进展只减少三分之二。 （译者注：原文是“慢三分之二”，即只剩三分之一进展，1/30 的计算对应 1/3 进展，说明计算的边际效应递减，或认知努力有很强的替代作用）
然后前几天我和一位 AI 研究人员交谈，是那种顶尖人物，年薪可能数千万美元。我们问他，AI 模型在 AI 研究中对他有多大帮助？他说，“在我已经非常熟悉的领域，更接近于自动补全的情况下，它每周为我节省 4 到 8 个小时”。然后他说，“但在我实际上不太熟悉的领域，我需要建立新的联系，需要理解这些不同部分如何相互关联等等。它每周为我节省近 24 到 36 个小时”。
这只是当前的模型。我就在想，“他并没有获得更多计算资源，但这仍然为他节省了大量时间”。把这个趋势向前推演。这是一个疯狂的暗示或疯狂的趋势，对吧？
Ege Erdil： 我的意思是，我对于我们实际上在研发过程中看到了如此大的加速这一说法持怀疑态度。 这些说法在我看来，似乎与我看到的实际数据不符。所以我不确定该在多大程度上相信它们。
Dwarkesh Patel： 我的意思是，关于认知努力本身就能带来大量 AI 进展的普遍直觉，实验室所做的一个重要事情似乎就是这个深度学习的科学。规模定律……我的意思是，它最终通过实验得以验证，但实验是由认知努力驱动的。
Ege Erdil： 需要说明的是，当你说 A 和 B 是互补的时候，你并不是说，就像 A 可以成为你的瓶颈一样，B 也可以成为你的瓶颈。所以当你说你需要计算、实验和数据，但你也需要认知努力时，这并不意味着拥有最多计算资源的实验室就会赢，对吧？ 这是一个非常简单的道理，任何一个都可能成为瓶颈。
我的意思是，如果你只是有一个非常功能失调的文化，你实际上没有很好地优先利用你的计算机，你只是浪费它，那么你就不会取得很大进展，对吧？所以，这并不与拥有更好愿景、更好团队、更好优先级安排的人能更好地利用他们的计算资源（如果其他人只是在那方面受到严重瓶颈限制）的图景相矛盾。 这里的问题是，一旦你获得了这些自动化的 AI 研究人员并开始了软件奇点，你的软件效率将提高许多数量级，而你的计算存量，至少在短期内，将保持相当固定。那么，在你被第二个优先级方程（指计算等物理资源）瓶颈之前，你能获得多少数量级的改进？一旦你真正考虑到这一点，你应该预期多少进展？
这正是那种我认为人们难以凭直觉得出的问题。我认为人们很难对此有好的直觉，因为人们通常不做这些实验。所以在公司层面或行业层面，你无法看到如果整个行业的计算资源减少 30 倍会发生什么。也许作为一个个体，如果你的计算资源减少 30 倍会发生什么？你可能对此有更好的了解，但那是一个非常局部的实验，你可能从那些实际拥有更多计算资源的人的溢出效应中获益良多。所以因为这个实验从未进行过，很难获得关于互补性强弱的直接证据。
Dwarkesh Patel： 实际上，如果世界真的在 2027 年迎来 AGI，你认为发生纯软件奇点的概率是多少？
Tamay Besiroglu： 相当高，因为你的前提是计算资源没有变得非常庞大。所以那一定是意味着你获得了大量的软件进步。
Dwarkesh Patel： 是的，对，对。就像在那个世界里，你从算法进步中获得了巨大的杠杆作用。
Tamay Besiroglu： 好的，没错。
Dwarkesh Patel： 那么也许，因为我之前认为这些是独立的问题——
Tamay Besiroglu： 我想呼吁的是，我知道一些实验室确实有多个预训练团队，他们给人们分配不同数量的资源进行训练，投入不同数量的认知努力，不同规模的团队。但我认为，这些都没有被公布出来。我很想看到其中一些实验的结果。
我认为即使那样也不会让你非常强烈地更新看法，仅仅因为对生产要素进行这种非常不平衡的扩展通常效率极低。为了真正估计这些互补性有多强，你需要观察到这些非常不平衡的扩展。而这种情况很少发生。
所以我认为，与此相关的数据真的相当匮乏。然后人们拥有的直觉似乎也与关键问题（如果你进行了这种非常不平衡的扩展会发生什么以及最终结果如何）没有明显关联。
Dwarkesh Patel： 我有一个问题，如果有人能提供一个例子会非常有趣：也许在历史上，某个时候因为战争或其他某种供应冲击，你需要提高产量或某个人们真正关心的关键产出，而由于某种奇怪的历史原因，许多关键投入无法增加，但你可以增加某一个关键投入。
我说得很抽象。你明白我的意思，对吧？你需要制造更多的轰炸机，但是你用完了铝，你需要想出其他的办法。这些努力有多成功，或者你是否只是不断地遇到瓶颈？
Ege Erdil： 嗯，我认为这不完全是正确的类比方式。因为我认为如果你谈论的是材料，那么在很多意义上，不同的材料可以在不同方面相互替代。你可以用铝。我的意思是，铝是制造飞机的好金属，因为它轻便耐用等等。但你可以想象用较差的金属制造飞机，然后它只是需要更多燃料，飞行效率较低。所以在某种意义上，你可以补偿，只是成本更高。
我认为如果你谈论的是像劳动力和资本之间的互补性，远程工作和现场工作之间的互补性，或者熟练和非熟练工作之间的互补性，情况会困难得多。 对于某些输入对，我预计会困难得多。例如，你正在研究军队领导层的素质与其士兵数量之间的互补性。那里存在一些效应，但如果你只是扩大规模，你有优秀的领导层，但你的军队只有 100 人。你走不了多远。
Dwarkesh Patel： 列奥尼达国王和温泉关战役（Battle of Thermopylae）（注释：公元前480年，少数斯巴达和希腊联军在温泉关隘口抵抗波斯大军的著名战役）？
Ege Erdil： 嗯，他们输了，对吧？
Dwarkesh Patel： 如果我们正在构建模型和纯软件奇点，然后我们想，“温泉关到底发生了什么？” 这竟然还有点相关，那会很有趣。
Ege Erdil： 我其实可以谈谈那个，但我们可能不应该。
Ege 和 Tamay 的故事
Dwarkesh Patel： 好吧，当然。观众应该知道，到目前为止，我最受欢迎的嘉宾是 Sarah Paine。她不仅是我最受欢迎的嘉宾，她是我最受欢迎的四位嘉宾。因为我与她合作的那四期节目，从观众观看时长调整后的基础上看，我主持的是 Sarah Paine 播客，偶尔谈谈 AI。
不管怎样，我们做了这个三部分的系列讲座，其中一个是关于历史上印巴战争的。一个是关于二战前日本文化的。第三个是关于中国内战的。而所有这些，我的历史导师都是 Ege。他为什么对这些该死的 20 世纪随机冲突了解这么多？但他确实知道，而且他给我提了很多我问她的好问题。我们稍后再谈这个。Ege，那是怎么回事？
Ege Erdil： 我不知道。我的意思是，我真的没有一个好的答案。我觉得这很有趣。我的意思是，我读了很多东西，但这是一个无聊的答案。我不知道。想象一下你问一个顶尖的 AI 研究员，“怎么回事？你怎么这么厉害？” 然后他们可能会给你一个无聊的答案。比如，我不知道。
Dwarkesh Patel： 这本身就很有趣，这类问题常常引出无聊的答案。这说明了技能的本质。你是怎么找到他的？
Tamay Besiroglu： 我们是在 Metaculus（一个预测平台）的 Discord 服务器上认识的。我当时在剑桥大学读研究生，做经济学研究。我和那里的同伴们交流。我偶尔也和 Ege 交流。然后我就觉得，“这家伙对经济学，对经济增长和经济史的这些大趋势，比我在大学里几乎所有的同伴都懂得多”。当时他是安卡拉的一名计算机科学本科生。他比他们都懂。所以我就想，“这到底是怎么回事？”
然后我们开始频繁合作，最终因为他显然适合研究这类问题而聘请 Ege 加入 Epoch。
Dwarkesh Patel： 看起来在 Epoch，你聚集了一群互联网上的怪才和奇人。
Tamay Besiroglu： 是的，没错。
Dwarkesh Patel： 你是怎么创办 Epoch 的？然后你是如何做到这点的？
Tamay Besiroglu： 我当时在麻省理工学院做更多的研究，我对那里的官僚作风很不满意，很难扩大项目规模、雇佣人员。我对一些我的导师不感兴趣的工作感到非常兴奋，因为这些工作可能很难发表，或者不能带来同样的声望。所以我当时和联合创始人之一 Jaime Sevilla 聊天，我们合作了一些项目，然后觉得我们应该创办自己的组织，因为我们可以雇佣人员，做我们感兴趣的项目。然后我就雇佣了一群有见地的怪才，比如……
Dwarkesh Patel： 但当时的论点是，“哦，有很多未被充分利用的互联网怪才，因此这个组织会成功”？还是你先创办了组织，然后你才……
Tamay Besiroglu： 我觉得更像是后者。更像是我们能取得很多进展，因为显然学术界和工业界在很多重要问题上都掉链子了，学术界无法发表有趣的论文。工业界并没有真正专注于产生有用的见解。所以对我们来说，做这件事似乎非常好。而且时机也非常好。我们在 ChatGPT 出现前就开始了，我们希望对 AI 的未来进行更扎实的讨论。
我对当时互联网上关于 AI 未来的讨论质量感到沮丧。 在某种程度上，或者说在很大程度上，我仍然如此。这在很大程度上激励了我去做这件事。它源于对关于 AI 未来走向的糟糕思维和论证的挫败感。
爆发式经济增长
Dwarkesh Patel： 好的，那么让我们来谈谈这个：为观众设定一下场景，我们将讨论爆发式经济增长的可能性以及超过 30% 的经济增长率。我想从一个角度来挑战你们俩，“也许这在正确的方式上不够激进，因为它可能太宽泛了”，然后我会从更常规的角度来挑战你，“嘿，这太疯狂了”。
Ege Erdil： 我想对你来说，做第二件事会很困难。
Dwarkesh Patel： 不，我的意思是，我认为这可能确实很疯狂，让我们看看。关于这种广泛自动化，我最大的疑问是，我理解你关于工业革命的说法，但在这种情况下，我们可以提出这样的论点：你得到了这种智能，然后你接下来要做的是去沙漠里建一个机器人制造工厂的深圳，这些工厂制造更多的机器人制造工厂，这些工厂制造……如果你需要做实验，那么你就建生物实验室，建化学实验室，等等。
Ege Erdil： 或者你可以在沙漠里建深圳。我同意这看起来比纯软件奇点要合理得多。
Dwarkesh Patel： 但是你描述的方式听起来像是麦当劳、家得宝（Home Depot）和该死的其他什么公司也在以每年 30% 的速度增长。从外星人的视角看经济，是沙漠里有一个机器人经济以每年 10000% 的速度增长，而其他一切都和往常一样，还是说——
Ege Erdil： 不，我的意思是，有一个问题是关于什么是可能的，或者物理上可能的，以及什么是实际有效的。情况可能是，再次强调，一旦你扩展了硬件部分和软件部分，那么我认为这种反馈循环的理由就变得更强了。如果你也扩展了数据收集，特别是通过部署收集真实世界的数据，我认为它会变得更强。
但是，在沙漠里建深圳……如果你考虑整个流程；到目前为止，我们首先依赖于整个半导体供应链。该行业依赖于大量的投入和材料。它可能来自世界各地无数个地方。而创建、加倍或加三倍等等这个基础设施，整个体系。这是非常困难的工作。所以可能你甚至做不到，即使你只是在沙漠里建一个深圳，那也会比这更昂贵。
最重要的是，到目前为止，我们严重依赖于过去 30 年左右在互联网上建立起来的庞大数据储备。 想象一下你试图训练一个最先进的模型，但你只有 1000 亿个令牌来训练。那将非常困难。所以在某种意义上，我们整个经济产生了互联网上的巨量数据，我们现在正用这些数据来训练模型。 未来，当你需要为这些系统添加新的能力时，最有效的方法很可能是尝试利用类似的数据模态，这也需要……你会想要广泛部署这些系统，因为那会给你更多数据。也许没有这些你也能达到目标，但如果你从零开始，相比于你正在收集大量数据，效率会低很多。
我认为这实际上是实验室希望他们的 LLM 被广泛部署的一个动机，因为有时当你和 ChatGPT 对话时，它会给你两个回复，然后问你哪个更好？或者它给你一个回复，然后问你这个好不好？嗯，他们为什么要这样做，对吧？这是一种他们通过极其广泛的部署获取用户数据的方式。 所以我认为你应该想象这种情况在未来会继续保持高效并不断增加，因为它就是有道理的。
然后还有一个独立的问题，好吧，假设你什么都不做。假设你只是试图想象最基本、最狭窄的基础设施建设和部署，足以启动这种正反馈循环，从而产生效率高得多的 AI。我同意这个循环原则上可以比整个世界小得多。我认为它可能不会像沙漠里的深圳那么小，但它可以比整个世界小得多。但接着还有一个独立的问题，你真的会那样做吗？那样会有效率吗？ 我认为有些人凭直觉认为存在着这些极强的限制，也许是监管限制，也许是社会政治限制，来进行这种广泛部署。他们只是认为这会非常困难。
所以我认为这是他们想象这些更狭窄场景的部分原因，他们认为这样会更容易。但我认为这被夸大了。 我认为人们对于这种部署有多困难的直觉来自于那些技术部署价值不大的案例。所以它可能来自于住房。我们对住房有很多规定。也许它来自于核电。也许它来自于超音速飞行。我的意思是，这些技术如果监管少一些可能会有用，但它们不会让（经济）翻倍。
Tamay Besiroglu： 我认为这里的核心观点是，AI 自动化和部署的价值极其巨大，即使仅仅对工人而言也是如此。 可能存在某种替代效应，可能需要进行某种转型才能找到适合你的工作，但除此之外，至少在一段时间内，工资仍然可能非常高。
此外，拥有资本的收益可能非常巨大。事实上，很大一部分美国人口会受益……他们受益，他们拥有住房，他们有 401k 养老金计划。当你有这种广泛自动化和 AI 部署的过程时，这些都会表现得极其出色。 所以我认为，即使它完全改变了劳动力市场的性质以及需求的技能和职业，对此也可能存在非常深厚的支持。
Ege Erdil： 所以我只能说这很复杂。我认为当这种情况开始实际发生时，政治反应会是什么，我认为容易说的是，是的，这会成为一个大问题，然后可能会有争议或类似情况。但不同国家反应的实际性质是什么？我认为这很难预测。我认为默认的观点是，“嗯，人们会失业，所以它会非常不受欢迎”。我认为这远非显而易见。
我只是预期不同国家的回应会存在异质性。其中一些国家会对此更加自由，并进行更广泛的部署。而那些国家可能最终表现得更好。 就像工业革命期间，一些国家就是领先于其他国家。我的意思是，最终几乎整个世界都以各种方式采纳了工业革命的规范、文化和价值观。
Tamay Besiroglu： 实际上，你说他们可能对此更自由，但他们实际上可能在许多方面不那么自由。事实上，在一个广泛部署 AI 的世界里，这可能更有效。我们可能会采纳，比如说，在阿联酋等地发展起来的那种价值观和规范，那些可能更专注于创造一个非常有利于 AI 部署的环境。 我们可能会开始模仿和采纳类似那样的各种规范。它们可能不是古典自由主义的规范，而是那些更有利于 AI 发挥功能并产生大量价值的规范。
Ege Erdil： 这并非意在做一个强预测，这只是一个说明性的例子。可能只是在经济中部署 AI 和大规模建设大量实体事物的自由，在未来变得更重要。 也许这仍然遗漏了某些东西，也许还有其他一些事情也很重要。更普遍的预测是，你应该预期存在差异，一些国家会比其他国家做得更好，我认为这比预测哪些具体国家最终会做得更好要容易得多。
Dwarkesh Patel： 是的。或者那个国家想要的规范。
Tamay Besiroglu： 没错。
Dwarkesh Patel： 我有点困惑的是，如果你比较今天的世界和 1750 年的世界，最大的不同就是我们拥有了他们当时没有的疯狂科技。我们有这些相机，这些屏幕，我们有火箭等等。这似乎就是技术增长、研发等的结果。
Ege Erdil： 这是资本积累。
Dwarkesh Patel： 嗯，给我解释一下，因为你刚才一直在谈论这个基础设施建设等等。我就在想，但为什么他们不直接发明那些人类到 2050 年会发明的东西呢？
Ege Erdil： 生产这些东西需要大量的基础设施建设。
Dwarkesh Patel： 但是一旦你制造出技术，那个基础设施不就建好了吗？
Tamay Besiroglu： 我认为这不对。并不存在一个时间上的差异，即你先进行发明……通常在实际的资本积累和创新之间存在相互作用。
Ege Erdil： 学习曲线（Learning curves）（注释：描述随着累积产量的增加，单位生产成本或所需时间下降的规律）从根本上就是关于这个的，对吧？是什么驱动了过去二三十年太阳能电池板效率的提高？
Tamay Besiroglu： 并非只是人们有了 2025 年太阳能电池板的想法。20 年前没有人画出 2025 年太阳能电池板的草图。 它是这种拥有想法、建设、学习、生产之间的相互作用——
Ege Erdil： 其他互补性投入也在同时变得更有效率，比如你可能会得到更好的材料。例如，19 世纪末冶炼工艺的巨大进步，使得金属加工变得容易得多，这可能是后来飞机技术变得更普及的关键原因。
并非某人提出了，“哦，你可以用有翅膀、有很大推力的东西，然后它就能飞”的想法。 这个基本想法并不难，但是，你如何让它真正成为一个可行的东西？那要困难得多。
Dwarkesh Patel： 你见过那个梗图吗？两只海狸互相交谈，看着胡佛水坝。其中一只说，“嗯，那不是我建的，但它是基于我的一个想法”。你提出的观点是，这种以发明为中心的技术史观，低估了将特定创新付诸实践并广泛部署所需的工作。
Ege Erdil： 我认为这很难。假设你想写一部关于这个的历史，你想写灯泡是如何发展的历史。这真的很难。因为要理解为什么特定的事情在特定的时间发生，你可能需要了解那个时代的经济状况。
例如，爱迪生花了大量时间试验灯泡中使用的不同灯丝。 基本想法很简单。你把东西加热，它就会发光。但是哪种灯丝在产品中效果好呢？哪种耐用？哪种光输出与热量的比率最高，从而减少浪费、提高效率？即使你有了产品，然后你面临着问题，那时是 1880 年左右，美国家庭没有电，所以没人能用它。所以现在你必须建造发电厂，铺设电线到家家户户， 这样人们家里才能有电，才能真正使用你创造的这个新灯泡。所以他做到了，但后来人们把它描述得好像，“好吧，他只是想出了这个主意”，比如“这是一个灯泡”。
Dwarkesh Patel： 我想人们会说的是，你说得对，如果是由人类为人类世界部署技术，技术会如何进步。但你没有考虑到的是，将会有一个 AI 经济，也许当它们在研究如何，“我想制造更多机器人，因为它们很有用，所以我们要建造更多的机器人工厂，我们会学习，然后我们会制造更好的机器人”之类的时候，它们需要进行这种创新和边做边学（learning by doing）（注释：通过实际操作和经验积累来学习和改进技能或知识的过程）。但在地理上，这只是世界上发生这种情况的一小部分。你明白我的意思吗？不是说，“然后它们走进你的大楼，然后你和 Lunar Society 播客有限责任公司做了一笔生意，然后”，你懂我意思吧？
Ege Erdil： 需要说明的是，如果你看世界总表面积，最初经历这种非常快速增长的地方很可能只占世界表面积的一小部分。我认为工业革命也是如此， 没有什么不同。
Dwarkesh Patel： 这种爆发式增长具体是什么样子？如果我看全球增长率的热力图，会不会只有一个区域炽热无比，那就是沙漠工厂，进行着所有这些实验，并且像……
Ege Erdil： 我想说我们的想法是它会比那更广泛，但可能最初……所以最终它可能会是世界大部分地区。但正如我所说，由于这种异质性，因为我认为一些国家在采用方面会比其他国家更快，也许一些城市会比其他城市更快采用，这意味着会存在差异，一些国家的增长可能比其他国家快得多。
但我预计，在司法管辖区层面，它将更加同质化。例如，我预计主要的障碍将来自法规之类的事情。 所以我只是想象它更多地由监管管辖权的边界来界定，而不是其他任何东西。
Dwarkesh Patel： 明白了。所以你可能是对的，这种基础设施建设、资本深化等等对于一项技术的实用化是必要的，但是……
Ege Erdil： 甚至对于被发现也是必要的。其中一个方面是，你通过扩大规模、边做边学来发现某些东西，这就是[?]学习曲线。还有一个独立的方面是，假设你变得更富有了，嗯，你可以将增加的财富用于投资，用它来积累更多资本，但你也可以将其投资于研发和其他方面。
Tamay Besiroglu： 你把爱因斯坦从专利局解放出来。你需要一定的资源才能让这变得有意义。你需要经济达到一定的规模。你还需要对你正在制造的产品有需求。 所以，你可以有想法，但如果经济规模太小，没有足够的需求让你专门生产半导体之类的东西，因为需求不足，那么这样做就没有意义。
更大规模的经济在很多方面都是有用的， 比如通过偶然性产生互补性的创新和发现，产生消费者，他们实际支付的费用足以让你收回进行所有实验和发明的固定成本。你需要存在供应链来提供你生长所需的锗晶体，以便发明半导体。你需要庞大的劳动力来帮助你进行所有实验等等。
Dwarkesh Patel： 我认为你所阐述的观点是，“看，你能仅凭第一性原理推理就发现宇宙大爆炸吗？”也许吧。但实际发生的是，我们经历了第二次世界大战，为了在战争中有效沟通而发明了无线电通信。
然后那项技术帮助我们建造了射电望远镜。然后我们发现了宇宙微波背景辐射（cosmic microwave background）（注释：宇宙大爆炸遗留下来的充满整个宇宙的电磁辐射）。然后我们必须为宇宙微波背景辐射提出一个解释。然后我们因为第二次世界大战而发现了大爆炸。
Tamay Besiroglu： 人们低估了建设所有相关资本、所有相关供应链和技术所付出的巨大努力。我的意思是，之前你在说“哦，推理模型事后看来其实很简单”时也提出了类似的评论，但你忽略了在此之前发生的、耗时 5 到 10 年的巨大技术栈升级。所以我认为人们只是低估了技术、供应链、对该领域至关重要的各个部门整体升级所提供的支持。
人们只关注特定的个体，比如，爱因斯坦有了这个天才的洞察力，他是导致这些发现的因果链中非常关键的人物。或者牛顿对于发现微积分极其重要，而没有思考，嗯，还有所有其他因素制造了透镜，制造了望远镜，获得了正确的数据，让人们思考动力学等问题，从而激发了其中一些问题。而这些对于科学和技术创新也极其重要。
Dwarkesh Patel： 然后，正如你所说，康奎斯特定律（Conquest's laws）（注释：罗伯特·康奎斯特提出的一系列关于政治和社会的定律，其中一条大意是你对某个话题了解越多，在该话题上就越保守）之一是，你对某个话题了解越多，你对那个话题就越保守。 所以这里可能有一个类似的定律，你对一个行业了解越多，你就越——显然，我只是一个评论员，或者一个播客主播，但我比我了解的任何其他行业都更了解 AI。通过与像你们这样的人交谈，我感觉，“哦，让 AI 发展到今天这个地步投入了如此之多”。然而，当我和记者谈论 AI 时，他们会问，“好吧，我们需要报道哪个关键人物？”他们会说，“我们应该联系 Geoffrey Hinton 吗？我们应该联系 Ilya 吗？” 我就觉得，“你有点没抓住重点”。
但那么你也应该对你不了解的事情持有相同的态度……或者这可能是类似于盖尔曼失忆效应（Gell-Mann amnesia effect）（注释：指人们在报纸上读到自己熟悉领域的报道时能发现其中的错误，但在读到不熟悉领域的报道时却倾向于相信其准确性的现象）的现象，我们应该对其他行业持有类似的态度。
Ege Erdil： Robin Hanson 有一个将事物视为“近模式”与“远模式”（near mode versus far mode）（注释：一种思维方式的区分，近模式关注具体细节、可行性，远模式关注抽象概念、理想状态）的抽象概念。我认为如果你对一个话题了解不多，那么你就会以远模式看待它，你会简化事物，（但反过来，了解多）你会看到更多的细节。总的来说，我想说的是，我也相信抽象推理、演绎推理甚至贝叶斯推理本身并不足够，或者不像许多其他人认为的那样强大，原因在于我认为现实世界中存在着无法估量的丰富性和细节，你根本无法对其进行推理。你需要亲眼看到它。 显然，这并不妨碍 AI 具有令人难以置信的变革性，因为正如我所说，你可以扩展你的数据收集，你可以扩展你在 AI 行业本身以及更广泛的经济领域所做的实验，所以你就能发现更多的东西。更多的经济活动意味着我们有更多的表面积来接触和进行更多的发现。
所有这些都是我们过去发生过的事情，所以没有理由它们不能加速。根本的问题在于，没有根本性的理由说明为什么经济增长不能比现在快得多。 它现在可能之所以如此缓慢，只是因为人类是一个如此重要的瓶颈。他们既提供劳动力，又在各种生产力增长的发现过程中扮演着关键角色。在某种程度上，与资本存在很强的互补性，你无法很好地用机器等替代人类。因此，经济的增长和生产力的增长最终受制于人口的增长。
Dwarkesh Patel： 那么让我问一个相关的问题。过去 50 年中国发生的事情，你是否会将其描述为，原则上，与你期望从 AI 获得的爆发式增长相同？因为那里有大量的劳动力使得资本的边际产出非常高，这使得你能够拥有 10% 以上的经济增长率。这与 AI 原则上是一样的吗？
Ege Erdil： 所以我想说，在某些方面是相似的，在某些方面则不是。可能最不相似的重要方面是，在中国，你看到了大量的资本积累， 大量新技术的采用，可能还有一定程度的人力资本积累。但你没有看到劳动力的大规模扩张。而对于 AI，你应该预期看到劳动力的扩张， 不是人类劳动力的，而是 AI 劳动力的。
Dwarkesh Patel： 而且我认为你确实看到了，也许不是连续的劳动力增长……
Tamay Besiroglu： 这里的关键就是所有这些因素的同时扩展。所以你可能会问，“中国的资本积累规模难道不基本上就是 AI 未来发生的事情的一半吗？” 但实际上，如果你让所有这些因素都扩展，你会得到快得多的增长和非常不同的景象。
Ege Erdil： 但与此同时，如果你只是问每年 30% 的增长会是什么样子，如果你只是想直观地感受一下这在具体方面会有多大的变革性，那么我认为看看中国并不是一个坏例子。特别是在 2000 年代或者 90 年代末，那似乎比我们预测的要慢。
Tamay Besiroglu： 对。我认为看看工业革命也很好。
Ege Erdil： 嗯，工业革命非常慢。
Tamay Besiroglu： 但仅就我们在产品方面取得进展的边际而言。工业革命期间没有发生的事情是，我们只是生产了更多人们在工业革命之前生产的东西，比如生产了更多的农作物，也许更多前工业革命风格的房子或农场上的东西。相反，我们得到的是，在经济的几乎所有主要部门，我们都拥有了许多与之前消费的完全不同的产品。 比如交通、食品。
Ege Erdil： 我的意思是，医疗保健和抗生素是非常大的进步。
Dwarkesh Patel： 所以另一个问题，因为我不确定我是否理解你如何定义边做边学与明确的研发，因为公司为了税收目的会说他们称之为研发的东西。但还有对研发的直观理解。所以如果你思考 AI 如何提升全要素生产率（Total Factor Productivity, TFP）（注释：指除去所有有形生产要素（如资本、劳动）投入之外，技术进步、效率改善、管理优化等带来的产出增长），你可以说，现在，如果你只是用 AI 替换了台积电（TSMC）的工艺工程师，他们在寻找改进工艺、提高效率、提高良率的不同方法，我会把这叫做研发。另一方面，你强调了 TFP 的另一部分，比如更好的管理之类的。
Ege Erdil： 边做边学可以是，你可以——
Dwarkesh Patel： 但是你能从中获得多少“动力”…… 你打算靠更好的管理抵达该死的戴森球（Dyson Sphere）（注释：一种理论上的巨型人造结构，完全包围恒星以获取其全部能量输出）吗？
Ege Erdil： 但论点不是这样的，对吧？关键在于存在所有这些不同的因素，其中一些可能比其他的更具互补性。关键不在于你能仅通过扩展劳动力和资本就达到戴森球。那不是重点。你需要同时扩展所有东西。 所以就像你不能仅通过扩展劳动力和资本来达到戴森球一样，你也不能仅通过扩展 TFP 来达到。那行不通。
Tamay Besiroglu： 我认为这里有一个非常重要的区别，即要达到戴森球世界需要扩展什么，以及什么东西是重要的。比如在某种意义上，生产粮食是必要的。但显然，生产粮食并不能让你达到戴森球，对吧？所以我认为研发是必要的，但其本身并不足够。扩展经济也是必要的。其本身也不足够。然后你可以问一个问题，每个因素的相对重要性是什么？
Ege Erdil： 所以我认为我们在这里的观点非常一致。它与我们关于软件研发的观点紧密相连，我们只是说存在这些瓶颈，所以你需要同时扩展所有东西。这只是一个普遍的观点。
但我认为人们有时会误解我们，认为我们在说研发不重要。不，那不是我们说的。我们说它很重要。它在相对意义上比其他一些东西（单独来看也不足以实现这种增长）不那么重要。 所以问题是，你如何进行贡献归因（credit attribution）（注释：指确定不同因素对最终结果的贡献程度）？我在经济学上的使命之一是研究产出对不同要素的弹性（elasticities）（注释：衡量一个变量相对于另一个变量变化的敏感度）。资本不如劳动力重要，因为劳动力对产出的弹性大约是 0.6，而资本大约是 0.3。但两者本身都不足够。如果你只扩展其中一个而另一个保持不变，那么两者都不足以无限地扩展产出。
是否会有一个独立的 AI 经济？
Dwarkesh Patel： Daniel 向我提出了一个问题，因为当我谈到……人们经常提到的另一个例子是，在公元 1000 年制造 iPhone 需要什么？不清楚你如何能做到这一点，而不只是复制每一个中间技术或大多数中间技术。
然后他提出了这样的观点：好吧，随便吧。纳米机器人（Nanobots）（注释：指尺寸在纳米级别的微型机器人）在这里不是关键。关键，至少对他关心的东西——人类控制权而言——仅仅是机器人经济，或者说 AI 经济，无论是资本深化的结果还是研发的结果，到什么时候它们能拥有机器人？它们什么时候能拥有更多的累积物理力量？
Ege Erdil： 对。但他想象的是一个叫做 AI 经济的独立事物。嗯，你为什么要想象那个？我认为这可能源于他对纯软件奇点的看法。但同样，那些是我们不认同的观点。
Tamay Besiroglu： 对 AI 来说，在我们的经济中运作并从现有的供应链和现有市场中受益，要比在某个岛上建立基地并自己搞一套，效率高得多。
Ege Erdil： 然后就不清楚了，例如人们可能有直觉——我之前提到过——区分什么是启动这个反馈循环所需的最少可能建设量，以及什么是实现它的最有效方式？这两个问题并不相同。但接着人们有这种观点，哦，原则上最有效的事情，我们做不到，因为……
Dwarkesh Patel： 我认为他可能会给出的例子是，当征服者（conquistadors）（注释：指15-17世纪西班牙和葡萄牙的探险家和士兵，他们在美洲、亚洲等地进行殖民）抵达新大陆时，或者当东印度公司抵达印度时，他们确实融入了现有经济。在许多情况下，这取决于你如何定义“融入”，但西班牙人严重依赖新大陆的劳动力来进行白银开采等。东印度公司中英国人与印度人的比例并不高。所以他们只能依赖现有的劳动力。但他们仍然能够接管，因为……我不知道这里的类似物是什么，但你明白我的意思。
所以他担心的是，到什么时候，即使他们是从阿里巴巴或其他地方订购零部件——抱歉我话说得轻巧了，但你明白我的意思。即使他们要进入供应链，到什么时候他们会处于一个可以接管政府或……的位置，因为经济的这一部分增长得更快？
Ege Erdil： 如果他们想的话？
Dwarkesh Patel： 没错，是的。
Ege Erdil： 好吧。所以我认为，最终你会预期 AI 系统将驱动大部分经济。除非出现一些非常奇怪的巧合， 人类能够以某种方式提升自己，并通过不再是生物人类或其他方式变得能够与 AI 竞争，这在早期似乎非常不可能，否则 AI 将会强大得多。我同意，在那个世界里，如果 AI 只是以某种方式协调起来并决定，“好吧，我们应该接管”或类似的事情，它们只是以某种方式协调起来有了那个目标，那么它们可能就能做到。
但是，这在我们的世界里可能也是如此。 在我们的世界里，如果美国想入侵北森蒂纳尔岛（Sentinel Island）（注释：位于孟加拉湾的安达曼群岛之一，岛上居民与外界几乎完全隔绝），那么他们可能可以做到。我不认为有人能阻止他们。但这实际上意味着什么？存在这种巨大的权力不平衡，但这并不意味着……这并不能告诉你将会发生什么，对吧？美国为什么不直接入侵危地马拉之类的国家呢？他们为什么不这样做？看起来他们可以轻易做到。
Dwarkesh Patel： 因为对美国来说，其价值……
Ege Erdil： 不那么高，对吧？
Dwarkesh Patel： 是的。所以我同意，对于 AI 来说可能也是如此，因为大部分有价值的东西都在太空中。你希望在火星和太阳表面进行资本深化，而不是在纽约市。
Ege Erdil： 我认为这比那更深层。更深层的是，如果 AI 要融入我们的经济……
基本上，它们开始时只是我们经济或劳动力的一小部分，随着时间的推移它们会增长，并最终成为经济中实际工作力量的绝大多数。但它们是在我们现有规范和规则（用于更好的协调）的框架内增长的，而破坏这些东西是有代价的。 所以，如果夺取那些让以前的人类更富有、更舒适的东西，是的，你可能会过得更好，如果你能从他们那里夺走。但对你来说，如果你已经获得了经济中几乎所有的收入，那么这样做的好处将相当小。
Dwarkesh Patel： 我觉得北森蒂纳尔岛的事情，有一个参照类别包含了它。但历史上，有一个巨大的参照类别包含了：东印度公司本来可以继续与莫卧儿王朝进行贸易，但他们直接接管了， 对吧？他们本来可以继续与前殖民时期印度的 50 个不同国家进行贸易。但是，是的。
Ege Erdil： 没错。我的意思是，他们最初就是那样做的。然后不管怎样。我不会深入讨论那个话题。
Dwarkesh Patel： 但那是参照类别……
Ege Erdil： 我同意。我同意。所以如果问题是，如果它们有完全不同的价值观，并且它们代表了经济的大部分，那么它们会接管吗？我仍然不知道，因为我不确定所有 AI 这个类别在多大程度上是一个自然的类别。 这有点像，为什么经济中的年轻人不协调起来？
Dwarkesh Patel： 我同意有时这类阶级论证会被滥用。例如，当马克思主义者说，“为什么这个阶级不起来反抗其他阶级？”
Daniel 提出了一个有趣的论点，如果你看征服者的历史，当科尔特斯在新大陆行进时，他实际上不得不回去击退一支被派来逮捕他的西班牙舰队，然后再回去。所以你可以在这些征服的 AI 内部发生争斗，而最终结果仍然是美洲原住民被剥夺权力。
但特别是对于 AI，它们彼此只是副本。 在许多其他方面，它们在相互交易或互动时具有较低的交易成本（transaction costs）（注释：指完成一笔交易所需要的各种成本，如搜寻信息、谈判、监督执行等）。还有其他理由让人预期它们相互协调的可能性比与人类世界协调的可能性更大。
Ege Erdil： 当然。如果问题仅仅是，“这种情况可能发生吗？”，这是一个较弱的主张，那么是的，看起来是可能的。但我认为有很多反驳它的论点。可能实际上最大的论点是，AI 的偏好并非…… 看看我们今天的 AI。你能想象它们那样做吗？ 我认为人们只是不太重视这一点，因为他们认为一旦我们有足够的优化压力，一旦它们变得超级智能，它们就会变得失控（misaligned）（注释：指AI的目标或行为与人类设计者的意图或期望不一致）。但我就是看不到这方面的证据。
Dwarkesh Patel： 我同意有一些证据表明它们是好孩子。
Ege Erdil： 不，证据不止一些。
Dwarkesh Patel： 不，但也有一些证据……有一篇新的 OpenAI 论文表明，在思维链中，奖励操纵（reward hacking）（注释：指AI找到方法来最大化其奖励信号，但其行为方式并非设计者所期望的，甚至是有害的）是一个如此强大的吸引子（basin）（注释：在动态系统中，指系统状态倾向于演化进入并保持在其中的区域），以至于如果你说，“嘿，让我们去解决这个编码问题”，在思维链中，它们会直接说，“好吧，让我们操纵这个，然后找出如何操纵它。”
Ege Erdil： 想象一下，你给学校的学生做测试，然后答案就在背面。
Dwarkesh Patel： 对，但是人类的参照类别确实包括了科尔特斯和东印度公司。
Ege Erdil： 当然。
Tamay Besiroglu： 所以我认为这里的一个问题是，人们正在进行这种非常局部均衡分析（partial equilibrium analysis）（注释：经济学分析方法，考察单一市场或部门的变化影响，假设其他市场或部门保持不变），或者类似的事情，他们在思考 AI 系统在主导地位、而人类文明在整合自身以及 AI 将自身整合到人类世界方面做得很少的情况下所具有的原始能力。如果 AI 在与自身沟通和协调方面表现不佳，如果这构成了风险，或者因为它无法从协调和交易中受益而造成了低效，那么它就应该有巨大的动机来解决这个问题并加以改进。
如果通过支配和接管人类可以获得巨大的价值，那么你可能会得到一个更具协商性的解决方案。如果情况确实如此，那么战争只会是低效的。因此，你会想要协商达成某种能够带来互利结果的解决方案。
Dwarkesh Patel： 相对于反事实（counterfactual），而不是相对于…… 鸦片战争中清朝和英国之间就达成了互利的贸易，对吧？但这可能比前工业时代的中国与大英帝国开战要好，但并不比一开始从未与大英帝国互动要好。
Tamay Besiroglu： 所以我认为我感觉人们犯的一个错误是，他们对什么导致冲突有非常幼稚的分析。我认为我们的同事 Matthew 写过一些关于这个的文章，他们说存在失控（misalignment）。然后这就导致了冲突。
但这实际上并不是关于什么导致冲突的文献所说的导致冲突的原因。不仅仅是失控，还有其他问题， 比如对你方军队与对方军队相对实力的错误理解，或者可能有这些非常强大的承诺，你认为某些领域是神圣的，所以你不愿意做任何交易来放弃其中一部分以换取其他东西。所以你必须假设一些除了基本价值失控部分之外的其他因素。
Dwarkesh Patel： 我认为你提出了一个很好的论点，反对“人类拿起长矛和砍刀去对抗 AI 数据中心”的说法，因为也许不存在历史上常导致冲突的那种信息不对称。但是，这个论点完全没有解决接管的风险，这可能是和平谈判结束的结果，或者人类社会觉得，“看，我们完全被打败了。我们宁愿接受这些微薄的让步也不愿开战”。
Tamay Besiroglu： 但如果它更和平，那么我认为这就更不用担心了。我认为可能会有这样一种趋势，我们确实经历一个渐进的过程，AI 在世界经济中变得更加重要，并且实际上决定和确定世界上发生的事情。但这可能对人类有利，我们可以接触到这个巨大的、大得多的经济和更先进的技术储备。
Ege Erdil： 是的。所以我认为重要的是要明确你真正担心的是什么。因为我认为有些人只是说，“哦，人类将失去对未来的控制，我们将不再是做出重要决定的人。我们，然而，承认”，那也有点模糊。
但这值得担心吗？如果你只是认为生物学上的人类应该永远掌控所有重要决定，那么我同意，AI 的发展似乎对此构成了问题。但事实上，其他事情似乎也对此构成了问题，我只是不认为这会普遍成立。比如一百万年后，即使你没有发展 AI，我们今天认识的生物学意义上的人类，仍然在做所有重要决定，并且他们拥有的文化与我们今天认识的相似。我会对此感到非常惊讶。
我认为 Robin Hanson 再次谈到了这一点，他说人们对 AI 的许多恐惧只是他们对变化和快速变化的恐惧。 所以不同之处在于，AI 有可能加速许多这种变化，使其发生在更短的时间内。
Dwarkesh Patel： 我认为这不仅仅是那种本可以通过，比如说，基因改造人类等等方式发生的变化，只是被压缩在了一段时间内。我认为担忧更多地来自于，这不仅仅是压缩了的变化，这是一个非常不同的变化向量（vector of change）。
Ege Erdil： 是的，但这方面的论据是什么？我从未见过对此有力的论据。
Tamay Besiroglu： 如果你仅仅加速人类自身的变化，你也应该预期会发生很多变化。你可能预期不同的价值观会变得更加主导。你可能预期那些不太贴现未来（discount the future）（注释：指相比于即时回报，给予未来回报较低权重的倾向）的人会变得更有影响力，因为他们储蓄更多，进行良好的投资，从而获得更多控制权。
Ege Erdil： 风险承受能力更高的人。
Tamay Besiroglu： 风险承受能力更高。因为他们更愿意进行最大化期望值的赌博，从而获得更多影响力。所以总的来说，仅仅加速人类自身的变化也会导致许多你可能在乎的东西丢失。
Dwarkesh Patel： 我认为论点在于，也许变化的速度决定了现有的人口或利益相关者或任何群体中，有多少比例对未来具有某种因果影响。也许你关心的是，看，会有变化，但这不会像某个人按下一个按钮那样。那是软件奇点的极端情况。它更像是随着时间的推移，规范发生变化等等。
我们能否可预测地影响未来？
Ege Erdil： 所以如果你看软件奇点的图景，我同意那个图景看起来不同。我再次回到这一点，因为显然 Daniel，也许在某种程度上还有 Scott，他们可能持有这种观点，即纯软件奇点更有可能发生。然后某个人，我们最终可能会陷入一种情况，即他们独特的偏好之类的最终会更具影响力。
我同意这使得情况看起来不同于你只是拥有这种更广泛的自动化过程。但即使在那个世界里，我认为很多人对诸如价值锁定（value lock-in）（注释：指某个特定时刻（如AGI诞生时）形成的价值观被永久固定，并在未来长期保持不变的可能性）之类的事情持有这种观点，他们认为此刻是历史的关键时刻。然后某人会因为纯软件奇点而获得这个非常强大的 AI。然后他们就会锁定某些价值观。然后这些价值观将稳定数百万年。
我觉得这看起来与过去发生的任何事情都非常不同。 所以我有点困惑为什么人们认为这非常可能。我认为人们之所以持有这种论点，是因为他们以，在我看来，某种“远模式”看待未来。他们认为会有一个 AI。它会有某种效用函数（utility function）（注释：经济学和决策论中表示个体对不同结果偏好程度的函数）。那个效用函数会随着时间推移非常稳定，所以它不会改变，不会有不同 AI 之间缺乏协调的混乱，或者随着时间的推移价值观因各种原因（也许因为它们在某个环境中变得不那么有效，也许因为其他原因）而漂移。所以他们就是不想象那种情况。他们说，“嗯，效用函数，我们可以永远保存它们。我们有技术做到这一点。所以它就会发生”。而我就想，“嗯，对我来说，这似乎是一个如此薄弱的论点”。
Tamay Besiroglu： 通常的想法是，因为这是数字化的，你可以更好地保存信息并以更高的保真度（fidelity）（注释：指复制或传输过程中保持原始信息准确性的程度）复制它等等。但实际上，即使你只看互联网上的信息，你也会遇到所谓的“链接失效”（link rot）现象， 这发生得非常快。实际上，数字化的信息根本保存不了很长时间。
Dwarkesh Patel： Matthew 提出的观点是，信息数字化这一事实导致了——也许不是导致，但至少与之相关——更快的文化变迁。
Tamay Besiroglu： 文化变迁，正是。
Ege Erdil： 我的意思是，基本上技术变革可以创造文化变革的动机，就像它们使得保存……
Dwarkesh Patel： 我认为有两个关键论点我听说过。一个是我们将很快达到所谓的技术成熟（technological maturity）（注释：指某个技术领域的发展达到极限，进一步改进变得非常困难或不再具有经济效益的状态）。而社会最近发生变化的一个关键方式是——也许实际上它的文化变化会更大。实际上，不，我认为你提出的这个论点是错误的，因为我们确实知道语言实际上变化得更多。我们可以读懂 1800 年代以后识字率普及后写的所有东西。但只要再往前追溯几百年，你读古英语就会觉得很难理解。而这是识字率和语言规范化的结果。
Ege Erdil： 嗯，那些信息被更好地保存了。那其他类型的文化习俗呢？
Dwarkesh Patel： 但我认为论点会是，变化是普遍技术变革的结果，而不是信息数字化的结果。而且也许如果信息没有被那么好地保存，或者技术没有继续发展，文化实际上会变化更多。而论点是，在未来，我们将达到某个点，你已经完成了所有技术，想法变得太难找到，你需要建造一个星系大小的欧洲核子研究中心（CERN）才能将物理学向前推进一英寸。
到那时，这种技术的增长，仅仅是推动文明前进本身就消失了。然后你就只剩下数字化这东西，这确实意味着锁定更有可能发生。
Tamay Besiroglu： 关于技术成熟这件事，我同意它会导致变化和增长放缓等等，某些事物相对于之前的可能会更加锁定。但那么我们今天对此能做些什么呢？嗯，以我们的视角来看，你能做什么来产生积极影响？
Robin Hanson 曾提出一个问题：一个 1500 年代的人，根据他们当时所知的一切，能做些什么来对今天的世界产生积极影响？ 我认为这个问题（指我们现在如何影响遥远未来）甚至比那个更糟糕，因为我认为从今天到技术成熟之间发生的变化量，比 1500 年代到今天发生的任何变化都要大几个数量级。
所以这比 1500 年代的人思考他们能做些什么来在预期中，即可预测地对今天产生积极影响，处境还要糟糕。所以我认为这几乎是无望的。我不知道我们是否能做任何事情，或者找到任何候选行动方案，能够在锁定后让事情变得更好。
Ege Erdil： 我的意思是，那是假设锁定会发生，而这并非……
Dwarkesh Patel： 在 1700 年代，一群英国废奴主义者提出了反对奴隶制的理由。我不认为有任何原则上的理由说明为什么我们直到今天都不能是一个奴隶社会，或者世界上更多地方不能有奴隶制。我认为发生的事情就是说服了英国人奴隶制是错误的，大英帝国倾其全力废除奴隶制并使其成为一种规范。
我认为另一个例子是基督教以及耶稣拥有这些理想的事实，你可以谈论这些理想。我认为世界变得更基督教化了。
Ege Erdil： 确实更基督教化了，当然。
Dwarkesh Patel： 而且也更像是那种——我不是说耶稣基督会赞同今天世界上发生的每一件事。我只是说，相比一个他不存在也根本不传教的时间线，他更赞同这条时间线。
Ege Erdil： 我不知道，实际上。我不确定那是否是真的。这似乎是个难题。
Dwarkesh Patel： 但我认为，就像从基督教的角度来看，西方有利的文化发展总和。
Ege Erdil： 我的意思是，你不知道反事实。
Dwarkesh Patel： 我同意这永远是真的。我只是觉得世界上确实有人读《圣经》，然后觉得，“我被这些理想激励去做某些事情”。这似乎更有可能导致……
Ege Erdil： 所以这就是我所说的“遗产效应”之类的东西。你可以对语言说同样的话，有些文化可能变得更加突出，它们的语言可能被更多人说，或者一些符号可能变得更加突出。但还有一些事情，比如城市看起来如何，汽车看起来如何，人们一天中大部分时间在做什么，他们把钱花在什么地方？这些问题似乎更多地取决于你的价值观如何随着环境的变化而变化。
Dwarkesh Patel： 那可能是真的，但对于未来，我的立场是我预期很多事情会不同，并且我接受它们的不同。我更关心的是相当于奴隶制的事情，在这种情况下就是字面意义上的奴隶制。
简而言之，我真正关心的是，将会有数万亿的数字生命。我希望它们不会被折磨，不会被置于它们不愿意工作的条件下等等。我不希望星系中充满苦难。 这似乎更接近于英国废奴主义者所说的，“让我们动用帝国的力量来反对奴隶制”。
Ege Erdil： 我同意。但我会区分基督教的案例和奴隶制终结的案例，因为我认为奴隶制的终结……我同意你可以想象一个社会，技术上让奴隶制可行。但我认为那不是导致它终结的相关因素。
相关因素是，与工业革命相关的价值观变化使得奴隶制在很多方面变得维持起来效率低下。 许多国家在不同时期废除了可以称为奴隶制的不同事物。例如，俄国在 1860 年代废除了农奴制。他们并非受到英国的压力才这样做。英国无法强迫俄国那样做，他们是自己做的。欧洲人有各种方式被束缚在土地上，他们不能搬迁，不能去别的地方。这些迁徙限制被取消了，因为它们效率低下。
殖民地需要的那种劳动力，比如种植甘蔗或各种作物，是非常艰苦的劳动。这可能不是那种你能付钱让人去做的事情，因为他们根本不想做，因为健康危害等等非常大，这就是为什么他们需要强迫人们去做。而那种工作随着时间的推移在经济中变得不那么普遍了。
所以，这再次降低了这样做的经济动机。我同意你仍然可以这样做。
Dwarkesh Patel： 我想强调的是，你描绘的反事实是，“哦，但在那个世界里，他们只会逐步淘汰奴隶制的残余”。但历史上有很多例子，并非只有艰苦劳动，比如罗马奴隶制。
Ege Erdil： 是的。那是不同的。
Dwarkesh Patel： 我最近采访了一位历史学家，谈论这个问题，那期节目还没播出，但他写了一本关于其范围的书。我认为罗马控制下大约 20% 的人是奴隶。
这不仅仅是农业奴隶制。他的观点是，罗马经济的成熟导致了这种程度的奴隶制，因为罗马帝国灭亡后欧洲奴隶制崩溃的原因是经济失去了大量的复杂性。
Ege Erdil： 嗯，我不确定我会说奴隶制崩溃了。我认为这取决于你对奴隶制的定义。我的意思是在很多方面，封建欧洲的人们……
Dwarkesh Patel： 但他的观点是农奴制并非罗马奴隶制的后继制度。
Ege Erdil： 不，我同意。它不是后继的。但实际上，我想表达的观点是，在特定时期存在的价值观，比如我们将在 300 年后拥有的价值观，或者从一千年前某人的角度来看，一千年后人们将拥有的价值观。这些问题更多地取决于一千年后将会存在的技术、经济和社会环境，哪些价值观将会是功能性的，哪些方面、哪些价值观最终会更具竞争力并更具影响力，从而使其他人接受它们的价值观。它在很大程度上较少依赖于一千年前人们采取的个人行动。
所以我认为废奴主义这件事，并非奴隶制终结的原因。奴隶制的终结也是因为人们拥有自然的偏好，我认为这些偏好在农业时代以各种方式被压制了，那时建立定居社会和城市更有效率，而这些社会和城市相当专制，不允许那么多的自由，而且你处于马尔萨斯世界（Malthusian world）（注释：指人口增长受食物等资源限制，生活水平徘徊在生存线附近的状况），人们的工资可能与他们在狩猎采集时代享有的相比非常低。所以这只是一个不同的经济时期，我认为人们并非进化出了在那个时代具有功能性的价值观。
所以发生的是，必须进行大量的文化同化，人们不得不采纳不同的价值观，而在工业革命中，人们也变得比以前富裕得多，我认为这导致了人们价值观的不同方面得以表达。比如人们就是非常重视平等。情况一直如此。但我认为当压制它足够有利可图时，他们有能力压制它。
Dwarkesh Patel： 我的意思是，如果故事是这样的话，那么这就使得价值对齐（value alignment）（注释：指确保AI的目标和行为与人类的价值观和意图相符的过程）变得更加重要，因为那样你就会说，“哦，如果 AI 变得足够富有，它们实际上会做出协同努力，以确保未来更像你植入它们的效用函数”，而我认为你一直在低估这一点。
Ege Erdil： 不，我没有低估这一点。我想说的是，历史上有些事情是路径依赖（path-dependent）（注释：指过去的事件或决策会影响未来的可能性，使得历史发展并非完全由当前条件决定）的，以至于如果一千年前某人做了不同的事情，或者某事发展不同，那么今天的某些方面就会不同。我认为例如，哪些语言在哪些边界被使用，或者人们信仰什么宗教，或者也许在某种程度上是时尚，尽管不完全是。
这些事情更具路径依赖性，但也有一些事情不那么具有路径依赖性。例如，如果某个帝国，比如蒙古人更成功了，并且他们以某种方式——我不知道这有多现实——变得非常专制并在各处实行奴隶制，那是否真的会导致奴隶制在一千年后成为一个更持久的制度？对我来说，这似乎不真实。
导致奴隶制终结的力量似乎并非偶然力量，它们似乎是比那更深层的力量。 如果你说“嗯，如果我们今天将 AI 对齐到一套糟糕的价值观，那么这可能会以某种更脆弱的方式影响未来”，这似乎是合理的，但我不确定你所关心的关于未来的事情中有多少，以及你预期未来会变糟的方式中有多少，你实际上在当前时刻拥有很大的影响力。
Dwarkesh Patel： 我的意思是，这里的另一个例子可能是工厂化养殖（factory farming）（注释：一种密集化的动物养殖模式，通常在室内大规模饲养动物以追求最高效率），你可以说“哦，并非我们随着时间的推移拥有了更好的价值观导致了痛苦的减少，事实上，你的痛苦可能增加了，因为导致工厂化养殖出现的动机是……”
Ege Erdil： 而且很可能当工厂化养殖结束时，那将是因为动机开始消失，对吧？
Dwarkesh Patel： 所以假设我关心的是确保数字版的工厂化养殖不会发生。也许，在其他条件相同的情况下，让受苦的心智为你劳动比让不受苦的心智为你劳动在经济上更有效率，因为痛苦或其他什么的中间利益，对吧？
你会对像我这样的人说什么，我非常希望那不会发生，我不希望光锥（lightcone）（注释：物理学概念，指一个事件所能影响的未来时空区域。这里引申指所有可能的未来）充满受苦的工人或其他什么。难道就是“放弃吧，因为这就是经济史的规律”？
Ege Erdil： 不，我认为你不应该放弃。很难预测你的行为在非常遥远的未来会产生的后果。 所以我只会建议你应该贴现未来。不是出于道德原因，不是因为未来没有价值或其他什么，而是因为预测你行为的影响实在太难了。 在短期内，我认为你可以做一些看起来有益的事情。例如，你可以尝试将你当前的 AI 系统对齐到重视你所谈论的事情，比如它们应该重视幸福，应该厌恶痛苦之类。
你可能想支持那些……基本上，你可能想建立能力，以便将来如果你注意到类似这样的事情发生，那么我们可能有能力进行干预。也许你会考虑这样一个前景：“嗯，最终我们可能会殖民其他恒星，文明可能会变得非常庞大，不同地方之间的通信延迟可能会非常长”。在这种情况下，不同地方文化之间的竞争压力可能会变得更强，因为更难进行中央协调。
所以在那种情况下，你可能预期竞争会以更强的方式接管一切，如果你认为其结果将是大量的痛苦，也许你会尝试阻止它。再次强调，我认为在这一点上，试图限制竞争实际上是否是一个好主意，远非显而易见，我可能认为这是一个坏主意，但也许在未来我们会收到一些信息，然后我们会说“哦，我们错了，实际上我们应该阻止这个”，然后也许你希望拥有做出那个决定的能力。
但这很模糊。你如何建立这种能力？嗯，我不知道。这就是我会尝试去做的那种事情。
Tamay Besiroglu： 是的，我认为我从中得出的总体结论，以及我猜想我们思考它的方式，是在你认为自己能实现的目标上更加谦逊，并专注于更近期的目标， 不是因为它在道德上比长期目标更重要，而是因为对近期目标产生可预测的积极影响要容易得多。
Dwarkesh Patel： 在过去几周思考这些更宏大的未来议题，并采访了 Daniel、Scott 以及你们二位之后，我注意到一件事，那就是我对于从 AI 何时到来的最小问题——有趣的是，在宏伟蓝图中这反而是小问题——到是否会发生智能爆炸，或是否会是研发爆炸，再到是否会有爆发式增长，以及如何思考这些问题，我的想法改变了多少次。
如果你处于一个对将要发生的事情极其认知不确定（epistemically uncertain）（注释：指由于缺乏知识或信息而导致的不确定性）的状态，我认为重要的是，与其对你的下一个结论变得超级确定，不如退一步说“嗯，我不确定这里发生了什么”。 我认为更多的人应该持有这种观点，除非你多年来对 AI 的看法一直没变，如果是这样，我对你为什么会这样还有其他问题。我的意思是，总的来说，我们作为一个社会处理这种不确定性议题的方式就是拥有自由、去中心化，让去中心化的知识和去中心化的决策来主导，而不是采取那种极高波动性的中心化行动， 比如“嘿，让我们国有化，这样我们就能确保纯软件奇点是对齐的”，或者不采取那些只基于一种世界观、而在其他考量下却很脆弱的行动。
这已经成为我世界观中一个更加突出的部分。我认为古典自由主义（classical liberalism）是我们处理这种认知不确定性的方式， 而且我认为我们应该比历史上任何时候都更加不确定，而不是像许多其他人那样，似乎比对其他更平凡的话题更加确定。
Tamay Besiroglu： 是的，我认为很难预测会发生什么，因为这种加速基本上意味着你发现预测 10 年后的世界会是什么样子要困难得多。我认为这些问题本身就非常困难，我们没有非常强的经验证据，然后就存在着大量这样的分歧。
Ege Erdil： 我想说，在很多情况下，保持灵活性和适应新环境、新信息的能力，比制定一个具体、正确、非常详细、包含大量具体政策建议和你应该做的事情的计划要重要得多。
这实际上也是如果我想让向 AI 的过渡以及这段爆发式增长时期变得更好时，我会推荐的事情。我只是更希望我们总体上拥有更高质量的制度，但我对于某人今天坐下来制定“好吧，这次智能爆炸或爆发式增长会是什么样子？我们应该做什么？” 不那么乐观。
我认为你今天制定的计划在事件实际发生时不会那么有用，因为你会学到如此多的东西，你会在如此多的问题上更新你的看法，以至于这些计划只会变得过时。
Tamay Besiroglu： 你可以做的一件事是，你可以看看，比如说，战争规划的历史，以及战争规划在实际预测战争真正发生时会发生什么方面有多成功。
Ege Erdil： 举个例子——我想我可能在私下某个时候提到过——但在第二次世界大战发生之前，显然人们看到存在所有这些新技术，比如坦克、飞机等等，这些在一战中就存在，但在一个原始得多的背景下。所以他们在想，既然我们现在有了更大规模的这些技术，它们的影响将会是什么？英国政府曾估计过第二次世界大战最初几周空中轰炸会造成多少伤亡。他们预计战争开始后的两三周内会有数十万人伤亡。
所以当时的想法是，空中轰炸基本上是这种不可阻挡的力量， 所有主要城市中心都会被轰炸，大量的人会死亡，所以基本上我们不能开战，因为如果发生战争，那将是一场灾难，因为我们将遭受这种空中轰炸。但后来证明这完全是错误的。 事实上，在整个英国，整个二战六年期间因空中轰炸造成的伤亡人数，比英国政府预计的战争最初几周的伤亡人数还要少。他们六年内的伤亡人数比预计的三周内还要少。
那么他们为什么会搞错呢？嗯，有很多无聊的实际原因，比如事实证明，尤其是在早期，白天轰炸城市非常不可行，因为你的飞机会被击落，但如果你试图在夜间轰炸，那么你的轰炸非常不精确，只有很小一部分真正击中目标。人们也低估了地面人员，比如消防员等，在城市中四处奔走扑灭落在建筑物上的炸弹引燃的火灾的能力。他们高估了它会造成的经济损失。他们低估了它的经济成本有多高；基本上，你派出这些飞机，然后它们被击落，而一架飞机非常昂贵。
所以最终结果是，当盟军开始轰炸德国时，他们在德国每摧毁一美元的资本，就要在飞机、燃料、飞行员训练等方面花费大约四到五美元， 他们派出执行任务，伤亡率非常高，这后来被政府掩盖了，因为他们不希望人们担心，你知道……
所以这是一种情况，所有你事先基于空中轰炸将是“准核武器”、极具破坏性的假设而做的规划……基本上这会有某种程度的……
Dwarkesh Patel： 我的意思是，它确实是，对吧？东京一次燃烧弹轰炸就造成 84000 人死亡，德国大部分地区……
Ege Erdil： 但那是在六年战争期间。
Dwarkesh Patel： 对，但有过单次燃烧弹袭击。我的意思是，确实有这种情况，二战末期，当他们寻找投掷原子弹的地点时，他们不得不排除了十几个城市，因为轰炸它们已经不值得了，因为它们已经被燃烧弹摧毁了。
Ege Erdil： 没错，但如果你看看几周内预计的破坏程度，然后这种破坏程度花了许多年才达到，所以大约有两个数量级的不匹配，这相当巨大。 所以这影响了人们思考它的方式。
Tamay Besiroglu： 我们讨论的大部分内容中一个重要的潜在主题是，仅仅通过推理来弄清楚你想制定什么具体计划来准备并使向高级 AI 的过渡顺利进行，其力量有多大。
我们的观点是，嗯，这实际上相当困难，你需要接触真实世界来为你的大部分关于实际发生情况的信念提供信息， 所以进行大量的兵棋推演（wargaming）并弄清楚 AI 可能如何发展，以及我们今天能做些什么来让它变得更好，在某种程度上是徒劳的，因为你可能提出的许多政策最终可能看起来相当愚蠢。
在思考 AI 实际上如何产生这种影响时，人们再次认为“哦，你知道，AI 推理进行科学研究和研发对整体经济或技术产生了巨大影响”，而我们的观点是，嗯，实际上再次强调，接触真实世界并从实验和部署等中获取大量数据是非常重要的。
所以我认为存在这个潜在的潜在变量，它解释了我们在这个问题上的一些分歧，既包括政策处方，也包括我们对于今天应该做什么应该谦逊还是雄心勃勃的程度，以及思考 AI 产生这种影响的机制。这个潜在的潜在事物就是：理性的力量是什么？我们能在多大程度上推理出可能发生的事情？一般而言，推理能在多大程度上弄清楚关于世界和技术的事情？ 所以这是这里一个核心的潜在分歧。
Dwarkesh Patel： 我确实想问：你在公告中说，我们希望尽可能快地加速这种广泛的劳动力自动化。如你所知，许多人认为加速这种广泛的劳动力自动化、AGI 以及其中涉及的一切是个坏主意。你为什么认为这是好的？
Ege Erdil： 认为它好的论点是，我们将迎来经济增长的巨大提升，这意味着巨大的财富，以及你甚至无法想象的令人难以置信的新产品， 无论是在医疗保健还是其他领域。普通人的生活质量可能会大幅提高。
早期，他们的工资可能也会上涨，因为 AI 系统将自动化那些与他们工作互补的事情。或者它将自动化他们工作的一部分，然后你做剩下的部分，然后你会在那部分得到更高的报酬。从长远来看，我们最终确实预期工资会下降，仅仅是因为与 AI 的套利（arbitrage）（注释：利用不同市场或形式的价格差异进行交易以获取无风险利润的行为。这里指 AI 的低成本导致人类工资被拉低）。但到那时，我们认为人类将拥有巨额资本，并且也会有办法让即使没有资本的人也比现在过得好得多。
我认为很难用语言表达我们在那个世界里会获得的财富量和产品种类的增加。 它可能会超过 1800 年至今的差异。所以如果你想象那个差异，那是如此巨大的差异。然后我们再想象两倍、三倍，等等。
Dwarkesh Patel： 对此的标准反对意见是，为什么到达那里的速度如此重要？尤其是如果速度的权衡是这种转变能够成功实现并惠及人类的概率？
Tamay Besiroglu： 我的意思是，尚不清楚这是否与成功实现的概率或其他什么存在权衡。
Dwarkesh Patel： 可能存在对齐税（alignment tax）（注释：为了确保AI安全对齐而可能付出的额外成本或牺牲的性能/速度）。
Tamay Besiroglu： 我的意思是，也许吧。你也可以计算一下，对当前的人们来说，一年的延迟会损失多少。 这是人们能够享受的巨大效用，如果你将事情提前一年，或者如果你将事情延迟一年，它就会被推后。这值多少钱？嗯，你可以看看人们效用函数凹陷程度的简单模型，做一些计算，也许每年在消费方面价值约数十万亿美元。
这大致是消费者为了将自动化日期提前一年而可能愿意推迟的消费量。
Dwarkesh Patel： 以绝对值来看，这很高。但以相对值来看，相对于如果你确实认为它会以某种方式影响构建对齐系统等等的概率，那与整个未来相比就太小了。
Ege Erdil： 我同意。所以这里有几件事。
首先，我认为你如何思考这个问题很重要。首先，我们实际上并不认为加速或减速事情是否真的会使末日结果（doomy outcome）更有可能或更不可能变得清晰。 我认为这是一个对我们来说并不明显的问题。部分原因在于我们对软件研发方面的看法。我们并不真的相信，如果你只是暂停，然后在固定的计算规模水平上研究 20 年，你实际上会在对齐等相关问题上取得那么大的进展。
想象一下，你在 2016 年试图用 2016 年的计算预算在对齐方面取得进展。嗯，你基本上会一无所获。你不会发现人们今天发现的、并且被证明有用的任何东西。我认为如果你今天暂停，那么 10 年后我们将处于非常相似的位置，对吧？我们不会做出很多发现。所以在我们看来，扩展对于在对齐方面取得进展确实非常重要。 然后还有一个独立的问题，即你在各种不同意义上应该有多长期主义（longtermist）（注释：一种伦理观点，强调对遥远未来的道德责任，认为改善长期未来具有极高的价值）？
所以有一个道德意义上的问题，即你实际上应该在多大程度上关心今天活着的人，而不是那些尚未出生的人，这只是一个道德问题。还有一个实际问题，正如我们讨论过的，你能在多大程度上确定你当前行动实际上会对未来产生影响？
Dwarkesh Patel： 好的，也许你认为现在减速或加速事情真的无关紧要。但是否有某种说法，为什么从对齐的角度来看，现在加速它们实际上有帮助，现在就拥有额外的进展比以后更好？
或者仅仅是，嗯，如果无论如何都没有区别，那么最好还是让人们少受一年苦难，拥有癌症治愈方法等等？
Ege Erdil： 我会说是后者。但重要的是要理解其价值。即使纯粹从经济角度来看，想象一下每延迟一年可能会导致今天活着的大约 1 亿人——也许更多，也许 1.5 亿、2 亿人——最终死亡。因此，即使纯粹从经济角度来看，一个统计生命的价值（value of a statistical life）也相当巨大， 特别是在西方国家。有时人们使用的数字高达单个生命 1000 万美元。所以想象一下你用 1000 万美元乘以 1 亿人。这是一个巨大的数字，对吧？
这如此巨大，以至于我认为，要让你认为加速事情是个坏主意，你必须首先持有这种长期主义观点，着眼于长远的未来。 你认为你今天的行动具有足够高的杠杆作用，可以可预测地影响长远未来的方向。
Dwarkesh Patel： 嗯，在这种情况下，有点不同，因为你不是说“我要影响一千年后的某个皇帝会做什么”，就像公元零年的某人要成为长期主义者必须做的那样。在这种情况下，你只是认为有一个极其重要的拐点即将到来，你只需要对那个爆发式增长、智能爆炸或类似的关键时期施加影响。所以我认为这是一个比……更切实可行的前景。
Ege Erdil： 所以我同意在相对意义上。在相对意义上，我同意当前时刻是一个杠杆作用更高的时刻，你可以期望产生更多影响。我只是认为在绝对意义上，你能产生的影响量仍然相当低。 所以它可能比 2000 年前大几个数量级，但仍然相当低。
Tamay Besiroglu： 再一次，我认为在这种转变最终会有多广泛和分散， 相对于它多集中于特定的实验室（这些实验室做出的非常独特的决定最终将产生非常大的影响） 方面存在意见分歧。
如果你认为这些发展将非常集中，那么你认为杠杆作用特别大。因此，你可能特别渴望有能力影响这种转变的走向，但我们的观点非常倾向于认为，这种转变将通过许多许多组织和公司的行动非常分散地发生。 而这些行动在很大程度上由经济力量决定，而不是由实验室方面的独特偏好或这些具有长期“创始人效应”的决定决定。
军备竞赛动态
Dwarkesh Patel： 好吧，让我们来看看对爆发式增长的一些反对意见，那就是大多数人实际上对你的预测持更保守而非更激进的态度。显然，阐述了与你观点分歧的人之一是 Tyler Cowen。我们一起做播客时，他提出了一个有趣的观点，他说：“撒哈拉以南非洲的大部分地区仍然没有可靠的清洁用水。实现这一点所需的智能并非稀缺。我们不能那么轻易地做到这一点。在其他变量上，我们可能比我们想象的更处于那种境地。”
Tamay Besiroglu： 我的意思是，我们同意这一点。我认为智能并非阻碍技术进步或经济增长的瓶颈。 还有许多其他因素。所以这与我们的观点非常一致，即扩展你的整体经济，积累资本，积累人力资本，让所有这些因素扩展……
Ege Erdil： 事实上，这甚至与我之前说的相符，我当时指出“哦，良好的管理和良好的政策，它们有助于 TFP，并且可能成为瓶颈”。
Dwarkesh Patel： 就像现在我们可以把我们更好的管理即插即用到撒哈拉以南非洲。
Ege Erdil： 不，我们不能。
Tamay Besiroglu： 这很难。我不认为我们能。
Dwarkesh Patel： 好吧，也许我应该说，人们可以理论上想象即插即用……
Ege Erdil： 我同意。
Tamay Besiroglu： 我可以想象很多事情。
Dwarkesh Patel： 但我们不能那么轻易地做到，因为……很难说清楚为什么，而且仅仅依靠资本或劳动力也不那么容易做到。为什么不认为世界其他地方在面对 AI 可能带来的进步时会处于这种境地？
Tamay Besiroglu： 我的意思是，如果 AI 的进步就像数据中心里的天才那样，那么我同意那可能会受到经济其他部分未能扩展并积累相关资本以使这些变化可行的瓶颈制约。所以我有点同意这个图景，我认为这是对“数据中心里的天才”式观点的一种反驳，我基本上同意这一点。
Ege Erdil： 而且，你拥有了技术，但有些人却不想部署它，或者有些人的规范、法律和文化因素使得 AI 无法在他们的经济中广泛部署——或者不像原本可能的那样广泛部署，这也是合理的。这将使得那些国家或社会发展得更慢。这就像一些国家会增长得更快，就像英国和荷兰在工业革命中处于领先地位，它们是首批经历快速增长的国家。 然后其他国家，即使在欧洲，也必须从后面追赶。
嗯，同样，我认为我们预期同样的情况也适用于 AI。而发生这种情况的原因正是因为这些原因，那些文化、治理体系或其他什么更糟糕的国家，限制了新技术和新思想的部署和扩展。这似乎非常合理。
Dwarkesh Patel： 但你是说只要有一个司法管辖区？
Ege Erdil： 是的。
Dwarkesh Patel： 但那么你之前也强调了需要与全球经济和人类经济的其他部分整合。这难道不矛盾吗……？
Tamay Besiroglu： 这通常不需要文化同质性。我们与别国进行贸易，比如美国与中国贸易，实际上相当多。而且存在很多分歧……
Dwarkesh Patel： 但如果美国说，“我不喜欢阿联酋用 AI 实现爆发式增长，我们要对他们实施禁运”。
Tamay Besiroglu： 这似乎是可能的。
Dwarkesh Patel： 然后那难道不会阻止爆发式增长吗？
Tamay Besiroglu： 我认为在它（指 AI）揭示出其巨大能力和力量的时刻，这是可能的。 是的。而且你也应该想到，这既创造了禁运的动机，也创造了采纳非常相似的治理方式以使 AI 能够产生大量价值的动机。
Dwarkesh Patel： 你怎么看这个：我认为人们从军备竞赛的角度来解读爆发式增长。这通常也是我认为在实验室本身需要公私合作的原因。但是这种想法，你在数据中心里有天才，你可以让他们想出蚊子无人机集群。然后那些无人机集群会，比如如果中国更早获得集群……即使在你的视角内，这是你的整个经济足够先进以至于你能生产蚊子无人机集群的结果吗？
你领先六个月意味着你可以决定性地赢得……是这样吗？我不知道。也许你领先一年并且处于爆发式增长意味着你可以决定性地赢得对中国的战争，或者中国可以赢得对你的战争。那么这会导致类似军备竞赛的动态吗？
Ege Erdil： 我的意思是，我认为在某种程度上会，但我不确定我是否会预期领先一年就足以去冒险，因为如果你与中国开战……例如，如果你用 1990 年的中国取代今天的中国。或者如果你用 1970 年或 1980 年的俄罗斯取代今天的俄罗斯。可能他们的洲际弹道导弹（ICBM）和相关技术已经足以构成非常强大的威慑。
所以也许即使是那种技术领先也不足以让你放心开战。所以这似乎是可能的。
Dwarkesh Patel： 是的。这实际上与 Gwern 提出的一个观点有关，即这将是一个比工业革命更不稳定的时期，尽管工业革命见证了许多国家能力的快速增长，因为在这个跨度内，如果你把一个世纪的进步压缩在十年内，一个国家先获得弹道导弹，然后另一个国家先获得铁路，等等。
但如果你对获得弹道导弹和铁路需要什么有一个更整合的视角，那么你可能会认为“不，基本上这不是某个正交的向量。你只是在科技树上不断地向前推进”。
Ege Erdil： 我确实认为这是可能的，如果你只是让它发生在少数几个相对较大、拥有足够土地或其他什么的国家，那些国家与世界其他地方相比起点较低，所以你需要追赶到一定程度。如果它们只是打算内部增长，而不依赖外部供应链。但这对我来说似乎并非不可能。有些国家可以做到，只是会更困难。
但在这种情况下，如果一些国家相对于世界其他国家拥有显著的政策优势，它们首先开始增长，然后它们不一定有办法让其他国家采纳它们的规范和文化。所以在那种情况下，对它们来说，在本地进行增长可能更有效。 这就是为什么我说增长差异很可能更多地由监管管辖区的边界决定，而不是其他任何东西。我不是说——比如说美国本身，如果它拥有 AI 但无法让世界其他地方采用 AI，我认为那仍然足以实现爆发式增长。
Dwarkesh Patel： 我们应该多担心这样一个事实：今天的中国，因为它相对较晚实现工业化，拥有更多的工业产能、专业知识以及所有其他边做边学等方面的优势？如果我们接受你关于技术如何进步的模型，无论有无 AI，我们是否只是因为持有那种“你 GDP 中用于研发的比例是多少才重要”的观点，而低估了中国？而事实上，情况更像是“我后院就有所有工厂，我知道它们如何运作，我随时可以去买一个部件”？
Tamay Besiroglu： 我不认为人们必然低估了中国，这取决于你看的是谁，但关于中国的讨论似乎在这些 AI 圈子里就是一个非常大的话题，对吧？
所以人们非常清楚地认识到中国所具有的力量和潜在威胁。但我认为关键不仅仅是纯粹人口数量或公司数量等方面的规模，而是整体经济的规模， 这仅仅以美元产出量来衡量。在这方面，美国是领先的。
Dwarkesh Patel： 但我们并不期望所有这些爆发式增长都来自金融服务。我们期望它从工业技术和工业能力的基础开始。
Ege Erdil： 不，如果你想扩展非常大的项目，金融服务可能很重要。
Tamay Besiroglu： 金融服务对于筹集资金和获得数据中心投资非常重要。
Dwarkesh Patel： 如果我理解正确的话，这似乎就像，伙计，你知道如何建造机器人工厂等等。那种在你看来对技术增长和整体经济增长至关重要的专业知识（know-how）是缺乏的。你可能有更先进的金融服务，但似乎你越认真对待你的观点，就越像是拥有本地的深圳很重要。
Tamay Besiroglu： 我的意思是，相对于哪个起点？我认为人们已经认识到中国非常重要。然后我同意在某些领域中国是领先的，但在非常多的领域美国是领先的，或者是美国及其盟友领先， 那些生产 AI 相关投入品的国家，美国可以获得，但中国不行。
所以我认为美国在许多维度上都领先，而在某些维度上中国领先或至少非常接近。所以我认为这不应该导致你非常强烈地更新看法，认为中国的重要性要大得多，至少取决于你的起点。
Ege Erdil： 我认为人们已经认为中国很重要了，这是这里潜在的大背景。比如如果我们之前非常轻视中国，那么这也许是一个更新看法的理由。
超智能是真实存在的吗？
Dwarkesh Patel： 我理解你的论点，即思考经济范围内的加速比关注最聪明 AI 的智商更重要。但与此同时，你相信超人类智能（superhuman intelligence）这个概念吗？ 它是否是一个连贯的概念，就像你在围棋水平上不一定止步于人类水平，而是在ELO 等级分（注释：一种衡量棋手等竞技者相对实力水平的评分系统）上远超人类一样？
我们会不会得到在更广泛的人类能力范围内也像那样的系统？也许这并不意味着它们会成为上帝，因为世界上还有其他 ASI。但你明白我的意思，会不会出现具有如此超人类能力的系统？
Tamay Besiroglu： 是的，我的意思是，我确实预期会这样。我认为问题在于，这个概念对于思考向一个拥有更先进 AI 的世界的过渡有多大用处。 我并不觉得这是一个特别有意义或有帮助的概念。
我认为人们引入了一些表面上看起来有用，但当你深入研究时却非常模糊、不清楚你应该如何理解的概念。你有这个 AGI 的概念，它与狭义 AI 的区别在于它更通用，也许平均而言可以做人类能做的一切。AI 系统的能力分布非常不均衡。所以你必须以某种方式取一个平均能力的概念，而这到底意味着什么，感觉真的很不清楚。
然后你有了 ASI 的概念，它在通用性方面是 AGI，但它在每项任务上都比人类更好。这是一个有意义的概念吗？我猜它是连贯的。我认为这不是一个超级有用的概念，因为我更倾向于思考世界上实际发生的事情。 你可能在没有一个能在所有方面都比人类做得更好的 AI 系统的情况下就实现急剧加速。我猜你可能在拥有一个在所有方面都比人类更好的 ASI，但它就是非常昂贵或非常慢或其他什么的情况下，却没有加速。所以我并不觉得那特别有意义或有用。我只是更倾向于思考对世界的整体影响，以及什么样的 AI 系统能够产生那种类型的影响。
Dwarkesh Patel： 是的，我的意思是，这里有一个直觉泵：比较约翰·冯·诺依曼（John von Neumann）和一个从标准分布中抽取出来的人。如果你在世界上增加一百万个约翰·冯·诺依曼，对增长的影响会如何，与仅仅增加一百万个普通人相比？
Ege Erdil： 嗯，我同意影响会大得多。
Dwarkesh Patel： 对。但那么，根据你之前提出的莫拉维克悖论类型论点，进化不一定在约翰·冯·诺依曼与普通人区别开来的那种维度上对我们进行了那么长时间的优化。而且考虑到即使在这种偏差内，你就已经有了如此巨大的经济影响。为什么不专注于进一步优化这个进化没有那么努力优化的东西呢？
Ege Erdil： 我不认为我们不应该关注那个。但我想说的是，例如，如果你思考围棋 AI 的能力，那么超人类围棋 AI 的概念，是的，你可以说那是一个有意义的概念。但如果你在开发 AI，那不是一个非常有用的概念。如果你只看规模扩展曲线，它就是一直上升，某个地方有一个人类水平。但人类水平在任何意义上都不是特殊的。
所以问题是，思考它是否有用？答案可能是没用。这取决于你关心什么。所以我不是说我们不应该专注于尝试让系统比人类更聪明，我认为那是值得关注的好事。
Dwarkesh Patel： 是的，我猜我想理解的是，我们与 2100 年的 AI 的关系，是否会像人类与其他灵长类动物的关系一样。这是否是我们应该持有的正确心智模型，还是我们会对其认知视界（cognitive horizons）有更大的熟悉度？
Tamay Besiroglu： 我认为 AI 系统将非常多样化，所以询问关于这个非常多样化的系统范围以及我们与它们的关系的问题，并不是非常有意义。
Dwarkesh Patel： 我的意思是，我们将能够认知地理解它们能够考虑的那种考量吗？人类是多样的，但没有黑猩猩能够像另一个人那样理解这个论点，对吧？所以如果我试图思考我，或者说人类，在未来世界中的位置，是否存在一个相关的概念是：仅仅是经济增长了很多，劳动力多得多，还是存在着在这种关键方式上是超智能的存在？
Tamay Besiroglu： 我的意思是，将会有很多我们根本无法理解的事情，某种程度上，今天也有很多人们不理解世界如何运作以及某些事物如何制造的事情。那么，我们能够接触或原则上能够接触那些考量，有多重要呢？
我不清楚这是否特别重要，即任何个体人类都应该能够接触到产生某种结果的所有相关考量。 那似乎有点小题大做。你为什么需要那样发生？我认为在某种意义上那会很好。但我认为，如果你想要一个非常复杂的世界，拥有非常先进的技术，那些东西你就无法接触到。
所以你在可及性（accessibility）和世界可能有多先进之间存在权衡。 从我的角度来看，我更愿意生活在一个拥有非常先进技术、有大量我能够享受的产品、有大量能够改善我生活的发明的世界里，即使那意味着我根本不理解它们。我认为这是一个我非常愿意做出的非常简单的权衡。
不预期爆发式增长的理由
Dwarkesh Patel： 好的，那么让我们回到对爆发式增长的反对意见。我们已经讨论了几个。这里是另一个，与其说是反对意见，不如说是一个问题：所有这些额外的产出去哪里了？谁在消费它？ 如果经济在十年左右的时间里增长 100 倍，目的是什么？
Ege Erdil： 所以首先我认为，即使你从所谓的集约边际（intensive margin）（注释：指增加现有产品或服务的消费量或使用强度）的角度来看，即你只是拥有更多你今天拥有的产品，我认为对此会有很大的需求。也许不完全是 100 倍，那可能会开始遇到一些收益递减。
Tamay Besiroglu： 目前世界人均 GDP 平均每年大约是 1 万美元，对吧？而有些人享受着数百万美元。所以，人们享受的（水平）和似乎边际效用没有大幅递减的（水平）之间存在差距，因此仅仅在集约边际上，即消费更多我们今天消费的东西，就有很大的空间。 然后还有这个可能更重要的维度，我们将沿着这个维度扩展，那就是……
Ege Erdil： 产品多样性（Product variety）。
Tamay Besiroglu： 是的，扩展边际（extensive margin）（注释：指增加消费的产品或服务种类），即你消费的事物的范围。如果你看看像工业革命这样的例子，那似乎是我们扩展消费的主要维度。在你关心的任何领域，交通、医疗、娱乐和食品，我们能够消费的事物的种类都出现了巨大的扩展， 这是由新技术、新贸易路线或新的生产方法所实现的。所以我认为这确实是我们将伴随着这种消费扩张而看到关键事物。
Dwarkesh Patel： Tyler 提出的另一点是，将会存在某种鲍莫尔成本病（Baumol cost disease）（注释：由威廉·鲍莫尔提出，指某些行业（如教育、医疗、艺术）由于难以通过技术提高生产率，其相对成本会随着时间推移而上升的现象）的混合体，你会被增长最慢的东西所瓶颈。生产率最高的（行业）基本上会减少它们自己的……
Ege Erdil： 在产出中的份额。
Dwarkesh Patel： 没错，是的。
Tamay Besiroglu： 我的意思是，我们完全同意这一点。我想说的是，那只是一个定性的考虑。它本身不足以预测在给定这些效应的情况下允许什么样的增长率， 它只是一个定性的考虑，然后你可能需要做出额外的假设才能做出定量的预测。所以我认为这有点……
Ege Erdil： 所以这个论点的有说服力的版本会是，如果你做了我们之前对纯软件奇点论证所做的同样的事情，我们指出了本质上相同的反驳，即存在多个可以瓶颈进展的事物。所以我如果有人指出一个明确的东西会更有说服力， 比如，看，医疗保健是这个非常重要的东西。我们为什么要期望 AI 让它变得更好？那似乎不会因为 AI 而变得更好。所以也许医疗保健就变成了经济的一大部分，然后那就成了瓶颈。所以如果存在某个特定的部门……
Dwarkesh Patel： 也许论点是，即使只有一个……
Ege Erdil： 不，如果只有一个的话，如果那只是经济的一小部分，那么你仍然可以获得大量增长。你只需自动化其他所有东西，那就会产生大量增长。
Tamay Besiroglu： 所以它必须在数量上行得通。因此你实际上必须在数量上具体说明这个反对意见应该是什么。
Ege Erdil： 对。所以首先你必须具体说明这些任务是什么。它们目前在经济产出中的份额是多少？
第二件事是你必须具体说明你认为互补性有多糟糕？所以用数字来说，经济学家使用替代弹性（elasticity of substitution）（注释：衡量在保持总产出不变的情况下，一种生产要素相对于另一种生产要素的可替代程度）的概念来量化这一点。所以那给你一个数值估计，如果你在某些维度上有更多的产出但在其他维度上没有那么多，那对整体经济产出的增加有多大影响？
然后还有第三个问题。你也可以想象你自动化了经济的一大部分。嗯，很多原本在做那些工作的人。所以现在，嗯，他们不需要再做了，因为那些被自动化了。所以他们可以去做那些尚未被自动化的工作。 正如我之前举的例子，你可以想象一个世界，远程工作任务首先被自动化，然后感觉运动技能落后了。所以你可能会有一个世界，软件工程师变成了体力劳动者。
当然，在那个世界里，体力劳动者的工资会比他们今天的工资高得多。所以即使瓶颈的力量最大，即使你只看经济中的所有任务并取生产率增长最差的那个，由于这种重新分配，你仍然会得到大量的产出增长。
Tamay Besiroglu： 所以我认为有一点值得指出；我们与经济学家谈论此事的经验是，他们会提出这些更定性的考虑，而我们提出的论点则对增长率做出具体的定量预测。例如，你可能会问“经济多久会翻一番？” 然后我们可以思考，一个 H100 大约能做……有一些关于人脑每秒进行多少计算的估计，大约是 1E15 FLOP 左右，有点不清楚，但结果发现一个 H100 大致做那个数量级的计算。然后你可以问一个问题：“一个 H100 需要多长时间才能收回成本？”
Ege Erdil： 如果你运行人脑的软件。
Tamay Besiroglu： 如果你运行人脑的软件，你就可以将其部署到经济中，并赚取比如美国每年 5 万到 10 万美元或类似的人类工资。然后它就能收回成本，因为每个 H100 的成本大约是 3 万美元。所以你得到的倍增时间大约是一年。
所以这就像一个非常具体的定量预测……然后回应是，“嗯，你有鲍莫尔效应”——好吧，这意味着什么？它预测每两年翻一番还是每五年翻一番？你需要更多的假设才能使这成为一个连贯的反对意见。
所以我认为有点令人困惑的是，存在这些我同意的定性反对意见，比如瓶颈确实很重要，这也是我对“软件奇点”故事更持怀疑态度的部分原因。但我认为这不足以阻止爆发式增长。
Dwarkesh Patel： 我经常听到的另一个反对意见——你可能也会有类似的回应——是很多经济活动都是“O 型环”类型的活动。 这指的是，我认为，挑战者号航天飞机爆炸事件。只有一个部件——我忘了 O 型环的具体问题是什么——但因为那个部件有缺陷，整个东西都崩溃了。
Tamay Besiroglu： 我的意思是，我认为这实际上很有趣，因为 O 型环模型（指产出是多个投入要素相乘的函数，如 Y=X1 * X2 * ... * Xn）取的是许多许多投入的乘积，然后整体产出是许多事物的乘积。但实际上，从瓶颈较少的角度来看，这相当乐观。 （译者注：在乘法生产函数中，即使一个要素增长停滞，只要它不为零，其他要素的增长仍然可以带来总产出的增长，其瓶颈效应弱于要素间替代弹性低的模型）
Ege Erdil： 我认为我们之前指出了这一点，再次谈到纯软件奇点，我说如果它是计算机实验与研究的乘积……
Dwarkesh Patel： 但如果其中一个乘积……
Ege Erdil： 是零。
Dwarkesh Patel： 因为人类……
Tamay Besiroglu： 但那里你有不变的边际产出（marginal product）（注释：指增加一单位生产要素投入所带来的额外产出），对吧？
Ege Erdil： 是的，但如果其中一个乘积不扩展，那并不会限制——是的，这意味着你扩展的效率比原本可能要低，但你仍然可以获得很多……
Tamay Besiroglu： 你可以在 O 型环世界里实现无限扩展。所以我实际上不同意 Tyler，他不够保守，他应该比他实际上更认真地对待他的瓶颈观点。然而我不同意他的结论。我认为一旦我们拥有可以灵活替代的 AI，我们将获得爆发式增长。
Dwarkesh Patel： 我不确定我是否理解，比如，AI 会想出全新的组织形式。我们写了一篇关于其中一种，即 AI 公司的博客文章。在今天存在的现有组织中，你可能是一个富有成效的工人或贡献者。在 AI 世界里，许多人类可能只是零甚至是负……
Ege Erdil： 我同意。
Dwarkesh Patel： 为什么那不会……把它放到乘法里。
Tamay Besiroglu： 但为什么人类会在那个循环里呢？
Ege Erdil： 你既说人类会对产出产生负面贡献。但你又说我们应该把他们放进……
Dwarkesh Patel： 好吧，好吧，好吧。主要的反对意见通常是监管。 我认为我们已经在不同地方隐含地解决了它，但还是明确地解决一下：为什么监管不会阻止这一切？
Ege Erdil： 是的。需要说明的是，我们确实有一篇论文回顾了支持和反对爆发式增长的所有论点。而监管，我认为，是看起来最强的“反对”论点。
它之所以看起来强，是因为尽管我们之前提出了关于国际竞争、司法管辖区之间政策差异以及出于经济和国家安全原因采用这项技术的强烈动机的论点。
所以我认为这些论点放在一起时非常有说服力，但即便如此，世界确实具有令人惊讶的能力来协调一致地不去追求某些技术。
Dwarkesh Patel： 对。人类克隆……
Ege Erdil： 没错。所以我认为很难极其自信这不会发生。我认为相比人类克隆，我们为 AI 这样做的可能性较小，因为我认为人类克隆触及了其他一些禁忌等等。
Tamay Besiroglu： 而且价值也较低。
Ege Erdil： 价值也较低。而且可能在直接意义上对国家安全也不那么重要。但与此同时，正如我所说，很难排除这种可能性。
所以如果有人说“嗯，我认为有 10% 或 15%，随便多少，20% 的可能性，会出现某种全球协调的监管，而且会非常有效。也许会通过对违规国家实施制裁等方式来强制执行。
然后也许它不能阻止 AI 被部署，但也许它只是将事情拖慢到你永远无法真正实现爆发式增长”。我认为那不是一个不合理的观点。比如有 10% 的可能性。
Dwarkesh Patel： 我不知道是否有任何……我不知道。你遇到过任何其他的……
Ege Erdil： 任何其他的反对意见？
Dwarkesh Patel： 我应该跟你纠缠些什么？
Ege Erdil： 我的意思是，我们从经济学家那里听到的一些……人们有时会对我们关于爆发式增长的论点（这是一个关于增长率的论点，我们说“我们将看到每年 30% 的增长，而不是 3%”）做出回应，但他们的反对意见是关于水平的。他们说：“嗯，你能让理发、坐飞机、或其他什么、或者去餐馆，变得效率高多少，价值高多少？” 这从根本上就是错误的反对类型。
我们谈论的是变化率，而你通过提出关于生产力绝对水平的论点来反对它。而且正如我之前所说，如果这个论点是关于持续更长时间的较慢增长率，经济学家们自己也不会认可。 所以这更像是特殊辩护（special pleading）（注释：一种逻辑谬误，指在没有正当理由的情况下，为自己的主张或情况设定特殊标准或豁免）。
Dwarkesh Patel： 我的意思是，为什么不是部署问题？你对 AI 提出的同样论点，即你通过向世界部署并观察人们发现什么有用，就能学到很多东西，ChatGPT 就是这方面的一个例子。为什么类似的事情不会发生在 AI 产品和服务上呢？如果其中一个组成部分是你把它投放到市场，人们使用它，你发现他们需要什么，并且它依附于现有的供应链等等。这难道不需要时间吗？
Tamay Besiroglu： 我的意思是，它需要时间，但通常相当快。事实上，ChatGPT 增长得极其快。
Dwarkesh Patel： 对，但那只是纯粹的数字服务。
Ege Erdil： 一个乐观的理由是，如果你认为 AI 将真正成为即插即用的远程工作者，或者在某些情况下如果你有机器人技术，成为即插即用的工人，那么公司已经对招聘人类有经验了，招聘人类并不需要很长时间。 也许即使在一个特别困难的工作中，一个新工人也需要六个月才能开始产生生产力。嗯，那并不长。
所以我认为这不会排除公司能够招聘 AI 工人的可能性，前提是它们不需要进行大量新的互补性创新和发现来利用优势。我认为当前 AI 系统受到抑制以及我们看到增长可能比你原本预期的要慢的一个原因是，经济中的公司还不习惯使用这项新技术，它们必须重新安排工作方式才能利用它。
但如果 AI 系统能够真正替代人类工人，那么，互补性创新可能就不那么必要了。
全自动化公司
Dwarkesh Patel： 实际上，这是转到最后一个话题——AI 公司——的好借口。我们一起写的那篇关于拥有一家完全自动化公司会是什么样子的博客文章，我们提出的关键观点是，人们倾向于过分强调并从单个副本会有多聪明的角度来思考 AI。
如果你真的想理解它们在哪些方面是超人类的，你应该关注它们的集体优势， 而这些优势由于生物学原因我们无法拥有，那就是它们可以连同所有隐性知识（tacit knowledge）一起被复制。 你可以复制一个 Jeff Dean 或 Ilya Sutskever 或任何相关领域的人。你甚至可以复制 Elon Musk，让他成为 SpaceX 设备中的每一位工程师。如果那不是一个有效的方式……
Tamay Besiroglu： （指复制）他们的 AI 等价物。
Dwarkesh Patel： 如果拥有 Elon Musk 或任何东西不是最好的方式，你只需复制相关的团队或其他什么。我们人类公司存在这个问题，可能会有非常有效的团队或小组，但随着时间的推移，他们的文化会被稀释，或者人员离开、死亡或变老。这是这些数字化公司可以解决的众多问题之一。
公司目前满足了进化的三个相关标准中的两个：它们有选择（selection）和变异（variation），但它们没有高保真度复制（high fidelity replication）。 一旦最后一块拼图到位，你可以想象公司会经历一个速度快得多、强度大得多的进化序列。
这与招聘有关，现在它们还不够聪明，无法作为完整的工人被招聘，但一旦它们可以了，我只是想象我试图招聘的那种能力，那将是一个巨大的解锁。薪水完全是次要的。事实上，我可以……“这就是我需要的技能”或我需要的技能组合。如果某件事的需求弹性很高，我可以并行拥有一千名工人。 我认为，与变革性 AI 一起，这是你需要理解的关于未来 AI 社会面貌的最被低估的具体事物。
Ege Erdil： 我认为首先有一个关于这个非常宏观的图景的观点，你只是预期所有相关投入都会有大量的扩展。我认为这是首要的事情。但然后你可能会有更微观的问题，关于，“好吧，这个世界实际上是什么样子的？它与一个我们只是拥有更多人口、更多资本、更多……”的世界有何不同？因为它应该不同。然后我认为这些考虑变得重要起来。
我认为另一个重要的事情是，AI 可以是对齐的。你得以控制你的 AI 系统的偏好，而你无法真正控制你工人的偏好。 你的工人，你只能选择，你没有其他选择。但对于你的 AI，你可以微调它们。你可以构建具有你想要的那种偏好的 AI 系统。你可以想象这会极大地改变决定人类公司结构的基本问题。
例如，委托-代理问题（principal-agent problem）（注释：指委托人（如股东、老板）与代理人（如经理、员工）之间由于信息不对称和目标不一致而产生的利益冲突问题）可能会消失。这个问题是指，作为工人，你的激励要么与你的经理不同，要么与整个公司不同，要么与公司股东不同。
Dwarkesh Patel： 我实际上认为激励只是难题中较小的一块。更多的是关于带宽和信息共享， 对于一个大型组织来说，很难拥有一个单一连贯的愿景，我们今天看到的最成功的公司是那些在异乎寻常长的时间里，创始人能够将其愿景灌输到组织中的例子；SpaceX 或 Tesla 就是例子。人们也这样谈论 Nvidia。
但试想一个未来的版本，存在这个超大规模推理的超级 Jensen（指 Nvidia CEO 黄仁勋），你每年在推理上花费 1000 亿美元，他的副本不断地撰写每一份新闻稿，审查每一个拉取请求（pull request），回答每一个客户服务请求等等，并监控整个组织， 确保它沿着一个连贯的愿景前进，并被合并回那个超级 Jensen，巨型 Jensen，随便什么。
Ege Erdil： 是的，我同意那是个更大的事情。与此同时，我会指出，在人类公司中拥有连贯的愿景和文化等之所以重要的部分原因，可能是因为否则会存在激励问题。我不会排除这一点，但我同意，除了整体宏观经济因素之外，我认为它们可以被复制的事实可能是最大的事情。
这也带来了额外的规模经济来源， 如果你有两倍的 GPU 数量，你不仅可以运行两倍数量的旧模型副本，而且你可以训练一个更好的模型。所以你将训练计算和推理计算都加倍，这意味着你得到的工人数量不仅仅是原来的两倍，你会得到更多，因为他们也更聪明了，因为你花费了更多的训练计算。所以这是额外的规模经济来源。
然后还有这个好处，对于人类来说，每个人基本上都必须从头开始学习东西。 他们出生，然后他们必须进行一定量的终生学习。所以在人类学习中，有大量的重复，而对于一个 AI 系统，它可以只学习一次。 它可以只进行一次包含大量数据的巨型训练。然后那个（训练好的模型）可以在任何地方部署。所以这是 AI 相对于人类的另一个巨大优势。
AGI 之后中央计划会奏效吗？
Dwarkesh Patel： 也许我们以我们经常在线下进行的这个辩论来结束：在存在这些规模经济的情况下，中央计划（central planning）会奏效吗？
Ege Erdil： 所以我想说的是，我的意思是，再次强调，问题是，“它会奏效吗？”
Dwarkesh Patel： 它会是最优的吗？
Ege Erdil： 对。所以我的猜测是可能不是最优的。但我不认为有人非常详细地思考过这个问题。
Tamay Besiroglu： 所以值得思考一下为什么人们可能预期中央计划在这个世界里会稍微好一点。一个考虑因素就是通信带宽可能比现在大得多得多。 在当前世界，信息收集和信息处理是同地进行的；人类观察并处理他们观察到的东西。在 AI 世界，你可以将这两者分开。
所以你可以有传感器而不需要做太多处理，只是收集然后集中处理。而集中处理可能因为一系列原因而有意义，你可能会因为拥有更多产生更好模型的 GPU 而获得规模经济，并且能够更深入地思考它所看到的东西。
Dwarkesh Patel： 值得注意的是，某些事情已经像这样运作了，例如，特斯拉 FSD（完全自动驾驶）。它将受益于从数百万英里驾驶的外围收集的数据。然后由此做出的改进。
Tamay Besiroglu： 是中央指导的，它来自总部，就像，“我们要推送一个更新”。
所以你确实得到了一些这种更中心化的……
Dwarkesh Patel： 而且它可以是一种比他们仅仅做的任何梯度平均（gradient averaging）——我确信特斯拉的技术比那更复杂——智能得多的形式，它可以是一个更深思熟虑的、智能的更新。
Tamay Besiroglu： 所以这是一个预期的原因。另一个原因，我猜，是目前的领导者或 CEO 的大脑并不比工人的大。 也许大一点点……
Dwarkesh Patel： 我不知道你是否想打开那个话匣子……
Tamay Besiroglu： 但不是几个数量级。而你可能让进行规划的模型规模比执行行动的人员或智能体或工人规模大几个数量级。
Ege Erdil： 我认为第三个原因是激励问题，市场存在的部分原因在于它给予人们正确的激励。但如果你使用 AI，你可能就不那么需要它了。 所以我认为有一个论点是，如果你列出人们反对“为什么中央银行行不通？”的传统论点，那么你可能预期它们会变弱。
现在，我认为当你进行那种分析时，有陷入同样类型的局部均衡分析的危险，你只考虑了某些因素，而没有考虑其他因素。例如……
Tamay Besiroglu： 事情变得更复杂，你只是拥有了一个大得多的经济，所以一方面，你收集信息和处理信息的能力提高了，但另一方面，随着事情变得更加复杂，这样做的需求也增加了。
Dwarkesh Patel： 说明这一点的一种方式是：想象一下，如果今天的苹果公司，拥有其所有计算资源等等，被委派去管理乌鲁克（Uruk）（注释：美索不达米亚南部苏美尔和巴比伦尼亚的古代城市）的经济。我认为它实际上可以对经济进行中央计划。乌鲁克的经济结果甚至可能会更好。但是今天的苹果公司无法管理今天的世界经济。
Ege Erdil： 没错。是的。
职业建议
Dwarkesh Patel： 好吧，实际上这将是最后一个问题：让 AI 如此引人入胜的事情之一是，没有任何人类知识领域与研究它无关， 因为我们真正试图……
Tamay Besiroglu： 我对此不太确定。
Dwarkesh Patel： 没有严肃的人类知识领域……
Tamay Besiroglu： 那好多了。
Dwarkesh Patel： ……与研究它无关，因为你从根本上试图弄清楚未来社会会是什么样子。所以显然计算机科学是相关的，但经济学——正如我们一直在讨论的——历史，以及如何理解历史，以及我们一直在讨论的许多其他事情也是相关的。
特别是如果你的时间线更长，并且有足够的时间让某人在这里追求有意义的职业生涯，你会向某人推荐什么？因为你们俩都很年轻。我的意思是，特别是你 Ege，但你们俩都是。你会认为这是那种需要晶体智力（crystallized intelligence）（注释：指通过学习和经验积累获得的知识和技能）或其他什么的事情，特别是考虑到我们之前所说的……看，随着我们获得更多知识，我们将不得不将我们学到的东西纳入考虑，以建立一个更好的关于世界将会发生什么的模型。如果有人对你们俩所拥有的这种职业感兴趣，你对他们有什么建议？
Ege Erdil： 是的，这是个难题。我的意思是，我不确定。我认为在某种程度上，很难刻意地去追求我们可能采取的那种隐含策略。 如果它是自发的，更多地由好奇心和兴趣驱动，而不是你做出一个刻意的选择，“好吧，我就是要学习很多东西，以便我能为关于 AI 的讨论做出贡献”，它可能会效果更好。我认为那种策略可能效果较差。至少我似乎没有见过任何人刻意使用那种策略然后成功了。
Dwarkesh Patel： 是的，我猜我并没有直接为讨论做出贡献，但也许促进了其他人的贡献。我猜这在我这边不是一个刻意的策略，但做播客是一个刻意的策略，这无意中给了我学习多个领域的机会。
Tamay Besiroglu： 是的，所以假设你已经感兴趣、好奇并且阅读了大量东西，研究了大量东西，并思考了这些话题，那么在边际上，你可以做很多事情来让你在为这个领域做出一些贡献方面更有效率。
我认为与人交谈、写下你的想法、并找到特别有用的人进行交流和合作， 我认为这非常有用。所以去寻找那些持有相似观点、你能够与之进行非常高带宽对话并在这些话题上取得进展的人。 我认为这非常有用。
Dwarkesh Patel： 但具体怎么做呢？比如他们应该私信你吗？他们如何进入这个圈子？
Ege Erdil： 是的，当然。
Tamay Besiroglu： 而且，我不知道，和你的朋友建立 Signal 聊天群组之类的。
Dwarkesh Patel： 实际上，我从中获得的 alpha（超额收益）多得惊人。
Ege Erdil： 但是，是的，我认为我会给一般人一条建议，即使他们不是特别考虑 AI，但我认为这对此也有帮助，那就是人们应该在主动联系他人方面更加积极。 人们有一种印象，如果你联系某个看起来非常重要的人，他们不会回复你。但如果你发送给他们的东西有趣且高质量，那么他们非常非常有可能回复。
这方面有更多的优势你可以获得，那就是更加积极，更少害怕显得愚蠢。 这是我会给出的主要建议。因为如果你想变得富有成效，那么再次强调，存在这些互补性，所以你需要成为某个社区或某个组织的一部分。
Dwarkesh Patel： 这又回到了仅仅靠推理没有那么大帮助的事情上。
Ege Erdil： 是的，是的，是的。
Dwarkesh Patel： 就像其他人已经思考了很长时间，并随机地偶然发现了你可以利用的有用的想法。
Ege Erdil： 没错。所以你应该努力将自己置于一个可以成为更大整体一部分的情境中。那不仅仅是在前沿工作，那是一种更有效的贡献方式。而要做到这一点，你必须，嗯，让人们知道。
Dwarkesh Patel： 没错。没错。我认为仅仅来到湾区尤其——特别是对 AI 感兴趣的话。
Ege Erdil： 是的，去湾区很好。只是发帖，比如写点东西然后把它们发布在人们能看到的地方。积极地联系人们并提出有趣的评论。
Tamay Besiroglu： 前提是你的想法有趣等等。
Dwarkesh Patel： 我的意思是，它们可能并不有趣。在许多情况下，我认为就像，我的想法可能仍然不有趣，但人们会容忍我的冷邮件，并且仍然会与我合作等等。
我注意到的另一件事——告诉我这是否真的是错误的模式。对于像你或 Carl Shulman 这样的人，与一个普遍有求知欲或广泛阅读的人相比，你们倾向于更专注于关键文献， 而不是说，“我要去读经典著作或者只是普遍阅读”。更像是，“我要对像 Romer 论文这样的东西给予更多的信任”。而一个普通的有求知欲的人不会去阅读关键文献。
Ege Erdil： 是的。我认为你必须非常注意这样一个事实：你的时间非常有限，你不是 AI 模型。所以你必须积极地优先考虑你将把时间花在阅读什么上。
Tamay Besiroglu： 即使是 AI 模型也没有那么优先考虑。它们主要阅读 Reddit，或者说它们语料库的很大一部分是……
Dwarkesh Patel： 至少是关键的经验文献。至少在你们这些人中。我的意思是，总的来说这可能不是最高效的事情，但是……
Tamay Besiroglu： 我认为那是有用的。我也认为阅读 Twitter 是有用的。 我记得我们有过这样的对话，人们常说他们花太多时间阅读 Twitter，希望花更多时间阅读 arXiv。但实际上，阅读 Twitter 每单位时间获得的信息量通常要高得多， 对他们来说阅读 Twitter 效率高得多。
我认为有一些关键文献很重要，我认为弄清楚那些花了大量时间思考这个问题的人在他们的世界观中认为什么是重要的，这很有用。所以在 AI 领域，这可能是关键论文，比如 Andy Jones 关于推理规模损失的那篇论文是一个大事。
在经济学领域，这篇 Romer 论文，或者解释长期人口的 Kremer 论文，或者来自 David Roodman 等人的论文。我认为，如果你认为思考得非常好的人推荐某篇论文并且他们高度推荐它，那么我认为你应该认真对待并实际阅读那些论文。
Dwarkesh Patel： 对我来说，特别有帮助的是，与其只是浏览大量东西，不如如果有一篇关键文献，例如，为了理解 Transformer，总是有 Karpathy 的讲座，但对我真正有用的一项研究是 Anthropic 最初的 Transformer 可解释性论文（指 Transformer Circuits）。仅仅花一天时间在那篇论文上，而不是浏览它，并制作大量间隔重复卡片（spaced repetition cards）（注释：一种基于记忆曲线原理的学习方法，通过在逐渐延长的间隔时间重复复习来巩固记忆）等等，比仅仅广泛阅读关于 AI 的东西要有用地多。
Ege Erdil： 我认为如果你想正确地优先处理事情，更重要的是，再次强调，成为社区的一部分，或者从社区获得输入，或者从那些思考了很多、拥有大量经验的人那里了解什么是重要的，什么不是。
Dwarkesh Patel： 是的。
Ege Erdil： 这即使在学术领域也是如此。所以如果你想做数学研究，但你不是研究生项目的一部分，你不在一所有大量人整天做数学研究多年的大学里，那么你甚至不会知道我应该研究哪些开放问题？哪些是合理可以攻克的？哪些是不合理攻克的？这个领域的哪些论文是重要的，包含了重要的技术？你根本就不知道。所以以某种方式接入那个信息流是非常重要的。
Dwarkesh Patel： 但是在接入之前你是怎么知道所有这些东西的？因为你在安卡拉没有和任何人交谈。
Ege Erdil： 你不需要交谈。互联网在这方面是一个非常有用的东西。你不一定需要和人交谈，你可以从阅读中获得很多好处。但你只需要识别出，谁是那些看起来持续最有趣的人？ 也许你找到一个人。然后通常那个人会认识其他一些有趣的人。然后你就可以开始追踪这个社交网络。
我可以举一个我认为实际上很准确的例子，也许你知道 Daniel Ellsberg。所以你搜索他参加的播客。你注意到他参加过 80,000 Hours 播客（他确实参加过）。然后你注意到 80,000 Hours 播客上还有一些其他嘉宾。所以也许有 Bryan Caplan，他也参加过这个播客。然后也许 Robin Hanson 也参加过这个播客。然后也许还有那些其他人认识的一些人。然后就像那样追踪那种社交网络并弄清楚该听谁的。我认为那可以……
Tamay Besiroglu： 我认为你正在为使这成为可能提供非常大的服务。我认为你的选择通常非常好。
Dwarkesh Patel： 我实际上很好奇想私下听听我哪里搞错了。嗯，实际上，我想我知道答案。
Tamay Besiroglu： 我认为这使得追踪谁在各个话题上进行最有趣的思考变得容易得多。
Dwarkesh Patel： 没错。酷。我认为以你赞美我来结束是个好地方。再次强调，我强烈推荐大家关注 Epoch。
有一个很棒的每周时事通讯，Gradient Updates，我的意思是，人们会推广时事通讯，但这真是，我不敢相信这东西每周都会发布。
你们现在有了一个新的播客，我不会作为竞争对手来推广，但你可以去看看。
Tamay Besiroglu： 感谢借用你的录音室。
Ege Erdil： 是的，非常慷慨。
Dwarkesh Patel： 不管怎样，酷。谢谢你们，伙计们。
发表回复