目录
欢迎来到TED
克里斯·安德森（TED负责人）： Sam，欢迎来到TED。非常感谢你的到来。
山姆·奥特曼（OpenAI CEO）： 谢谢你。这是我的荣幸。
安德森： 你的公司几乎每隔一周就会发布一些疯狂的、颠覆性的新模型。我一直在试用其中的几个。我想向你展示一下我玩的东西。这是图像和视频生成器Sora。我问Sora：“当你在TED分享一些惊人的启示时，会是什么样子？”你想看看它是如何想象的吗？嗯，还不错，对吧？你会给它打几分？所有手都有五根手指。
奥特曼： 非常接近我穿的衣服。
安德森： 你知道，我从未见过你如此激动。你不是。
奥特曼： 不，我没有。我不是那种情绪激动的人。
AI的创造潜能
安德森： 所以也许是个B。这个真的让我震惊，当我让它设计一个图表来展示智能和意识（指个体对自身存在、思想、感觉以及周围环境的知觉状态）的区别时。你会怎么做？这是它做的。我的意思是，这如此简单，但却令人难以置信。是什么样的过程能让它做到这一点？这显然不仅仅是图像生成。它连接到了你们整体模型的核心智能。
奥特曼： 新的图像生成模型是GPT-4.0的一部分。所以它具备了所有的智能。我认为这也是它能做出这些人们真正喜爱的事情的原因之一。
安德森： 我的意思是，如果我是一名管理顾问，并且我正在玩这些东西，我在想，哦哦，我的未来会是什么样子？
奥特曼： 我认为你可以持有两种观点。你可以说，“哦，天哪，它正在做我所做的一切。我会怎么样？”或者你可以像历史上每一次技术革命那样说，“好吧，现在有了这个新工具。我可以做更多的事情。我将能够做什么？”确实，我们对某个特定工作岗位上的人的期望会提高，但能力将急剧增加，我认为我们很容易就能迎接这个挑战。
安德森： 所以这个也给我留下了深刻印象。我让它想象查理·布朗把自己想象成一个AI，它想出了这个。这实际上相当深刻。你怎么看？我的意思是，一些新模型的写作质量，不仅仅是这里，而是在细节上，真的达到了一个新的水平。
奥特曼： 是的，我的意思是，这是一个令人难以置信的元回答（meta answer），但真的没有办法知道它是在思考这个，还是仅仅在训练集中看到了很多次。当然，如果你无法分辨其中的区别，你又有多在乎呢？
知识产权与创作权益
安德森： 所以这真的很有趣。我们不知道。不过，难道不是吗？乍一看，这像是知识产权盗窃。你们和《花生漫画》（Peanuts）的产权方没有达成协议。
奥特曼： 你可以尽情为此鼓掌。享受吧。我想说的是，我认为人类的创造精神是一件极其重要的事情。我们希望构建能够提升这种精神的工具，让新人能够创作出更好的艺术、更好的内容，写出我们都喜欢读的更好的小说。 我深信人类将处于这一切的中心。
我也相信，我们可能确实需要围绕创意产出的经济学探索出某种新的模式。我认为人们长期以来一直在他人的创造力基础上进行构建。人们长期以来一直在汲取灵感，但随着创造力的获取变得极其民主化，人们无时无刻不在彼此的想法基础上进行构建，我认为存在着令人难以置信的新商业模式，我们和其他人都很兴奋去探索。
具体会是什么样子，我不确定。显然有一些明确界定的东西，比如你不能复制别人的作品。但是你能汲取多少灵感？如果你说，“我想以这七个人的风格生成艺术，他们都同意了，”你如何分配多少钱给每个人？这些都是大问题。但纵观历史，每一次我们将更好、更强大的技术交到创作者手中时，我认为我们整体上会得到更好的创意产出，人们会做出更令人惊叹的事情。
安德森： 我的意思是，一个更大的问题是当他们没有同意的时候。在我们的开幕会议上，卡罗尔·卡德瓦拉德（Carol Cadwalader）展示了ChatGPT以卡罗尔·卡德瓦拉德的风格进行演讲。果然，它做了一个不如她本人演讲精彩的演讲，但已经相当令人印象深刻了。她说：“好吧，这很棒，但我没有同意。”我们将如何处理这个问题？难道没有办法吗？是否应该只允许那些同意的人被模仿，或者是否不应该有一种模式，以某种方式规定，任何在提示中被点名且其作品被使用的人都应该为此得到一些回报？
奥特曼： 所以现在，如果你使用我们的图像生成功能并说，“我想要某种在世艺术家的风格”，它不会这样做。但如果你说，“我想要这种特定氛围、这个工作室、这个艺术运动或诸如此类的风格”，它会做。显然，如果你说，“输出一首像这首歌的复制品的歌”，它不会这样做。这条界限应该在哪里，人们如何说“这太过分了”——我们以前通过版权法和合理使用的界定来解决这个问题。同样，我认为在AI的世界里，我们会找到一种新的模式。
安德森： 我的意思是，世界上充满了创意人士，他们是现在对AI最愤怒或最恐惧的人群之一。感觉自己的作品被窃取、未来被窃取，与感觉自己的作品被放大、可以被放大，这两种感觉是如此不同。如果我们能够转向后一种感觉，我认为这将真正改变全人类对这一切的拥抱程度。
奥特曼： 嗯，我再说一遍，一些创意人士非常沮丧。一些创意人士则觉得，“这是有史以来最棒的工具。我正在做着令人难以置信的新工作。”但是，你知道，这绝对是一个变化。我非常理解那些只是说“我希望这种变化不要发生。我喜欢以前的样子”的人。
安德森： 但原则上，你可以从任何给定的提示中计算出多少……应该有某种方法能够计算出订阅收入或其他收入的多大比例应该分配给每个答案。原则上，如果能够确定其他规则，这应该是可能的，尽管这显然很复杂，你可以计算出某种收入分成。
奥特曼： 现在，如果你是一位音乐家，你花了整个生命，整个童年，等等，都在听音乐，然后你有了一个想法，你去创作一首受你以前听过的音乐启发但又是一个新方向的歌曲。你很难说，“这么多来自我11岁时听的这首歌。这么多来自我看到……”
安德森： 没错。但我们这里谈论的是有人在提示中明确点名某人的情况。
奥特曼： 是的。嗯，再说一遍，现在，如果你试图以一个特定的名字生成图像，我们只是说对于在世艺术家，我们不这样做。但我认为，找到一种新模式会很酷，如果你说，“我想以这位艺术家的名义来做”，并且他们选择加入，那里就有一个收入模式。我认为这是一个值得探索的好事。
OpenAI与开源之争
安德森： 所以我认为世界应该帮助你们迅速找出这种模式。我认为这将产生巨大的影响。实际上，我想快速转换一下话题。你们的模型与开源之间的较量。Deepseek的出现对你们有多大震动？
奥特曼： 我认为开源占有重要地位。实际上，我们昨晚刚刚举办了我们的第一次社区会议，来决定我们开源模型的参数以及我们想如何塑造它。我们将推出一个非常强大的开源模型。我认为这很重要。我们将做一些接近前沿的东西，我认为比目前任何开源模型都要好。 这并非没有代价——会有人以某些方式使用它，也许这个房间里的某些人，也许你或我，不会喜欢。但开源模型将在这里的整个格局中占据重要位置。而且你知道，我认为我们在这方面行动迟缓了，但我们现在会把它做得非常好。
安德森： 我的意思是，你们似乎花费了比Deepseek据称花费的多一个甚至几个数量级的资金，虽然我知道这方面存在争议。你是否有信心真正更好的模型会被认可？或者这在某种程度上是否对“通过大规模投入，数百亿美元的投资，我们就能一直保持令人难以置信的领先地位”的观念构成了生存威胁？
奥特曼： 我打电话求着人们把他们的GPU（图形处理单元，最初用于图形渲染，现广泛用于AI模型训练和推理所需的大规模并行计算）给我们。我们的资源极其受限。我们的增长曲线是这样的。Deepseek推出了，似乎并没有影响它。还有其他事情在发生。
ChatGPT的爆炸性增长
安德森： 告诉我们关于增长的情况。实际上，你在后台给了我一个惊人的数字。
奥特曼： 我从未见过任何公司的增长像这样，无论是我参与过的还是没有参与过的，像ChatGPT的增长这样。这真的很有趣。 我深感荣幸。但亲身经历这一切是疯狂的，我们的团队筋疲力尽，压力很大，我们正在努力维持运转。
安德森： 你们现在有多少用户？
奥特曼： 我想我们上次说的是每周5亿活跃用户，而且增长非常迅速。
安德森： 我的意思是，你告诉我，在计算资源方面，我们在短短几周内翻了一番。
奥特曼： 我私下说的，但我想……
安德森： 哦，我记错了。Sam。对不起。
奥特曼： 没关系。
安德森： 对不起。我们可以把那段剪掉。
奥特曼： 没关系，没关系。没问题。这里没人会……增长非常快。
AI模型的未来
安德森： 所以你很有信心，你看到它像火箭一样起飞。你不断地发布令人难以置信的新模型。你现在在你们最好的内部模型中看到了什么，是你尚未与世界分享，但很想在这个舞台上听到的？
奥特曼： 首先，你问我们是否担心这个模型或那个模型？世界上会有很多智能模型。非常聪明的模型在某种程度上会被商品化。我认为我们将拥有最好的，对于某些用途你会想要那个。但老实说，现在的模型已经非常聪明，对于大多数人想做的大多数事情来说，它们已经足够好了。
我希望随着时间的推移这种情况会改变，因为人们会提高他们的期望。但如果你只是把ChatGPT当作一个标准用户，模型的性能已经非常智能了。但我们必须构建一个伟大的产品，而不仅仅是一个伟大的模型。所以会有很多人拥有伟大的模型，而我们将努力构建最好的产品。
人们想要他们的图像生成，之前看到了一些Sora的视频例子。他们想把它与他们所有的东西整合起来。我们刚刚推出了一个叫做记忆（memory）的新功能，但它比以前的记忆功能好得多，这个模型将在你的一生中逐渐了解你。我们还有更多东西即将推出，以构建这个伟大的集成产品。我认为人们会坚持使用它。所以会有很多模型，但我认为，我希望，我们将继续专注于构建这个领域最好的、定义性的产品。
AI作为个人伴侣
安德森： 我的意思是，在我看到你昨天宣布ChatGPT现在将了解你所有的查询历史后，我输入了“告诉我关于我的信息，ChatGPT，根据你所知道的”。我的下巴都掉了。这太令人震惊了。它知道我是谁，以及所有这些希望大部分是相当恰当和可以分享的兴趣。这令人惊讶，我感到一种真正的兴奋，有点不安，但主要是兴奋，因为它能让我觉得它对我更有用。
奥特曼： 我们的一个研究人员昨天，或者说今天早上，发推说，“上传”（upload）是点点滴滴发生的。不是说你某天把你的大脑接上，而是你会在你的一生中与ChatGPT交谈。某一天，也许如果你愿意，它会在一天中倾听你，观察你在做什么。它会了解你，它会成为你自身的延伸，一个伴侣，一个试图帮助你做到最好、发挥你最大潜能的东西。
安德森： 在电影《她》（Her）中，AI基本上宣布她阅读了他所有的邮件，并认定他是一位伟大的作家，并说服了一家出版商出版他的作品。这是否可能比我们想象的更快到来？
奥特曼： 我不认为会完全像那样发生，但是，是的，我认为朝着AI的方向发展，你不仅仅是去ChatGPT或其他地方说“我有个问题，给我答案”，而是你会主动收到能帮助你、让你变得更好的东西，诸如此类。这似乎很快就会发生。
安德森： 那么，你内部看到了哪些即将出现、你认为会让人大开眼界的东西？至少给我们一点提示，下一个令人瞠目结舌的大事是什么。
AI应用于科学和软件开发
奥特曼： 我个人最兴奋的是人工智能在科学领域的应用。在这一点上，我认为我坚信，推动世界和人们生活越来越好的最重要驱动力是新的科学发现。我们可以用更少的资源做更多的事情。我们某种程度上拓展了可能性的边界。我们开始从科学家那里听到很多关于我们最新模型的消息，他们实际上比以前更有效率了。这确实对他们能发现什么产生了影响。
安德森： 近期可能实现的发现是什么？比如室温超导体？这将是一个伟大的方式来……这可能吗？
奥特曼： 是的，我不认为这被物理定律所阻止。所以它应该是可能的，但我们不能确定。我认为你会开始看到利用AI辅助工具在对抗疾病方面取得一些有意义的进展。物理学可能需要更长一点时间，但我对此抱有希望。
所以这是一个方向。另一个我认为很重要的，并且很快就会开始，比如在未来几个月内。软件开发已经被相当大地改变了。现在创建软件的过程与两年前相比，差异之大令人惊叹。但我预计在未来几个月内，随着代理式软件工程（Agentic software engineering，指AI系统能更自主地理解需求、编写、测试和部署代码，减少人工干预的软件开发模式）真正开始发生，还会有类似规模的巨大进步。
安德森： 我听说有工程师说，他们在接触一些新模型时，几乎有了类似宗教体验的时刻，突然之间他们可以在一个下午完成以前需要两年才能完成的工作。
奥特曼： 是的，是的，它……它真的就像那是我重要的“感受到AGI（通用人工智能，Artificial General Intelligence，指具备与人类相当或超越人类的广泛认知能力的AI系统）”的时刻之一。
风险与安全顾虑
安德森： 但是谈谈你见过的最可怕的事情，因为它……很多人想象你，你知道，你接触到了这些东西，我们听到所有这些关于AI的谣言，比如，“哦，我的天，他们看到了意识，或者他们看到了AGI。或者他们看到了某种末日即将来临。”你有没有见过，有没有一个可怕的时刻，当你内部看到某些东西时，你会想，“哦哦，我们需要注意这个。”
奥特曼： 有过敬畏的时刻。我认为随之而来的总是，这会发展到多远？这将会变成什么？但是没有，比如我们没有秘密地拥有，你知道，我们没有秘密地拥有一个有意识的模型，或者能够自我改进的东西，或者类似的东西。
你知道，人们对于主要的AI风险是什么有非常不同的看法。我自己对于我们将看到这些风险出现在哪里也有所演变。但我仍然相信，会出现非常强大的模型，人们可能以重大的方式滥用它们。人们谈论很多关于新型生物恐怖主义（利用生物制剂或毒素进行恐怖袭击的行为）模型的可能性，这些模型可能带来真正的网络安全（保护计算机系统、网络和数据免遭盗窃、损坏或未经授权访问的做法）挑战。还有能够以某种方式导致失控的自我改进能力的模型。所以我认为存在巨大的风险。然后还有很多其他的东西，老实说，这可能就是很多人所指的，人们谈论虚假信息，或者模型说出他们不喜欢的话，或者类似的事情。
安德森： 坚持第一个问题。你们在内部发布之前会检查这些吗？
奥特曼： 当然，是的。我们有一个准备框架（preparedness framework），概述了我们如何做到这一点。
安德森： 我的意思是，你们的安全团队有一些人离职了。有多少人离开了？他们为什么离开？
奥特曼： 我们有，我不知道确切的数字，但显然对于AI安全系统存在不同的看法。我真的会指向我们的往绩记录。会有人说各种各样的话。你知道，现在世界上大约有10%的人经常使用我们的系统。我们对安全记录感到非常自豪。
安德森： 但在某种程度上，往绩记录不是问题，因为，不，它不是。我们谈论的是一种指数级增长的力量，我们担心我们可能某天醒来，世界就终结了。所以这真的与往绩记录无关。这关乎于能够有说服力地表明，已经部署了相应的机制，以便在看到危险时迅速关闭系统。
奥特曼： 哦，是的，是的，不，当然，当然这很重要。你不会某天醒来说，“嘿，我们没有任何安全流程。现在我们认为模型非常聪明了。所以现在我们必须关心安全。”你必须在这条指数曲线上一直关心它，当然风险会增加，并且存在巨大的挑战。但我们学习如何构建安全系统的方式是这个迭代过程：将它们部署到世界中，在风险相对较低时获得反馈，了解比如“嘿，这是我们必须解决的问题。”我认为随着我们进入这些代理式（agentic）系统，有一大类新的事物我们必须学会解决。
定义AGI
安德森： 那么让我们谈谈代理式系统以及它与AGI的关系。我认为这方面存在混淆。我很困惑。所以，通用人工智能。感觉ChatGPT已经是一种通用智能了。我可以问任何事情，它都能给出智能的回答。为什么那不是AGI？
奥特曼： 它不是。首先，你不能问它任何事情。你这么说真是太好了，但它在很多事情上仍然表现得令人尴尬地糟糕。但即使我们解决了这些问题，希望我们能做到，它也不能持续学习和改进。它不能去改进它目前薄弱的方面。它不能去发现新的科学知识并更新它的理解。
而且它也不能……即使我们降低标准，它也不能仅仅完成你可以在电脑前完成的任何知识工作。实际上，即使没有那种在尚不了解的事情上变得更好的能力，我也许会接受那作为AGI的定义，但目前的系统，你不能说，“嘿，去为我的工作完成这个任务。”然后它就去网上点击，给某人打电话，查看你的文件，然后完成它。没有这个能力，它感觉绝对达不到AGI。
安德森： 你们内部是否有一个关于AGI是什么的明确定义？你认为我们什么时候可能达到那个阶段？
奥特曼： 这是其中之一……就像那个笑话。如果你把10个OpenAI的研究人员叫到一个房间里，让他们定义AGI，你会得到14个定义。
安德森： 但这令人担忧，不是吗？因为这最初一直是使命。我们将成为第一个达到AGI的公司。我们会安全地做到，但我们没有一个明确的定义。
奥特曼： 我正要完成回答。但我认为重要的是，人们想知道的不是那个“我们完成了”的神奇时刻在哪里，而是考虑到看起来将会发生的是，模型只会变得越来越聪明、越来越能干，越来越聪明、越来越能干，越来越聪明、越来越能干，沿着这条漫长的指数曲线发展，不同的人会在不同的点上称之为AGI。
但我们都同意它将远远超越那个点，达到无论你想称之为什么的系统，这些系统将比我们能干得多。重要的是我们如何讨论一个在所有这些步骤中以及之后都保持安全的系统，当系统变得比我们更强大时，当系统能做我们不完全理解的事情时。
我认为，比起“AGI何时到来”和“它的定义是什么？”，更重要的是认识到我们正处于这条令人难以置信的指数曲线上。你可以说，这是我认为的AGI。你可以说，你认为这是你认为的AGI。其他人可以说，超智能（superintelligence）在那里。但我们将不得不面对并从这个令人难以置信的系统中获得巨大的好处。所以我认为我们应该把对话从“AGI时刻是什么”转向认识到，这东西不会停止。它将远远超出我们任何人所称的AGI，我们必须建立一个社会来获得它的巨大好处，并弄清楚如何使它安全。
代理式AI与安全挑战
安德森： 嗯，本周的一个讨论是，真正的改变时刻是……我的意思是，AGI是个模糊的东西，但清晰的是代理式AI（agentic AI）。当AI被赋予自由去自主追求项目并将各个部分组合起来时，你们实际上，你们有一个叫做Operator的东西，它开始做这个了。我试用了一下。你知道，我想预订一家餐厅，这有点不可思议。它某种程度上可以继续并完成它，但这是它……这是一个有趣的过程，你知道，“给我你的信用卡”以及其他一切。在这种情况下我拒绝继续。
但我认为这是……这是人们将面临的挑战。这有点像……它是一种令人难以置信的超能力。有点吓人。Yoshua Bengio在这里演讲时说，代理式AI是需要关注的事情。当我们赋予AI权力去互联网上做事时，一切都可能出错。我的意思是，进入互联网在科幻故事中总是那个时刻，你知道，逃脱发生了，潜在的事情可能变得非常糟糕。你们如何既发布代理式AI，又设置护栏以确保它不会走得太远？
奥特曼： 首先，显然，你可以选择不这样做，然后说，“我不要这个。我要打电话给餐厅，通过电话告诉他们我的信用卡号。”
安德森： 我可以选择，但其他人可能会说，“哦，去吧ChatGPT，到整个互联网上，重写互联网，让它对人类更好”或者随便什么。
奥特曼： 是的，我的意思是我正要说的是，就像任何新技术一样，人们需要一段时间来适应。我记得，就像我以前不会在互联网上输入我的信用卡，因为我的父母说服了我，就像有人会读到号码，你必须填表然后给他们打电话。然后我们都某种程度上说，好吧，我们会建立反欺诈系统，我们可以适应这个。我认为人们在很多方面会慢慢适应代理式AI。
但我也非常同意你所说的，即使有些人适应了，有些人没有，我们也会有AI系统在互联网上点击。我认为这是我们迄今为止面临的最有趣、最重大的安全挑战。因为你授予AI访问你的系统、你的信息、在你的电脑上点击的能力，现在那些……当AI犯错时，风险就高得多。
它是关于……我们之前谈到了安全和能力。我有点认为它们越来越成为一个维度。好的产品就是安全的产品。如果你不信任我们的代理不会清空你的银行账户、删除你的数据或天知道还会做什么，你就不会使用它们。所以人们想使用他们真正信任、真正安全的代理。我认为我们的进展受限于我们实现这一目标的能力。但这是产品的基本组成部分。
安德森： 在一个代理无处不在的世界里，比如说开放模型被广泛分发，有人说，“好吧，AGI，我希望你到互联网上去，尽你所能传播一个‘X人是邪恶的’的模因（meme，指文化信息、观念或行为，通过模仿等非遗传方式，在人与人之间传播）”或者随便什么。这不必是个人选择。一个人就可以把那个代理放出去，而代理可以决定，“嗯，为了执行那个功能，我必须把自己复制到任何地方。”你们内部是否明确划定了红线，知道危险时刻是什么，并且我们不能发布可能超越这些红线的东西？
奥特曼： 是的。这就是我们准备框架（preparedness framework）的目的，我们会随着时间的推移更新它。但我们已经试图概述我们认为最重要的危险时刻在哪里，或者类别是什么，我们如何衡量，以及在发布之前我们如何缓解某些问题。从谈话中我可以感觉出你不是一个AI的忠实粉丝。
安德森： 正相反，我每天都在用它。我对它感到兴奋不已。我认为这是一个令人难以置信的时代。我不会想活在任何其他时代，我迫不及待地想看看它会走向何方。但我们一直持有，我认为持有这种态度至关重要。你不能把人分成不同的阵营。你必须对可能性抱有热情的信念，但又不能被过度诱惑，因为事情可能会变得非常糟糕。
奥特曼： 我想说的是，我完全理解这一点。我完全理解看着这一切说，这是世界即将发生的令人难以置信的变化，也许我不想要这个，或者也许我喜欢它的某些部分，也许我喜欢和ChatGPT交谈，但我担心艺术会发生什么，我担心变化的步伐，我担心这些代理在互联网上这里点击那里点击。也许总的来说，我希望这没有发生，或者也许我希望它发生得慢一点，或者也许我希望它以一种我可以挑选哪些进步会发生的方式发生。
我认为恐惧是完全合理的。那种焦虑是完全合理的。我们都有很多。但是，A，显然会有巨大的好处，你知道，你每天都在用它，你喜欢它。B，我真的相信社会会随着时间的推移，尽管一路上会犯一些大错误，但会弄清楚如何正确地利用技术。C，这将会发生。这就像一项基础物理学的发现，世界现在已经知道了，它将成为我们世界的一部分。我认为这场对话非常重要。我认为讨论这些危险领域非常重要。讨论新的经济模式非常重要。但我们必须谨慎地拥抱这一切，而不是恐惧，否则我们会被其他使用AI做得更好的人甩在后面。
AI安全与监管
安德森： 你实际上一直是安全最有力的倡导者之一。你在参议院作证，我想你说过，我们基本上应该成立一个新的安全机构，对任何超过一定能力阈值的AI项目进行许可，并拒绝许可某些项目。你仍然相信那个政策建议吗？
奥特曼： 我对政府如何运作有了更多的了解。我认为这不完全是正确的政策建议。
安德森： 那什么是正确的政策建议？
奥特曼： 我确实认为，随着这些系统变得更加先进并具有合法的全球影响，我们需要某种方式，也许是公司自己为这制定正确的框架或模式，但我们需要某种方式，让非常先进的模型接受外部安全测试，并且我们能在接近某些危险区域时有所了解，我仍然非常相信这一点。
安德森： 我觉得具有讽刺意味的是，一个安全机构（safety agency）可能是我们想要的，然而代理（agency）恰恰是那个不安全的东西。这里的语言有点奇怪，但无论如何……
奥特曼： 我能再说一件事吗？
安德森： 请讲。
奥特曼： 我确实认为这个概念，即我们需要为模型定义严格的测试，理解我们社会集体最想关注的威胁是什么，并确保随着模型变得越来越强大，我们有一个系统，让我们都能了解世界上正在发布什么。我认为这非常重要，而且我认为我们离那些将引起巨大公众关注的模型不远了。
安德森： 所以，Sam，我问了你们的01 Pro推理模型，它非常……
奥特曼： 谢谢你。价值200美元。
安德森： 每月200美元。物超所值。我能问你的最尖锐的问题是什么？它思考了两分钟。两分钟。你想看那个问题吗？
奥特曼： 我想看。
安德森： “Sam，鉴于你正在帮助创造可能重塑我们整个物种命运的技术，谁授予了你或任何人这样做的道德权威？如果你错了，你个人如何负责？”它很棒。那令人印象深刻。
奥特曼： 在过去半小时里，你一直在问我这个问题的不同版本。你怎么看？
道德权威与责任
安德森： 但我想说的是这个。这是我对那个问题的版本，但没有答案。你对我的问题是什么？
奥特曼： 如果是你，你会如何回答那个问题？
安德森： 我不知道。我对你感到困惑。我有点敬畏你，因为你创造了世界上最令人惊叹的事物之一。关于你有两种说法。一种是你是一位令人难以置信的远见卓识者，完成了不可能的事情，你用比谷歌少得多的人震惊了世界。你拿出的东西比他们做的任何事情都强大得多。我的意思是，你所建立的东西令人惊叹。
但另一种说法是，你改变了立场，你从开放的AI（Open AI），这个开放的东西，转向了构建超级强大东西的诱惑。而且，你知道，你失去了一些关键人物。外面有一种说法。有些人认为在这个领域你不可信。我很想知道你是谁。你自己的叙述是什么？Sam，你的核心价值观是什么，能给我们世界信心，相信一个在这里拥有如此巨大权力的人有资格拥有它。
奥特曼： 听着，我认为像其他人一样，我是一个细微复杂的人物，不能简单地归结为一个维度。所以，你知道，可能一些好的方面是真的，可能一些批评也是真的。
就OpenAI而言，我们的目标是创造AGI并分发它，使其安全，为了人类的广泛利益。我认为，从各方面来看，我们在这方面做了很多工作。显然，我们的策略随着时间的推移有所改变。我想我们长大后并不知道自己会成为什么样子。我们没想到我们必须围绕这个建立一家公司。我们学到了很多关于它是如何发展的，以及这些系统对资本的现实需求。
但我认为，在将极其强大的AI以高度的安全性交到很多人手中，并给他们工具去做他们将要做的任何令人惊叹的事情方面。我认为很难给我们打一个差评。我确实认为，我们应该更多地开源是公平的。我认为，出于你之前问的所有原因，当我们不确定这些系统将产生什么影响以及如何使它们安全时，我们谨慎行事是合理的。
你之前的很多问题至少表明了对我们那样运作方式的一些同情。但现在我认为，作为一个世界，我们有了更好的理解，现在是我们向世界推出非常强大的开放系统的时候了。如果你明年再邀请我回来，你可能会因为有人滥用了这些开源系统而对我大喊大叫，说你为什么那样做？那很糟糕。你不应该回到你的开放根源。
但是，你知道，我们做的每件事都有权衡，我们只是这场AI革命中的一个参与者，一个声音，试图尽我们所能，以负责任的方式引导这项技术进入世界。我们肯定犯过错误。将来肯定会犯更多错误。但总的来说。 我认为在过去的将近十年里，现在已经很长时间了。你知道，我们基本上做了我们着手要做的事情。我们面前还有很长的路要走。我们的策略未来还会改变。但对这种使命以及我们试图做的事情的坚持，我认为非常坚定。
权力与责任
安德森： 你发布了这个。好吧，所以这是《指环王》里的权力之戒（Ring of Power），你的竞争对手，我会说，目前不是你最好的朋友，埃隆·马斯克声称，你知道，他认为你被权力之戒腐蚀了。顺便说一句，这是一个指控。一个指控。一个也可以适用于埃隆的指控，你知道，公平地说。但我现在很好奇，人们，你拥有……
奥特曼： 我可能会回应。我正在考虑。我可能会说点什么。
安德森： 当我们看到科技CEO变得越来越强大，越来越富有，每个人心里都在想的是，他们能驾驭得了吗？还是权力变得不可抗拒？权力与财富是否让做正确的事情有时变得不可能？你是否只需要紧紧抓住那枚戒指？你怎么看？你有时会感觉到那枚戒指吗？
奥特曼： 你觉得我相对于其他获得了大量权力并改变了行为方式或在世界上做了很多事情的CEO来说，做得怎么样？你觉得……
安德森： 你有一个美好的……你不是一个粗鲁、愤怒、会对别人说攻击性话语的人。你不会那样做。
奥特曼： 那是我的唯一缺点。
安德森： 不，我认为在你个人的行为方式上，令人印象深刻。我的意思是，有些人问的问题是，那是真实的你，还是有其他事情在发生？但我只是希望你看到……
奥特曼： 你放上了索伦的权力之戒或者随便什么东西。所以我接受这个反馈。我做过什么让你觉得我被权力腐蚀了？
安德森： 我认为恐惧在于，仅仅是OpenAI向营利模式的转变，你知道，有些人会说，看吧。你被对财富的渴望腐蚀了。你知道，曾经一度它是不包含股权的。它会让你变得极其富有，顺便说一句。我个人不认为那是你的动机。我认为你想建造那些酷到极致的东西。而我担心的是你的竞争感，你看到其他人在做，这使得以正确的速度发展变得不可能。但你告诉我，如果你不觉得……世界上很少有人拥有你所拥有的那种能力和潜力。我们不知道那是什么感觉。那是什么感觉？
奥特曼： 令人惊讶地和以前一样。我认为你可以一步步地习惯任何事情。我想如果我从十年前一下子被传送到现在，会感觉非常迷失方向。但任何事情都会变成某种新的常态。所以感觉并没有什么不同。坐在这里谈论这个很奇怪，但是，你知道，日常生活的单调，我是以最好的方式说的，感觉完全一样。
安德森： 你还是同一个人。
奥特曼： 我的意思是，我肯定在各种方面都不是了，但我感觉没有任何不同。
为人父母与视角
安德森： 这是你发布的一件美好的事情。你的儿子，我的意思是，你最后说的那句，“我从未感受过这样的爱。”我想房间里任何一位父母都非常了解那种感觉，那种人类拥有而AI永远不会有的狂野的生物学感觉，你的整个白天，你的孩子。我想知道这是否改变了你对事情的看法。比如，假设这里有一个红盒子，这里有一个带红色按钮的黑盒子，你可以按下那个按钮，你很可能给你的儿子带来最难以置信的生活，但同时你也注入了10%他会被毁灭的风险。你会按下那个按钮吗？
奥特曼： 在字面意义上，不。如果问题是，我是否觉得我的工作在做那样的事情？答案是我也不觉得是那样。有了一个孩子改变了很多事情，这是发生在我身上迄今为止最神奇的事情。就像每个人说的都是真的。 我的联合创始人伊尔亚（Ilya Sutskever）曾经说过，我不知道，这是转述，大概是，“我不知道生命的意义是什么，但它肯定与婴儿有关”，这难以置信地准确。
这改变了我愿意在某些事情上花费多少时间，不和我的孩子在一起的代价简直高得离谱。但是，你知道，我以前就非常关心不毁灭世界，我现在仍然非常关心。我不需要一个孩子来促使我关心那部分。我的意思是，我确实更多地考虑未来对他具体会是什么样子。但我感觉有责任为未来，为每个人，尽我所能做最好的事情。
AI发展的必然性
安德森： 特里斯坦·哈里斯（Tristan Harris）本周在这里做了一个非常有力的演讲，他说他认为关键问题在于，你和你在其他模型领域的同行基本上都觉得先进AI的发展是不可避免的，竞赛已经开始，除了努力赢得这场竞赛别无选择。并且要尽可能负责任地去做。也许有一种情景，你的超级智能AI可以充当其他人AI的刹车之类的。但每个人都相信它是不可避免的这一事实本身，意味着这是一条通往严重风险和不稳定的道路。你认为你和你的同行确实觉得这是不可避免的吗？你能看到任何摆脱困境的途径吗？我们可以集体同意稍微放慢速度，让整个社会多一些权衡，然后说，不，我们不希望这发生得这么快。这太具颠覆性了。
奥特曼： 首先，我认为人们一直在放慢速度，因为技术还没准备好，因为某些东西不够安全，因为某些东西不起作用。我认为所有的努力都有搁置、暂停、延迟、不发布某些能力的情况。所以我认为这种情况是存在的。而且，这也是我认为往绩记录确实重要的地方。如果我们匆忙推出东西，并且存在各种各样的问题，无论是产品不像人们期望的那样工作，还是存在真正的安全问题或其他问题。我会回到我们做出的一个改变上。
我认为你可以那样做。大多数努力之间都有沟通，只有一个例外。我认为所有的努力都非常关心AI安全。我认为人们真的非常用心想要把这件事做好。 我认为把这描绘成只是一场疯狂的竞赛或冲刺之类的漫画化说法，忽略了人们试图快速推出模型并为人们制造伟大产品这一细微之处。但人们感受到了这件事的巨大影响，以至于，你知道，我想如果你能去OpenAI或其他公司的会议室坐坐，你会觉得，“哦，这些人现在真的在关心这件事。”
我们最近确实改变了我们对传统上被理解为安全的一部分的看法，那就是对于我们的新图像模型，我们给了用户在传统上我们认为是言论伤害（speech harms）方面更大的自由度。如果你试图被模型冒犯，模型会让你被冒犯吗？过去，我们在这方面有更严格的护栏。但我认为模型对齐（alignment）的一部分是遵循模型用户希望它做的事情，在社会决定的非常宽泛的界限内。
所以，如果你要求模型描绘大量暴力或类似的东西，或者强化某种刻板印象，它是否应该这样做就成了一个问题。我们现在采取了更为宽容的立场。现在有一个地方，这开始与现实世界的危害相互作用，我们必须弄清楚如何划定界限。但我认为会有这样的情况：公司说，好吧，我们听到了来自社会的反馈。人们真的不希望模型以他们认为不合理的方式审查他们。这是一个公平的安全协商。
集体决策
安德森： 但就这是一个集体信念问题而言，解决这类问题的办法是把人们聚集在一起，在某一点上会面，达成不同的协议。如果有一群人，比如这里或世界上的其他人，愿意主办一个由最优秀的伦理学家、技术专家组成的峰会，但人数不多。小而精。以及你和你的同行，试图破解全球范围内可以达成一致的安全底线，你愿意参加吗？你会敦促你的同事参加吗？
奥特曼： 但我更感兴趣的是我们数亿用户整体上想要什么。 我认为历史上很多决策都是在小型精英峰会上决定的。关于AI的一个很酷的新事物是，我们的AI可以与地球上的每个人交谈，我们可以了解每个人想要的集体价值偏好，而不是让一群被社会祝福的人坐在一个房间里做这些决定。
我认为这非常酷，而且我认为你会看到我们朝着这个方向做更多的事情。当我们搞砸了事情，因为房间里的精英们对于人们想要的ImageGen护栏有不同的看法，与人们实际想要的不同。而且我们无法指出实际的危害。所以我们做出了那个改变。我为此感到自豪。
安德森： 我的意思是，数亿人的行为产生意想不到后果的历史记录由来已久。
奥特曼： 一个房间里的一百个人也会产生后果，对吧？
安德森： 而数亿人无法控制，他们不一定能看到下一步可能导致什么。
奥特曼： 我希望那是完全准确和正确的。我希望AI能帮助我们变得更明智，做出更好的决定，能与我们交谈。如果我们说，嘿，我想要X东西，你知道，与其让大众盲目跟风，AI可以说，“嘿，完全理解那是你想要的。如果在这场对话结束时那仍然是你想要的，你说了算。你来选。但是你有没有从这个人的角度考虑过，或者它会对我们这些人产生什么影响？”我认为AI可以帮助我们比以前更明智，做出更好的集体治理决策。
未来一代
安德森： 好了，我们时间严重超了，Sam。我把最后的话留给你。综合考虑，你相信你的儿子将成长在一个什么样的世界里？
奥特曼： 我记得那是很久以前了。我不知道第一代iPad是什么时候出来的。大概是15年前？类似的时间。我记得当时在YouTube上看了一个视频，一个小蹒跚学步的孩子坐在医生办公室的候诊室里或类似的地方。那里有一本杂志，就是那种旧的光面封面杂志，那个蹒跚学步的孩子把手放在上面，像这样滑动，有点生气。对那个蹒跚学步的孩子来说，那就像一个坏掉的iPad。她从未想过一个没有触摸屏的世界。而对所有观看这个视频的成年人来说，这是一件令人惊奇的事情，因为这就像，它如此新颖。它如此神奇。这是一个奇迹。就像，当然，你知道，杂志是世界运转的方式。
我的孩子们，希望永远不会比AI更聪明。他们永远不会在一个产品和服务不是极其智能、极其强大的世界里长大。他们永远不会在一个计算机不能就那样理解你，并且，你知道，对于你能想象到的任何定义，做你能想象到的任何事情的世界里长大。这将是一个物质极其丰富的世界。这将是一个变化速度极快、令人惊叹的新事物不断发生的世界。这将是一个个人的能力、影响力等等，远远超出今天一个人所能及的世界。
我希望我的孩子和你们所有的孩子回望我们时，会带着一些怜悯和怀旧，觉得，“他们过着如此可怕的生活。他们如此受限。世界如此糟糕。”我认为这很棒。
安德森： 你所构建的东西令人难以置信。真的。难以置信。我认为在未来几年里，你将面临一些最大的机遇，最大的道德挑战，最大的决策，也许是历史上任何人类所面临的最大决策之一。你应该知道，这里的每个人都会为你做正确的事情而加油。
奥特曼： 我们会尽力而为。非常感谢。
安德森： 感谢你来到TED。谢谢。
奥特曼： 非常感谢。