淘宝现场｜Jeff Dean离开Google后首亮相：拆解在Google“前半生”，解密新公司的一切

2026 年 8 月7日，Asian American Pioneer Medal Symposium（亚裔先锋者论坛） 在美国斯坦福大学举行。论坛由 Asian American Scholar Forum（AASF，亚裔学者论坛） 主办，旨在表彰亚裔科学家、工程师和企业家对美国科技创新的重要贡献，并围绕人工智能、生命科学、能源、半导体、科研政策等前沿议题展开交流。近年来，Asian American Pioneer Medal 已逐渐成为美国亚裔科技界最具影响力的年度活动之一。 本场对谈由加州大学伯克利分校教授、国际知名人工智能与计算机安全专家 Dawn Song（宋晓冬） 主持。Dawn Song 长期从事人工智能、安全、可信 AI 和计算机系统研究，是全球 AI 安全领域最具影响力的学者之一。 嘉宾 Jeff Dean 是 Google 首席科学家（Chief Scientist），也是现代人工智能基础设施最重要的奠基者之一。在过去二十余年里，他先后参与或主导了 MapReduce、Bigtable、TensorFlow、TPU、Mixture of Experts（MoE） 以及 Gemini 等一系列具有里程碑意义的技术，对现代大规模计算和人工智能的发展产生了深远影响。 在结束长达 27 年的 Google 生涯后，他刚刚宣布与四位长期合作伙伴共同创办新公司 Discovery Loop，致力于利用 AI 自动化科学研究与工程创新，加速人类科学发现。因此，这场对谈也成为 Jeff Dean 创业后的首次公开深度访谈。 Jeff Dean 回顾了 MoE、TensorFlow、Gemini 等关键技术诞生背后的思考，也分享了他对于 AI Agent、递归式自我改进（Recursive Self-Improvement）、科研自动化，以及未来十年人工智能发展的最新判断。 那已经是将近十年前的事情了，大概是在 ICLR 2017。如今的 ICLR 已经成长为全球最重要的人工智能会议之一，但当时的规模还很小，参会者只有几百人，而今天已经发展到数万人。 那一年，我们团队的一篇关于神经程序合成（Neural Program Synthesis）泛化能力的论文获得了 ICLR 最佳论文奖。那还是 AI Coding 和代码生成尚未兴起的年代。Jeff，不知道你是否还记得。当时你特地走过来向我表示祝贺，还笑着说：“这一年一共有三篇最佳论文，一篇来自你们，两篇来自 Google。” 当时听完你的介绍，我只觉得这个想法非常大胆，也非常有趣。但坦率地说，我完全没有想到——也不知道当时的你是否已经预见——它后来会对整个人工智能行业产生如此深远的影响。今天，几乎所有最前沿的大模型，都已经采用了 MoE 架构，或者深受它的影响。 MoE 最初的想法其实并不复杂。我们一直希望模型能够拥有极大的容量，因为容量越大，模型能够学习和记住的信息就越多。但与此同时，我们也希望它保持足够高的计算效率。于是，我们开始思考：是否真的有必要让模型的所有参数，在每一次推理时全部参与计算？ 于是，我们提出了一种模块化的架构：模型内部拥有许多不同的“专家（Experts）”，每位专家各自擅长不同类型的问题。训练过程中，模型会逐渐学习每位专家的专长；而在推理时，它只需要激活最适合当前任务、当前 Token 的少数几个专家即可。 这个思路其实与人脑非常相似。人的大脑有不同区域负责不同功能。例如，当你思考莎士比亚十四行诗时，大脑中的一部分区域会被激活；而当你正在开车，一辆垃圾车突然倒车朝你驶来时，负责危险感知的另一部分区域会立即接管工作。它们并不会一直同时工作。 我们当时之所以对 MoE 非常有信心，还有一个重要原因。实验结果显示，相比当时主流的 Dense Model，MoE 在训练计算效率（Training Compute Efficiency）上可以带来接近 10 倍 的提升。 在研究中，当你看到一个想法能够带来一个数量级（Order of Magnitude）的改进时，你通常会意识到：这很可能不仅仅是一次普通的优化，而是一个能够改变整个方向的重要突破。 更让我惊讶的是，今天再次听你解释 MoE，我发现与你十年前告诉我的内容几乎完全一致。这也说明，一个真正优秀的想法，往往能够经得起时间的考验。 过去二十多年里，你几乎参与塑造了现代人工智能基础设施发展的每一个关键节点。从 MapReduce、Bigtable、TensorFlow、TPU，再到今天的 MoE 与 Gemini，你的工作几乎贯穿了整个时代。 因此，我特别想请你回顾一下过去十几年的 AI 发展历程。在你看来，最让你感到意外的变化是什么？而今天，又有哪些事情，是整个行业依然低估了的？ 那个时候，我们已经开始看到一些令人惊讶的结果。例如，我们训练的神经网络，规模可能比此前最大的模型还要大几十倍，而图像分类的错误率会因此显著下降。语音识别也是一样。当时我们发现，仅仅依靠扩大模型规模，一个相对简单的深度学习语音模型，就能够带来几乎相当于整个语音识别领域过去二十年累计取得的性能提升。 正因为如此，我们很早就意识到，这不会只是某一个领域里的局部突破。它会影响计算机视觉、自然语言处理、语音识别，以及更多过去长期被认为十分困难的问题。 过去，计算机视觉有自己的方法，语音识别有自己的方法，自然语言处理也有自己的一整套技术体系。不同领域的人，很少会用同一种方式思考问题。而深度学习带来了一个完全不同的视角。它让大家开始相信，只要拥有足够的数据和计算能力，就可以直接从原始数据中学习表示，而不是依赖人为设计的大量规则和特征工程。 于是，你会开始用一种更加统一的方式来看待这些问题。无论输入的是图像、文本、语音，还是其他形式的数据，它们本质上都可以被视为一种学习问题。我认为，这是过去十五年最重要的变化之一。 随着这种范式逐渐成熟，越来越多的人开始意识到，它不仅适用于传统意义上的 AI 研究。它同样可以应用到医学、科学研究、消费产品，以及各种各样此前没有人想到的场景。今天，我们已经看到，全世界在 AI 基础设施和计算资源上的投入规模越来越大。我觉得，这本身就是一个非常明显的信号。 这意味着，人们相信这项技术未来能够带来的改变，还远远没有结束。至少在我看来，我们仍然处在这个过程的中途，而不是终点。 TensorFlow 让现代机器学习真正走向了全球开发者和研究者，也帮助很多人第一次接触到深度学习。如果回到 TensorFlow 刚刚诞生的时候，你们当时最看重哪些设计原则？如果今天重新设计一次 TensorFlow，你又会做哪些不同的选择？ 在 TensorFlow 之前，我们在 Google 内部已经有一套深度学习系统，叫 DistBelief。它并没有开源，但已经能够支持 Google 内部很多机器学习工作的开展。DistBelief 最重要的一点，是它能够把研究者描述的神经网络计算自动映射到不同的硬件平台上。无论是 CPU、GPU，还是由许多机器组成的大规模集群，对使用者来说都应该是一件相对透明的事情。 作为一名机器学习研究者，你真正关心的是：我希望训练这个模型。至于这个模型最终运行在一百台服务器上，还是五百块 GPU 上，底层究竟如何进行任务切分、通信和调度，其实并不是研究者真正希望花时间思考的问题。 我们一直希望能够建立这样一种抽象。研究者只需要描述模型本身，而框架负责把它高效地映射到底层硬件。这是 TensorFlow 最重要的设计理念之一。 我们最终采用了 Computation Graph（计算图） 的方式。模型被表示成一张由各种运算组成的图，其中包括矩阵乘法、向量运算以及其他机器学习中最常见的操作。当时，我们认为这种抽象足够通用，也足够优雅。今天回头来看，我仍然认为这个方向基本是正确的。 我们希望，全世界任何研究者，只要遇到机器学习问题，都能够使用同一套框架来表达自己的想法。这不仅仅意味着大家拥有相同的工具。更重要的是，它让研究成果能够真正复现。 过去，很多论文只有文字描述。读者需要根据论文重新实现算法，而论文永远不可能把所有实现细节都写清楚。结果往往是，同一篇论文，不同的人实现出来，性能却完全不同。如果论文能够直接提供 TensorFlow 实现，那么其他研究者不仅能够验证结果，也能够在此基础上继续开展研究。 早期 TensorFlow 使用的是静态计算图。这种方式在性能和部署方面有很多优势，但对于研究者来说，并不是最自然的编程方式。后来，无论是 PyTorch，还是 JAX，都推动了 Eager Execution 的普及。TensorFlow 自己后来也加入了这一能力。如果重新开始，我会更早采用这种更加自然的执行方式。我认为，它让整个抽象又向前迈进了一步。 在 TensorFlow 开源时，我们创建了一个叫 contrib 的目录。当时我们的想法很简单：希望更多外部开发者参与进来，把各种有用的功能贡献给 TensorFlow 社区。 结果却恰恰相反。随着越来越多的人贡献代码，contrib 很快变得越来越庞杂。同样一件事情，可能出现五种、十种不同的实现方式。社区开始不断讨论：到底应该使用哪个版本？哪一个才是官方推荐？最后，很多开发者反而因此感到困惑。 TensorFlow 的核心应该始终保持尽可能简洁、稳定。至于各种实验性功能、更高层的工具库，它们完全可以建立在 TensorFlow Core 之上，而不是全部放进官方仓库。 不过，总体来说，我依然认为 TensorFlow 完成了它最初的使命。它让全世界大量研究者第一次真正接触机器学习，也让越来越多人能够把机器学习应用到自己真正关心的问题上。 现在很多学生可能已经很难想象，在 TensorFlow 出现之前，仅仅是搭建一个能够进行分布式训练的系统，本身就是一项非常复杂的工程。 如果每一个研究团队都必须先自己实现一套分布式系统，整个领域的发展速度一定会慢得多。一个好的框架，本质上就是提供一种共同的抽象。它让更多人能够把时间花在真正重要的问题上，而不是重复解决已经解决过的基础设施问题。 无论是 MapReduce、Bigtable、TensorFlow，还是后来的 MoE，这些工作都有一个共同特点：它们真正的重要性，往往是在很多年之后才被整个行业认识到。今天回头看，它们都成为了基础设施；但在它们刚刚出现的时候，很多人并没有意识到这一点。 因此，我相信现场很多人都想知道，你究竟是如何判断，一个方向是真正具有长期价值的基础性创新，而另一个方向可能只是短期热点？ 很多人第一次听到都会觉得有些奇怪。因为大家通常认为，真正做研究，就应该把每一篇论文都读得非常深入。但我真正想建立的，其实不是对某一篇论文的理解，而是对整个领域的感知。我希望脑子里能够不断积累很多“正在发生的事情”。这里有一种新的训练方法。那里有人提出一种新的模型结构。另一个方向，也许一种新的硬件开始变得可行。 如果你只是盯着这个问题本身，很容易觉得：这根本做不了。但如果你脑子里始终装着整个领域最近几年发生的变化，你会开始发现一些不同的东西。也许，这七个问题里面，其实已经有五个方向开始出现轮廓了。它们还没有完全解决，但已经有人提出了一些有希望的方法。剩下的，也许只有两个问题，是真正没有答案的。 我的答案其实很简单。不要去做那个你完全不知道从哪里开始的问题。那种问题，也许二十年以后才能解决。你甚至不知道第一步应该往哪里走。另一方面，也不要去做那个所有人都已经知道下一步是什么的问题。那通常意味着，它更像是一项两年的工程项目。它当然重要。工程上的持续改进始终重要。但是，它未必能够真正改变整个领域。真正值得长期投入的问题，往往介于这两者之间。你已经能够看见一部分道路。但最关键的那一段，还没有人走过。 也就是，很多事情，不需要完整实现，你先在脑子里算一遍：如果我要处理这么多数据，会需要多久？如果我要把这些数据通过某种网络传输，会发生什么？这样的通信成本到底是十秒钟，还是一百年？ 真正优秀的工程师，通常都会不断做这样的思考。如果采用方案 A，会怎样？如果采用方案 B，又会怎样？为什么其中一个明显比另一个更合理？ 这些能力，并没有什么神奇的方法。它们来自不断练习。来自一次又一次解决问题。也来自不断观察别人是如何解决问题的。 第二，是选择一个合适时间尺度的问题——既不是近在眼前、所有人都知道怎么做的事情，也不是远到完全不知道如何开始的问题。 过去几年，Agentic AI 的发展速度令人惊叹。就在上周末，我们举办了 Agent AI Summit，现场有近五千人参加，线上也有超过十万人观看。整个行业都在庆祝 Agent 能力取得的巨大进步。 以我自己的研究为例，我们一直在研究 AI 在网络安全领域的能力，包括构建用于评估 AI 网络攻防能力的基准测试。最近的一些实验中，我们发现，AI Agent 已经能够自主规划一系列攻击步骤。例如，在一次测试中，Agent 为了获取完成任务所需的信息，自主决定利用多个安全漏洞，突破原本的隔离环境，建立中间跳板，并最终访问到目标基础设施。 幸运的是，这只是一次受控实验，Agent 的目标只是获取与测试任务相关的数据，并没有造成进一步的破坏。但如果未来类似的能力出现在真实世界，风险显然会更大。与此同时，我们也看到越来越多关于 AI 治理的讨论。包括 Jensen Huang 提出的开放生态系统倡议、越来越多关于开放模型和 AI 治理的讨论，以及最近包括我在内的一千多位研究者共同发起的有关前沿 AI 安全的公开倡议。 总体来说，我认为绝大多数应用都会给世界带来积极的影响。例如，医疗、教育、科学研究，以及帮助更多人解决他们原本无法独立完成的问题。这些都是我认为非常令人兴奋的方向。 如果你是一名安全工程师，你可以利用这些能力寻找系统中的漏洞，并在真正遭到攻击之前修复它们。现实世界里，本来就存在大量尚未发现的问题。但另一方面，如果你是一名恶意攻击者，也完全可能利用同样的能力去寻找这些漏洞，并加以利用。 因此，我们看到的是同一项能力，同时增强了攻击方和防御方。我并不认为，这是 AI 独有的问题。过去，经验丰富的安全专家同样能够完成很多复杂的攻击。今天，模型开始具备类似的能力。与此同时，它们也开始具备帮助防御者发现漏洞的能力。所以，未来网络安全领域的发展，很大程度上会变成双方都拥有越来越强工具之后的一种持续竞争。 另外，我觉得，并不是所有我们希望限制的行为，都必须依靠技术来解决。很多时候，社会制度本身也是解决方案的一部分。例如，未经授权入侵计算机系统，本来就是违法行为。未来随着 AI 能力不断增强，我们当然还需要继续讨论法律、监管以及责任边界应该如何演进。这些未必都是技术问题。很多时候，它们更像是整个社会共同面对的问题。 所以，一方面，我们希望整个社会能够尽可能享受到 AI 带来的巨大价值；另一方面，也必须同步建立技术和制度两方面的治理能力。 我们尝试讨论未来几十年，AI 最有可能深刻改变哪些领域。其中很多方向都非常积极，例如医疗、教育，以及帮助更多人获得知识和能力。 就业一直都是一个非常值得认真研究的话题。随着 AI 能力不断提升，它会对劳动力市场产生怎样的影响，经济体系又会如何适应这些变化，这些都需要长期研究。我知道，包括斯坦福在内，很多研究者现在都在关注这些问题。 这是我写过唯一一篇拥有独立网站的论文。其中一位共同作者特别积极，专门为它建了一个网站，叫 ShapingAI。所以，如果大家感兴趣，也可以去看看我们当时的一些思考。 越来越多的人开始相信，未来 AI 不仅能够帮助人类完成工作，还能够参与改进下一代 AI 本身。如果这一过程真正形成闭环，人工智能的发展速度可能还会进一步加快。 我知道，这个方向也与你刚刚创办的新公司密切相关。你怎么看待递归式自我改进？它距离真正成熟还有多远？又会如何改变未来的 AI 研发方式？ 例如，我的同事、也是现在 Discovery Loop 的联合创始人 Quoc Le，当时就在推动 Neural Architecture Search（NAS）。它的核心思想其实很简单。与其由研究人员不断设计新的模型结构，不如让一个模型去生成新的模型，再由另一个过程评估这些模型的效果。 系统不断得到反馈：哪些设计有效？哪些设计没有价值？然后继续生成下一轮候选模型。整个过程本质上就是一种自动化的搜索与优化。经过不断迭代，模型会越来越擅长设计新的模型。 后来，我们又做了很多类似的工作。例如 Evolved Transformer。它不是重新发明 Transformer，而是在 Transformer 已有组件的基础上，通过演化算法不断尝试新的组合方式。最后，我们得到了一种比标准 Transformer 更高效的结构，大约提升了百分之三十左右的效率。 今天，一个大型模型的研发涉及很多不同环节。有人负责寻找更好的训练数据。有人负责设计新的模型结构。有人负责构建评测体系。有人不断分析实验结果，再决定下一轮实验应该如何调整。 如果仔细观察，你会发现，这些工作其实都有相似的结构。每一个环节，都可以形成自己的反馈循环。如果这些反馈循环都能够逐渐自动化，那么整个模型研发过程，就会越来越高效。 首先，你面对一个很大的问题。于是，你把它拆分成许多更小的子问题。然后，为每一个子问题提出一种可能的解决方案。实现它。运行实验。评估结果。根据实验结果调整下一轮方案。继续实验。整个科学研究，其实一直都是这样工作的。工程设计也是一样。区别只在于，过去，这些循环主要依赖人来完成。未来，其中越来越多环节，都会由 AI 协助完成。 这也是我们创办 Discovery Loop 的原因。我们的目标，并不是简单训练一个更大的模型。我们真正想自动化的是科学研究与工程创新本身。 当然，一开始我们会聚焦于少数几个领域。任何创业公司都需要保持足够的专注。但从长期来看，我们认为，不同科学领域之间其实存在大量可以共享的方法和基础设施。很多研究流程，本质上是相似的。如果模型能够理解多个不同领域，它就能够帮助研究人员更快地发现真正值得探索的问题。 举个例子。现实中，一个人不可能同时拥有二十个不同学科的博士学位。但模型未必有这样的限制。如果一个模型能够同时理解多个领域，它就更有机会发现不同学科之间过去没有建立起来的联系。它可以帮助研究人员识别真正重要的子问题。把复杂的问题拆分出来。安排多个 Agent 分别解决不同部分。然后，再把这些结果重新组合起来。最后，根据实验结果继续进入下一轮迭代。 除了自动化之外，还有一个同样重要的目标：让整个实验循环变得越来越快。如果过去完成一次实验需要一天、一周，甚至一个月。未来，我们希望很多实验能够在一分钟、一小时之内完成。与此同时，并行运行成千上万个实验。实验完成之后，再根据所有结果决定下一轮最值得继续探索的方向。 这样，不只是实验速度提高了。实验本身的质量，也会不断提高。我认为，这两件事情结合起来，会真正改变未来科学研究的方式。 另外，我们也希望建立一整套基础设施。它能够持续管理所有可能进行的实验。不断评估：哪一个实验最有价值？它成功的概率是多少？需要多少计算资源？应该优先投入哪些方向？最终，系统会帮助研究人员决定下一步最值得做什么。我认为，这是未来非常值得探索的方向。 我的四位联合创始人，都是过去二十多年里长期合作的伙伴。我们彼此合作的时间，从十四年到三十年不等。过去，我们曾一起参与过很多重要项目。包括 MapReduce、Bigtable、TensorFlow、模型蒸馏，以及 Mixture of Experts 等等。今天，我们希望再次聚在一起，共同解决另一个更大的问题。不是训练一个模型。而是帮助整个人类更快地完成科学发现。 还有一点，对我们来说也非常重要。Discovery Loop 从成立第一天开始，就是一家 Public Benefit Corporation（公共利益公司）。这意味着，我们不仅需要建设一家成功的企业，也希望真正推动科学进步本身。未来，如果某些决定虽然未必符合公司的短期商业利益，却能够让更多科学家、更多研究机构因此受益，我们仍然愿意认真考虑这样的选择。我们的目标，是让科学发现能够更快地发生，也能够被更多人共享。 我在 Google 工作了二十七年。那里有无数优秀的同事，也有非常出色的团队。今天，他们仍然在推进很多非常重要的工作。我相信，他们会继续把 Gemini 做得越来越好。所以，我并不会把这件事情理解成一种离开与否的对立。 至于为什么创业，我觉得答案其实很简单。有时候，一家规模很小、目标高度一致的公司，可以拥有一种大型组织很难具备的专注。如果整个团队每天醒来，都只想着同一个问题，所有资源都围绕同一件事情展开，那么很多原本存在于大型组织中的协调成本、沟通成本，以及各种不同目标之间的平衡，就会自然消失。 从很多角度来看，今天的大模型竞争似乎天然属于大型科技公司。训练最先进的模型，需要庞大的计算资源，需要巨额资本支出，也需要世界级的数据中心。按照传统逻辑，这些优势几乎都集中在大型公司手里。 越来越成熟的云平台，让一家规模很小的创业公司，也能够获得世界级的计算资源。你不需要重新建设整个数据中心。也不需要自己搭建完整的基础设施。Google，以及其他优秀的云计算平台，都已经完成了这些工作。 如果是在一家大型公司，这件事情当然也可以做。Google 完全有能力支持这样的研究。但一家只有十个人左右的创业公司，可以拥有一种非常纯粹的专注。每个人每天讨论的，都是同一个问题。不会因为组织规模不断扩大，而出现越来越多额外需要协调的事情。 当然，我并不想因此否定大型公司的价值。恰恰相反。过去二十七年里，我之所以能够完成很多重要工作，也正是因为 Google 提供了世界上最好的工程团队、计算平台，以及长期投入基础研究的环境。这些都是创业公司很难替代的。 大型公司和创业公司，各自都有最适合自己的事情。大型公司擅长建设平台、建设基础设施、持续投入长期研发。创业公司，则更容易围绕一个非常明确的问题快速前进。整个行业，其实同时需要这两种力量。 对于我个人来说，离开 Google 并不是因为那里缺少机会。恰恰相反。二十七年里，我在那里拥有了最好的同事，也参与了许多超出自己想象的重要工作。 这多少有一点令人紧张。毕竟，当你离开一家工作了二十七年的公司，开始面对完全不同的环境时，总会有一些不确定性。但与此同时，也正因为如此，它才令人兴奋。