Jeff Dean单飞后首次公开亮相：谈Gemini、以及什么技术值得赌五年

就在前一天午夜，他正式结束了在 Google 长达 27 年的职业生涯。Jeff Dean 在现场开玩笑说，自己大概只“失业了一秒钟”，因为紧接着，他的新 AI 创业公司 Discovery Loop 就开始运转。 这也是 Jeff Dean 离开 Google 后的首次公开对话。与他对谈的，是被誉为“计算机安全教母”的 UC Berkeley 教授宋晓冬（Dawn Song）。今年 6 月，宋晓冬也刚刚完成一次职业转变：她离开自己联合创办的 AI 安全创业公司 Virtue AI，与多名团队成员一起加入 Meta Superintelligence Labs，担任 AI Research 副总裁，负责前沿模型和 Agent 系统的 AI 安全与安全性研究。 这是一组十分有趣的对照。正如宋晓冬在现场所说，即便是台上的两个人，对于“一家做 AI 的公司，最合适的规模应该有多大”，也没有完全相同的答案。 自 1999 年加入 Google 以来，Jeff Dean 参与过 MapReduce、Bigtable 等早期基础设施建设，后来共同创建 Google Brain，并参与推动 TensorFlow、TPU、Gemini 等一系列重要项目。8 月 5 日，他正式宣布与长期合作伙伴 Sanjay Ghemawat，以及 Quoc Le、Oriol Vinyals 等人共同创办 Discovery Loop。 新公司注册为公益公司（Public Benefit Corporation），目标是利用 AI 自动化机器学习、科学和工程研究中的实验循环。Alphabet 也是公司的投资者，Google 将作为其云计算合作伙伴提供基础设施支持。与再训练一个更大的通用模型相比，Discovery Loop 想解决的问题更进一步：让 AI 从回答科学问题，走向真正参与科学发现。 而就在这场对话前，Jeff Dean 亲自在社交媒体上晒出了 Discovery Loop 的“豪华”融资 BP。其中，最引人注意的莫过于几位创始人过去带过、合作过的人才谱系：Dario Amodei、Ilya Sutskever、Noam Shazeer，以及月之暗面创始人杨植麟、xAI 创始团队成员戴自航、张国栋等都出现在名单中，勾勒出过去十多年 Google Brain 向今天 AI 创业圈扩散的一张人才网络。 今天的大模型已经可以阅读论文、编写代码、分析数据，甚至解决一部分数学和科学问题。但这些能力仍然主要发生在一次任务之中：人类提出问题，模型给出答案。 Discovery Loop 希望把 AI 放进更长的科研循环里。模型不只是提出一个候选答案，而是提出假设、设计实验、运行和评估实验，再根据实验结果判断下一步应该尝试什么。这样的过程不断重复，从而形成一个“Discovery Loop”。 Jeff Dean 希望最终训练出能够同时覆盖多个科学和工程领域的模型。单个人类研究者通常只能在少数领域形成博士级专业能力，而模型理论上可以横跨更多学科，再同时运行和评估大量实验。如果其中许多步骤都能够自动化，科研的迭代速度就可能发生变化。 在此次对谈中，Jeff Dean 进一步给出了一个更具体的设想：如果原本需要一周完成一次的实验迭代，可以被压缩到一小时，同时让系统并行运行数千个实验，再由模型判断哪些方向最值得继续探索，并把有限的计算和实验资源分配过去，那么科研效率的变化就可能不再只是百分之几十，而是数量级的提升。 但这里恰好存在一个目前 AI for Science 最关键的争议。今年 1 月，Google DeepMind 研究员 Tom Zahavy 发表了一篇题为《LLMs can't jump》的 position paper。他以爱因斯坦提出广义相对论的过程为例，将科学推理区分成三类：从大量现象总结规律的归纳（Induction）、从既定公理推出结果的演绎（Deduction），以及面对有限证据时，提出一种此前并不存在的新解释框架的溯因（Abduction）。 爱因斯坦并不是因为拥有比别人多得多的数据，才从牛顿力学“计算”出了广义相对论。他需要先改变描述问题本身的基本前提。Zahavy 把这种从经验跳向新公理的过程称为一次“Jump”，并认为当前主要依靠文本和既有数据训练的 LLM 缺少与物理世界交互的感知基础，因此尚不具备这种科学发明所需要的能力。论文提出，多模态、能够主动干预环境的 world model，可能是弥补这一缺口的一条路径。 需要强调的是，《LLMs can't jump》是一篇提出观点的 position paper，并不是已经证明“AI 永远无法科学发现”的实验结论。但它提出的问题非常关键：能够搜索、推理和优化已有知识，并不等于能够创造新的科学解释。 Google DeepMind 团队在今年 7 月讨论 AI Agent 与科学发现时，也提出了一个相似的限制：AI 正在让科学假设和候选方案越来越便宜，但真正验证这些想法仍然需要昂贵而缓慢的实验。细胞需要时间生长，化学反应需要时间发生，对于大量真实科学领域，“实验室仍然决定着研究速度”。 从这个角度看，Discovery Loop 最值得关注的地方并不是“用一个更强的 LLM 做科学”。Jeff Dean 想把模型、实验、反馈以及下一轮探索连接起来。也就是说，如果单纯依靠训练数据中的知识无法完成科学发现，那么就让 AI 不断从新的实验结果中获得新的信息，再决定下一步行动。 过去，研究人员已经尝试让机器学习系统自动寻找更好的神经网络架构，包括后来出现的 Evolved Transformer。Jeff Dean 提到，这类方法曾找到比标准 Transformer 更高效的架构。但真正重要的启发并不是某一个具体模型，而是：模型架构本身，也可以成为一个由 AI 自动搜索、评估和改进的循环。 沿着这个思路继续往下推，数据选择可以形成一个循环，评估设计可以形成一个循环，训练算法本身也可以形成一个循环。如果把这些循环连接起来，AI 就不再只是帮助研究人员完成某一步，而开始参与整个 AI 研发过程。 再向外抽象一步，这其实已经非常接近科学方法本身：拆解问题、提出假设、进行实验、评估结果，再把结果反馈给下一轮探索。 回看他过去二十多年的工作，可以看到他本人一个相对稳定的技术取向：寻找已经显露潜力、但尚未被充分放大的方向，再通过新的系统和架构，把这种能力进一步扩展。 这种思路在 2017 年的 MoE（Mixture of Experts，混合专家）论文中体现得尤其明显。当时 Jeff Dean 与 Noam Shazeer、Geoffrey Hinton、Quoc Le 等研究人员提出 Sparsely-Gated Mixture-of-Experts。基本思想并不复杂：模型可以拥有大量不同的专家模块，但面对一次具体输入时，并不需要调用所有参数，而只激活其中与当前任务相关的一小部分。 这使模型容量与单次计算成本部分解耦。研究团队当时构建的模型最高达到 1370 亿参数，并证明模型容量可以大幅增加，而计算成本不必同比例增长。Jeff Dean 在此次对谈中回忆，当团队看到相比稠密模型，训练算力与模型效果之间出现接近数量级的改善时，很快意识到这种方法值得继续推进。 对 Jeff Dean 来说，这种数量级的变化本身就是一个重要信号。在他的判断里，如果一种方法带来的不是 10% 或 20% 的改进，而是接近 10 倍的变化，它往往意味着这里可能存在一种基础性的技术转折，而不仅仅是一时的热点。 Jeff Dean 说，当年设计 TensorFlow 的一个基本原则，就是让研究者尽可能感觉不到底层机器的存在。一个研究人员脑中有一个机器学习模型，不应该首先考虑它究竟运行在 CPU、GPU 还是 TPU 上，也不应该因为要扩展到几百甚至几千个计算设备，就重新设计整个程序。TensorFlow 的任务，是把这些复杂性留给底层系统处理。TensorFlow 后来确实被设计为可以让相同计算跨移动设备、CPU、GPU，以及大规模分布式系统执行。 在这次对谈中，Jeff Dean 也很少见地复盘了 TensorFlow 没做好的地方。他认为，最初没有采用后来 PyTorch、JAX 中流行的 eager execution，是一个明显不足；早期过于开放的 contrib 目录，也逐渐产生了大量完成相似任务的不同方案，最终增加了社区的困惑。 到了 Gemini，这套思路又从基础设施延伸到模型能力本身。Jeff Dean 提到，Google Brain、DeepMind 和其他团队当时已经分别走向一个相似方向：与其先训练语言模型，再不断把视觉等能力“接”上去，不如从一开始就训练多模态模型。 他曾写下一份只有一页纸的备忘录，提出这种组织上的分割已经没有必要，应该把不同团队的人才、想法和算力放到一起。此后从第一代 Gemini 开始，多模态便成为模型设计的重要基础。 代码也是团队有意强化的一项能力。Jeff Dean 认为，编程不仅意味着让模型能够写程序，更重要的是，它要求模型把复杂问题拆解成一系列更小的步骤，再逐一解决，这种能力可以迁移到更多推理问题中。 从 TensorFlow 到 MoE，再到 Gemini，看起来是三个完全不同的技术阶段，但它们背后都有同一个问题：能不能改变系统的组织方式，让原本难以扩大的能力继续扩大。现在 Jeff Dean 把这个问题从模型转向了科学。 在这个问题上，Jeff Dean 的办法并不是大量精读某一个方向的论文，反而更倾向于广泛略读。“与其精读一篇，不如略读十篇。”在他看来，阅读的一个重要作用，是不断扩大自己对“什么已经成为可能”的认识，再寻找那些原本没有被连接起来的东西。 而一个适合投入几年时间的问题，必须处于一个相当微妙的位置。Jeff Dean 举了一个形象的例子：如果解决一个问题大约需要七个关键环节，那么比较理想的状态是，其中五个已经出现可行的迹象，还有两个仍然真正不确定。如果七件事情全部不知道怎么做，这个问题可能二十年都得不到答案；如果七件事情都已经清楚，那么研究往往会变成一场执行速度的竞争。 也就是说，他倾向于寻找中间的区域：整体方向已经若隐若现，但仍然存在几个决定成败的未知变量。从这个标准看，Discovery Loop 处在一个类似的阶段。 对于如今的 AI 来说，科学发现自动化已经不再是一件完全无法想象的事情，但距离真正跑通也远远没有到只剩工程实现的程度。这可能正是 Jeff Dean 所说的那个“五个开始可行、两个仍然未知”的区域。 按照传统判断，AI 应该有利于大公司。前沿模型需要大量 GPU、数据、工程系统和资本，这些都是 Google、Meta 等公司拥有的资源。但过去几年，越来越多顶尖 AI 研究人员却选择从大公司离开，进入创业公司。 Jeff Dean 的解释是，云计算改变了这个问题。过去，只有大型科技公司能够自己建设数据中心和完整的机器学习基础设施，而今天，这部分能力正在被云计算“外部化”。一支十人左右的小型研究团队不再需要自己拥有数据中心，也可以直接获得以前只有大型科技公司才能拥有的机器学习基础设施。 Discovery Loop 本身也是这种模式：公司希望维持一支规模较小、目标高度集中的团队，但 Google 仍是其投资者和云计算合作伙伴，并将在早期向公司提供计算资源。 小公司提供的是专注，大公司提供的是基础设施。宋晓冬解释，自己此前选择创业，是因为职业生涯更早阶段还没有准备好进入大公司；如今加入 Meta，则是因为数十亿用户和大量企业构成的规模，让她有机会把 AI 安全真正嵌入大规模产品。她本人此前也明确表示，加入 Meta 后将重点推进前沿模型和 Agent 的 AI safety 与 security。 一个选择从大组织走向小团队，一个选择从创业公司进入大平台，两种判断其实不矛盾。Jeff Dean 并没有认为 Google 这样的公司失去了创新能力。相反，他的新公司依然建立在过去二十多年大型科技公司建设的 AI 基础设施之上。对 Jeff Dean 来说，小公司的吸引力首先来自组织上的专注：让一群人围绕同一个使命工作。