从路侧数据到 4D 世界：世界模型如何重塑自动驾驶的训练场？

如果说两年前，世界模型还只是自动驾驶里略显前沿的一条技术路线，那么到今天，它已经在自动驾驶领域里占据了两个重要位置：一个是模型路线，世界模型被很多人认为是通往自动驾驶终局的技术路径；另一个则是训练、仿真和长尾场景验证中的重要工具。 真实路测能采到大量日常场景，却很难稳定覆盖那些低频、高风险的极端情况，譬如暴雨夜间的逆光路口、施工区域里的临时改道、大车遮挡下突然出现的行人，单靠车队“碰运气”的效率太低，如果用传统仿真手工搭场景，又很难跟真实道路的复杂度对齐。 有人把自动驾驶仿真叫世界模型，有人把 3D 场景生成叫世界模型，也有人把自动驾驶里的算法模型叫世界模型。这些说法都没有错，但它们讲的显然不是同一个东西。 李飞飞创立 World Labs 后，一直在强调空间智能。她的一个基本判断是，语言模型并不是人类理解世界的全部方式。最近，她在一篇题为《A Functional Taxonomy of World Models》的文章里，试图向公众厘清世界模型这个概念。 世界模型要知道车在哪里，人在哪里，遮挡关系如何变化，一个动作发生后，环境会变成什么样。如果只靠 2D 视频里的像素相似度，模型可以学到很多视觉规律，却很难稳定学到空间结构、动态轨迹、多视角关系和动作后果。 它们需要的世界模型，不能只预测摄像头下一秒会看到什么。它还要知道画面背后发生了什么：车在哪里，人在哪里，道路边界、遮挡关系，以及某个动作执行以后，环境状态会不会跟着变化。 这里的“真值”，可以理解成模型训练时用来对照的标准答案。普通视频训练里，答案是下一帧图像；4D 真值监督里，答案不只是图像，而是一套动态的世界状态。 空间层面，它要有三维几何。车辆、行人、道路、障碍物不能只停留在二维画面里，而要有真实空间位置。车在第几条车道，离本车多远，朝向如何，行人站在路边还是已经进入车道，这些都要被表达出来。 动态层面，它要保留时间里的变化。车辆是加速还是减速，行人是在等待还是横穿，两个交通参与者是否正在形成冲突关系。 自动驾驶系统做出减速、变道、绕行之后，周围交通会如何变化；机器人抓取、推动、碰撞之后，物体姿态会不会改变，这些都是世界模型要学习的内容。 Occupancy 可以理解成把车辆周围空间切成很多小格子，每个格子记录这里有没有东西以及是什么。BEV 则更像从高处俯瞰整个交通场景，把车道、车辆、行人、障碍物和可行驶区域，投射到统一坐标系里。 很多世界模型会在这个状态空间里训练。它不直接预测下一帧视频，而是预测未来几秒的 occupancy、BEV 或对象轨迹。换句话说，模型要回答的不是“下一帧长什么样”，而是“下一刻世界会变成什么状态”。 这种表达的好处是把世界状态结构化了，模型更容易学习空间关系和动态变化。但它也有明显局限。无论是 occupancy 还是 BEV，本质上都是一种压缩后的世界表示。 压缩过程中，大量视觉细节会被丢掉，比如纹理、光照、天气变化以及一些长尾场景里的细微信息。对于规划和预测任务来说，这些信息未必重要；但如果希望世界模型同时承担数据生成、仿真验证甚至通用物理世界建模的任务，仅靠 occupancy 或 BEV 往往不够，它们很难完整表达真实世界的复杂性。 NeRF、3D 高斯泼溅这一类技术，近两年在自动驾驶仿真和数据生成里出现得很多。它们的思路不是把真实世界存成视频，而是把场景变成一种可以从不同视角重新渲染的三维表示。 因为自动驾驶训练经常需要多视角一致。前摄像头看到一辆车，侧摄像头也应该在对应位置看到同一辆车。三维重建相当于先把世界建立起来，再从这个世界里生成不同视角的数据。 但三维重建只解决了一部分问题。真实道路不是纯粹静态的模型，于是行业里会把静态背景和动态对象分开建模：道路、建筑、树木、路沿属于相对稳定的背景；车辆、行人、骑行者，则需要跟踪它们在时间里的位置和姿态。 一段交通场景不再是很多帧图片，而是一个随时间更新的世界：道路、建筑和基础设施构成相对稳定的空间框架，车辆、行人和骑行者在其中持续运动，而遮挡、交互、让行和冲突等关系也随着时间不断变化。 同一辆车不能在前视图里离本车 20 米，换到侧视图里却像在 5 米外；一个行人不能在空间里忽远忽近，只因为画面生成时纹理发生了变化。几何真值会约束物体位置、尺度和朝向。 车辆的轨迹要连续，速度变化要合理；行人不能前一秒还在路边，下一秒没有运动过程就跳到车道中央。时间真值让模型学到“变化”本身，而不是只学到一帧一帧的样子。 自动驾驶不是单眼看世界。前视、侧视、后视、鸟瞰、点云，最终都要对应同一个真实场景。多视角真值会让模型知道，不同传感器看到的是同一个世界，不是几段彼此无关的视频。 但车端数据天然带着单车视角的局限。它看到的是“这辆车眼前的世界”，不一定能还原整个路口的交通关系。被大车挡住的行人、侧后方快速接近的车辆、路口另一侧正在形成的冲突，很多时候并不完整。 汤元科技成立于 2024 年，公司总部目前在苏州相城区。这个位置很特殊。苏州相城这些年一直在推智能网联汽车和车路云一体化，许多路口、道路上都部署了摄像头、激光雷达、毫米波雷达和边缘计算设备。 这些设备原本服务于车路协同和智慧交通，它们也提供了一种特殊的数据来源：不是某一辆车眼前看到的世界，而是一个路口、一段道路里更完整的交通状态。 汤元科技 CEO 任冬淳长期做机器人、自动驾驶和世界建模研究，后来在美团自动驾驶负责过算法研发和工程落地。这种从研究到产业一线的经历，也让汤元在做世界模型时，更关注数据生产、真值构建和训练闭环这些实际问题。 汤元科技团队的一篇公开论文 I2V-GS，讨论的就是这个问题。论文全名是 Infrastructure-to-Vehicle View Transformation with Gaussian Splatting for Autonomous Driving Data Generation。简单来说，就是把路侧视角转成车端视角，用来生成自动驾驶训练数据。 路侧设备站得高，看得远，更容易看到路口里的整体交通关系；车端传感器贴在车身上，位置低，视角窄，看到的是驾驶系统真正面对的输入。 两者之间不是简单的相机位置变化，而是整个空间关系都变了。同一辆车、同一个信号灯，在两个视角里的大小、位置和遮挡关系都会变。 3DGS 是用大量分布在三维空间里的 Gaussian 来表示场景。每个 Gaussian 带着位置、尺度、颜色、透明度等信息，组合起来之后，就能从新的相机位置重新渲染这个场景。 关键不在于生成出一张新的图片，而在于先把场景本身建立起来。只有把车、人、道路、信号灯这些元素放回统一的三维空间里，后面的视角转换才有意义。否则，路侧到车端就只是图像层面的拼接和补全，看起来或许足够真实，但背后的空间关系未必正确。 但路侧数据本身并不完美。摄像头固定，视角有限，数量也不可能无限多。要从这些稀疏视角里重建出一个稳定的三维场景，本来就不容易。 单目深度估计可以告诉模型哪里远、哪里近，但数字未必准确。看起来像 20 米，实际可能不是 20 米。I2V-GS 的处理方式，是用 LiDAR 来校准单目深度。 LiDAR 在这里更像一个空间参照系，用来校准场景里的真实距离。车离路口到底多远，行人离车道有多近，不能只靠图像猜。深度被锁定之后，后面的视角转换才有更可靠的几何基础。 从路侧高位视角切到车端低位视角，近处的车变化大，远处的背景变化小；原来被遮住的地方会露出来，原来看得见的地方也可能被挡住。直接把图像投过去，常常会留下空洞和拉伸。 adaptive depth warp 利用深度信息，把原始路侧图像变成一批新的伪视角。可以把它理解成给 3DGS 增加训练角度：原来只有几个固定路侧镜头，现在通过深度引导，补出一批更接近车端位置的中间视角。 它负责补全新视角里缺失的区域，比如车身背面、天空或被遮挡的部分。但扩散模型的问题在于，它生成的内容未必和真实世界一致。如果每个视角单独补全，不同视角之间就可能对不上。 汤元的方法并不是简单地把路侧视频生成车端视频，而是搭建了一条完整的数据链路：先重建三维场景，用 LiDAR 校准深度和尺度，再通过 adaptive depth warp 补充中间视角，利用扩散模型填补缺失区域，最后用跨视角约束保证整个场景的一致性。 在这条链路里，生成模型当然重要，但它不是唯一主角。更重要的是前面的几何重建、深度校准和后面的多视角一致性检查。没有这些约束，生成出来的车端画面越像，反而越容易掩盖错误。 I2V-GS 给构建世界模型提供了一种新的思路。方法有了之后，如何转化一个可以持续生产数据、服务客户训练和验证流程的平台？ 对真实的客户而言，他们需要的是能稳定生产并用于训练的数据。车端视角的视频、多传感器真值、场景标注、可以复现的 corner case，以及能反复验证算法策略的仿真环境。 它没有从零搭一个虚构场景，再让它尽量接近真实世界，而是从真实道路出发。路口、道路、车辆、行人、路侧传感器数据先被重建进数字空间，再从这个空间里生成车侧视角训练数据、合成视频、3D 真值和仿真场景。 这样做的好处是，数据的起点是真实道路。真实交通里的空间结构、对象关系、遮挡和动态变化先被保留下来，再去做视角转换、天气光照变化和长尾场景扩展。 路侧传感器再多，也会有看不到的地方。比如天空、远处背景、被遮挡区域、极端天气下的光照变化，这些都很难只靠三维重建完整补出来。如果场景要进一步泛化到更多天气、更多光照、更多复杂环境，单靠重建还不够。 Cosmos 在这里没有替代 4D 重建，而是补上重建之后仍然缺失的部分。它可以做缺失信息补全、多样化视角生成和复杂环境泛化，把一个真实路口扩展成更多训练样本。 它交付的是能进入自动驾驶研发流程的数据资产。比如高保真合成视频集，可以补充视觉训练样本；3D 真值，可以用于感知和场景理解；多场景标注，可以接入客户已有的数据管理和训练流程。 合成数据解决的是“模型还没见过什么”；闭环仿真解决的是“模型遇到之后会怎么做”。同一个危险路口，可以改变车流密度、天气、行人轨迹和本车策略；同一个 corner case，也可以在不同算法版本里反复测试。 汤元科技曾与梅赛德斯-奔驰、清华大学共建基于 4D 结构数据的闭环仿真平台，用于自动驾驶开发、测试与验证。除此之外，它也向头部主机厂和 Tier1 客户交付过高保真合成视频集、3D 真值与多场景标注等数据产品，支持量产流水线使用。 一次大车遮挡后的行人穿出，一辆非机动车的突然变道，一个施工路口里的临时绕行，一场雨夜里的反光和误判。对普通交通系统来说，它们只是路面上不断流过的瞬间；对自动驾驶来说，这些瞬间都是宝贵的训练材料。 汤元科技所做的，是把这些正在真实世界里发生的场景，通过路侧数据、4D 重建和生成补全重新组织起来，让它们从一次性的道路事件，变成可以反复训练、复现和验证的场景资产。