百度无人车搞出“黑客帝国”!世界模型实时推演全局,跑一天抵三年

王者归来已是老翁行业资讯📡 量子位2026-11-0556 阅读💛 255 收藏

百度无人车搞出“黑客帝国”!世界模型实时推演全局,跑一天抵三年

连路人都有自己的想法

杰西卡 发自 凹非寺

量子位 | 公众号 QbitAI

100万公里——

大约是地月平均距离的2.6倍,足够沿着赤道绕地球25圈。

一套L4无人驾驶系统,如果要完成如此规模的真实路测,意味着什么?

按照单辆车每天行驶150公里计算,相当于连续行驶超过6600天。即便投入上百辆测试车同时上路,也要耗时两个多月。何况真实道路上的复杂情况,很多时候也不会按照测试计划出现。

很长一段时间内,这都是无人驾驶规模化发展面临的一道现实难题。每一次车队运营范围扩大、驾驶系统更新,往往都伴随着大量需要验证的交通场景。

但如今,这种在真实世界中费时费力的验证方式,有了新的思路。

刚刚,百度Apollo正式披露了全新世界模型ApolloWorld。它能够利用AI构建持续变化的虚拟交通环境,让无人车在其中经历不同天气、道路和交通参与者,完成一整趟Robotaxi行程。

无人车的加速、减速或者变道,都可能改变周围交通参与者的选择,进而演化出不同的结果。

啊这……看起来像是自由度很高的交互式游戏。

而这座虚拟城市,如今已经有了实际用途。

据介绍,ApolloWorld已开始应用于萝卜快跑无人车的全球化测试与验证,把更多原本需要在真实道路上完成的训练和验证,放到云端进行。

最直观的变化就是效率。

按照百度披露的数据,ApolloWorld一天完成的虚拟路测里程,相当于一辆配备安全员的真实测试车连续行驶大约三年。

这代表一度需要依靠大量车辆、人员和时间积累的部分测试任务,现在借助计算资源就能并行开展。

与之配合的车端技术也有了进展。百度新一代L4端到端模型架构,已在国内一定规模的车辆上投入实际运营,正逐步替换此前的传统方案。

世界模型提供虚拟训练和验证环境,驾驶模型在其中反复接受考验,再进入真实道路运行,直观理解就是用AI来教AI开车。

对于业务覆盖全球28座城市的萝卜快跑而言,这套技术体系恰好出现于全球化扩张加快的阶段。

随着无人车走进更多城市,研发需要应对的交通环境愈发复杂。而在真实道路上,最值得研究的那些意外,却常常最难遇见。

一座没有剧本的虚拟城市,跑一天抵三年

看过电影《黑客帝国》的朋友,大概都对那个由程序构成的世界印象深刻。不管是街道、建筑、车辆还是行人,看起来都和真实世界毫无二致,其背后却是一套庞大的计算系统在运转。

没想到只是二十多年过去,这套剧本中的虚拟世界,真的从电影走入了现实。

百度展示的ApolloWorld,生成的就是各种供无人车行驶的虚拟城市。不同之处在于,虚拟城市里的交通参与者还能根据环境自行作出判断。

比如一辆无人车行驶到高架入口,旁边支路上的汽车正准备汇入主路。

如果无人车选择驶上高架,支路车辆获得足够空间,就会顺势驶入主路。

但如果无人车改变路线,沿右侧辅路继续行驶,占据了原本的汇入空间,另一辆车也会改变决定,减速停车等待:

百度智能驾驶事业群组杰出架构师、世界模型负责人杨泽博士介绍,在这套系统中,世界模型团队采用了多智能体驱动的技术方案,虚拟道路上的车辆、行人等交通参与者,都被建模为具有决策和互动能力的AI智能体。

每个智能体都有自己的行动目标和行为逻辑,也会根据其他交通参与者的动作调整决定。

不仅是交通参与者,虚拟城市的交通状况也能自行调整,比如设置不同的稀疏、适中或密集的车流,或者改变其他车辆的驾驶风格,让其开得更谨慎或是更激进。

类似的复杂交互,以往可能需要无人车反复上路、等待特定情况出现,现在都可以主动组织到虚拟环境中。

不过真正要完成Robotaxi任务,仅仅是根据环境实现变道、避让等操作还远远不够。

真实情况下,一趟行程可能持续二三十分钟,途中经过数十个路口。

无人车每一次决策,都可能改变后续遇到的交通情况。它需要在连续变化的环境中完成整段驾驶任务,需要与大量交通参与者交互,前一次的驾驶决策还可能影响后面的行程。

ApolloWorld此次展示的,正是完整行程级别的虚拟路测。

在深圳滨海大道、香港机场附近等不同场景中,几辆无人车可以从同一地点出发,驶向不同目的地,周围交通参与者的行为、道路环境的变化,以及相机、激光雷达的观测数据,都由世界模型持续生成。

杨泽博士提到,支撑这套系统运行的,是智能体交互建模、多视角多模态生成,以及完整驾驶闭环等技术的协同。

简单理解,就是世界模型根据已有环境状态和车辆动作,预测下一时刻的交通变化;驾驶模型读取生成的传感器数据后,做出转向、加速或者制动决策,再把动作反馈给世界模型。

为了让生成速度跟上驾驶决策,百度还通过知识蒸馏等方法加快模型推理,使虚拟环境能够实时响应车辆动作。

一套AI负责构建道路环境、不断提供新的驾驶考验,另一套AI则在其中反复练习,两者的关系就像教练与学员。如此循环,无人车就能在持续变化的环境里完成驾驶任务。

如果驾驶系统在某个场景下作出错误判断,研发人员还可以保留相同初始条件进行复现,调整周围车辆的行为,观察系统在不同情况下的表现。

没有固定剧本、可交互、可纠错、可溯源,这样的虚拟城市,由此具备了成为无人车训练场的条件。

不过,能持续运转只是前提之一。更关键的问题在于,什么样的世界模型,才能真正承担起无人驾驶的训练与验证?

给世界模型一个可验证的标准

仿真技术原本就是无人驾驶研发的重要组成部分。

早在生成式世界模型成为行业热点之前,工程师就习惯于把真实道路上的交通场景记录下来,搬进虚拟环境中反复测试。

但这种研发方式存在一个长期难题。

长期以来,自动驾驶仿真中常见的一类方法,仍然依赖真实道路数据的非响应式回放。

简单来说,即便无人车改变了驾驶策略,周围车辆仍按照原始记录的轨迹行驶,交通环境不会作出相应调整。

这恰恰是问题所在。

真实道路上的驾驶是一场持续交互,无人车改变动作,其他车辆也可能跟着改变决定。如果测试环境无法响应,便很难检验驾驶系统在动态交通中的真实表现。

而生成式世界模型解决的正是这种局限,让虚拟交通参与者根据无人车的动作重新作出判断,使驾驶系统能够在不断变化的环境中接受检验。

百度智能驾驶事业群组首席架构师、IDG技术委员会主席王亮博士,将其概括为“可交互的生成”。

这是百度从无人驾驶的实际需求出发,对世界模型的一种理解。

而放眼整个AI领域,“世界模型”这个词被用得越来越宽泛。

能够生成逼真视频的模型,可以叫世界模型;能够构建三维空间、让人自由漫游的系统,也可以叫世界模型;能够根据外部动作,持续推演环境变化的技术,同样被称为世界模型……

几类技术看起来都在构建虚拟世界,实际具备的能力却不在同一个层次。

李飞飞团队曾将世界模型分为渲染器、模拟器和规划器三种类型,分别侧重视觉生成、环境状态推演以及行动规划,也从另一个角度说明了这个概念所覆盖的技术范围之广。

概念边界不断扩展,带来的问题也逐渐显现。模型生成的世界足够逼真,是否就意味着它真正理解物理规律?能够连续生成交通画面,是否就意味着它能根据无人车的动作,推演不同的驾驶结果?

对于无人驾驶研发,这些差别可不是无关紧要的技术分类。

如果模型无法准确响应车辆动作,或者生成的交通变化不符合真实物理规律,即便画面再逼真,也很难成为可靠的训练与验证依据。

百度对世界模型标准的重视,恰恰源于这种实际需求。

在百度的技术思路中,世界模型需要什么能力,首先取决于它最终要承担什么任务。既然目标是训练没有安全员的L4无人车,就必须明确模型需要理解怎样的交通关系、遵守哪些物理规律,以及能否支撑长时间、实时交互的驾驶任务。

先把目标任务、能力边界和工程要求想清楚,再围绕这些要求构建技术体系。这种正向设计的思路,也让百度此次提出的世界模型,从一开始就有清晰的目标指向。

这种思路也有其现实背景。

李飞飞曾将无人驾驶汽车比作一个进行二维避障的方盒子,以此说明汽车与能够完成复杂三维操作的机器人之间的区别。

王亮博士则认为,无人驾驶的困难,远不止驾驶动作本身。

没有安全员的Robotaxi身处完全开放的道路,需要持续面对大量具有独立意图的交通参与者。看似普通的变道决策,背后也可能涉及多辆车之间的判断与博弈。

而比动作复杂度更重要的,还有安全责任的变化。

王亮博士拿纪录片《徒手攀岩》作了一个类比。

影片中的攀登者挑战一面高约900米、近乎垂直的岩壁。为了完成挑战,他经历了漫长而枯燥的练习。

在王亮博士看来,L2辅助驾驶就像有保护绳的攀岩。攀岩者可以尝试漂亮、惊险的动作,因为保护措施仍然存在;辅助驾驶车辆的主驾也有人,关键时刻能够接管。

然而L4无人驾驶就像是无保护攀登——“保护绳”被撤掉了,主驾空空如也。

驾驶动作看起来没有发生根本变化,背后的风险和安全要求,却已不可同日而语。那些不在聚光灯下的反复训练、每一处细节的验证,最终都要为整套系统的可靠性负责。

王亮博士曾参与L2量产研发,又长期投入L4纯无人系统,对两者之间的鸿沟有切身体会。

也正因如此,在他看来,世界模型能否真正用于L4训练,需要一套更加严格、明确的判断方法。

百度提出了面向物理AI的“2+3”世界模型评价框架。

其中,“2”指的是因果性和交互性两项基础条件。

因果性强调模型能够根据已知状态推演后续变化;交互性则要求外部动作能够持续改变环境,让不同的决定产生不同结果。

而“3”分别代表物理准确性、持久性和实时性,用于衡量模型能否真正承担物理世界中的任务。

毕竟世界模型再逼真,如果对真实物理规律的理解出现偏差,测试结果就可能失去参考价值。

雨天就是一个典型例子。

路面湿滑会改变车辆的制动距离,雨滴还会干扰激光雷达的回波,让点云出现大量噪点。如果虚拟世界只有下雨的画面,车辆却依然按照晴天的条件制动、感知,虚拟测试也就失去了意义。

看似不起眼的细节,恰恰是世界模型研发最难啃的部分。

王亮博士给出的判断是,世界模型的概念并不稀缺,各家都能投入研发,而真正可能形成壁垒的,是渲染速度、长时记忆、物理真实性等长期积累的工程能力。

就拿激光雷达来说,激光遇到雨滴后的反射干扰,涉及相当复杂的物理现象。要让世界模型准确学会这些变化,远远比生成视觉上逼真的大雨要更费工夫。

类似的工程打磨,被王亮博士称为“dirty work”。所谓技术壁垒,往往也只有在这些问题被逐一解决的过程中,才会慢慢显现。

由此,百度提出的“2+3”世界模型评价框架,实际上为世界模型进入L4研发划出了具体的能力门槛,也为这套技术应该如何设计、如何验证,提供了一条清晰的工程路径。

在世界模型的定义仍然模糊、技术路线不断分化的阶段,百度能够给出这样一套面向真实任务的判断方法,本身就体现了长期L4研发积累的价值。

另外,一趟完整Robotaxi行程可能持续数十分钟。世界模型必须在长时间推演中维持环境连贯,还要及时响应车辆动作。

物理准确性、持久性和实时性,最终都将影响虚拟训练的价值。

百度此次提出的“2+3”,也为一项仍在不断扩展定义的技术,给出了面向真实L4任务的工程坐标。

不只是百度,全球无人驾驶头部企业如今都在探索这一方向。

今年2月,Waymo正式发布Waymo World Model。它基于Google DeepMind的Genie 3进行适配,支持根据驾驶动作、场景布局和自然语言调整虚拟环境,并生成相机和激光雷达数据。

把两家最新披露的世界模型放在一起,ApolloWorld面向完整Robotaxi任务的特点愈发鲜明了。

△根据双方公开技术资料整理,图表由AI生成

比较下来,如果把世界模型看作无人车的考场,Waymo更突出如何制造复杂考题,百度则展示了一套覆盖完整出行任务的考试体系。

且ApolloWorld已进入萝卜快跑的实际测试与验证流程。背后的“2+3”工程评价框架,又对虚拟环境的因果性、交互能力和工程性能提出了明确要求。

由此,无人驾驶的测试,开始逐渐减少对真实道路上随机出现的复杂交通情况的依赖。

而新的考验也随之出现。究竟哪些偶然发生的情况,才是值得被识别、理解并反复验证的?

比里程更难复现的偶然

百度还向量子位透露,团队在真实路测中,曾经遇到过一个非常特别的案例。

洒水车经过施工区域时,路边的锥筒在水流的冲击下,滑向了无人车的行驶路线。洒水车、施工锥筒这些都是再寻常不过的道路元素,偏偏碰到一起,造就了一个很难预料的场景。

这类偶然情况,工程师也很难提前写进测试脚本。即便真实发生过一次,也难按照原来的条件重新安排。

百度的计划就是让世界模型能够重现类似的场景,让无人车反复接受检验。

这个例子背后,是无人驾驶研发中一个悬而未决的问题。

真实道路上的风险千变万化,但不是所有交通情况都具有相同的研发价值。部分极为罕见的意外,可能涉及严重安全风险;另一些寻常场景,则会频繁影响车辆的通行效率和乘坐体验。

虚拟城市能够生成大量交通情况,可这反而带来了新的取舍:哪些问题值得重点研究?这个判断会直接决定哪些场景能真正进入训练与验证过程。

那怎么筛?

只能吃经验。

据百度披露,其业务已覆盖全球28座城市,累计完成超过2300万次出行服务,累计行驶里程突破3.5亿公里,其中全无人驾驶里程超过2.4亿公里。

3.5亿公里,大家可能没有概念,举个例子,时速300公里的高铁,要连续跑133年才能跑完。

这是百度无人车十年积累下的数据,沉淀了不同地区的道路环境、交通习惯,以及长期运营中遇到大量复杂交互的经验。

百度地图多年积累的道路与地理信息,也为不同区域的虚拟场景构建提供了基础。

伴随车队规模增长,这些真实交通经验持续进入世界模型,经过筛选、整理和推演,转化为更多训练与验证任务。

针对同一段真实经历,研发人员可以改变车辆速度、周围交通流或道路条件,观察驾驶系统在不同情况下如何应对。经过反复训练和验证,新的驾驶模型再投入实际运营;车队驶入更多城市,又会带回此前没有遇到过的情况。

由此,那些原本只发生过一次的交通经历,有了被反复研究、持续利用的价值。

随着真实运营不断积累,模型获得更多训练材料;驾驶能力的提升,又有机会推动更快部署,进一步扩大数据来源。

运营积累越深,模型获得的有效训练材料越多;世界模型能力提升,又有机会提高驾驶系统的迭代效率,进一步推动实际运营规模扩大。

规模与模型能力相互促进,Scaling Law的增长逻辑由此逐渐显现。而百度十余年的无人驾驶积累,也正在世界模型时代显现出新的价值。

因为全球真正将新一代端到端驾驶模型推至百辆级纯无人运营的,只有百度和特斯拉两家。

对于百度而言,ApolloWorld的加入,又让这套真实运营体系获得了持续积累虚拟训练经验的能力,成为下一轮技术迭代可以持续利用的资源。

而规模优势带来的第一个变化,是扩张效率。

世界模型让已有经验能够复用到更多区域,新城市不必再从头验证一遍——无人驾驶由此有机会摆脱过去一城一城艰难扩张的模式,进入更高效率的规模化发展阶段。

世界模型让已有经验能够服务于更多区域,部分测试提前转移到云端,新城市的部署有机会减少重复摸索。

一旦技术迭代的速度能够转化为开城扩区的速度,改变的将不只是一家企业的研发效率,还有整个无人驾驶产业的扩张节奏。

资本市场对相关技术和产业能力的关注,也在持续升温。

今年2月,Waymo完成160亿美元融资,投后估值达到1260亿美元,并随后发布Waymo World Model。9月,AMD宣布以约82亿美元的全股票交易收购李飞飞创办的World Labs。

一家拥有大规模无人驾驶运营基础,另一家则专注于AI理解、生成和模拟物理世界。两笔交易涉及的商业路径不同,却共同折射出AI向物理世界延伸的产业价值。

真正具有跨时代意义的突破,往往不止于一项新技术的出现,还在于它改变了整个行业的发展方式。

iPhone改变了智能手机,GPT改变了AI应用。对于无人驾驶,类似的分水岭或将出现在驾驶能力能够被更高效地迁移、复制,支撑越来越多城市的规模化运营之时。

世界模型带来的想象空间,也因此会让无人驾驶获得更加具体的技术基础,从而迎来属于无人驾驶自己的产业质变时刻。

届时,真实道路上十余年的积累,将不再只是过去驶过的里程,也可能成为下一轮增长的起点。

无人驾驶的新一轮产业变革正在酝酿。百度不仅站在了变革发生的现场,也正成为推动它向前的重要力量。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

文章评论(12)

山问津11 天前

楼主辛苦了,内容很有参考价值。

回复
星知秋11 天前

支持作者,持续关注中。

回复
漾漾其华11 天前

这个比较实用,已转发给同事。

回复
石佳琪11 天前

看标题就点进来了,内容果然没让人失望。

回复
逐光而行11 天前

思路清晰,干货满满。

回复
星知秋11 天前

写得挺用心的,支持一下。

回复
空向阳11 天前

实话,说的不明不白

回复
月沐雨11 天前

讲解得很细致,新手也能看懂。

回复
武磊11 天前

收藏了,以后慢慢研究。

回复
崔欣怡10 天前

刚好最近在找这方面的资料,太及时了。

回复
崔欣怡11 天前

实话,说的不明不白

回复
雪知秋11 天前

写得挺用心的,支持一下。

回复