一张5090跑起34B实时世界模型,国产玩家拿下英伟达大奖!

星海拾光行业资讯📡 量子位2026-10-26288 阅读💛 69 收藏

一张5090跑起34B实时世界模型,国产玩家拿下英伟达大奖!

房间秒变草原,抬手就能下雪

允中 发自 凹非寺

量子位 | 公众号QbitAI

一个从国内虚拟片场里成长出来的实时世界模型,在NVIDIA的舞台上拿了奖。

10月15日,2026 NVIDIA创业企业展示半程展示在苏州金鸡湖举行,来自重庆的达瓦科技凭借实时世界模型产品Scenes AI拿下「半程展示卓越企业奖」。

本届赛事在全国办了11场分站活动,580多家科创企业报名,最终30家NVIDIA初创加速计划(Inception)会员进入半程展示。

和多数视频模型比拼“下一帧像不像”不同,Scenes AI走的是另一条路:

不预测下一帧画面,而是维护一个持续运行的世界状态——场景、人物、相机、灯光、物体和物理,各自是一组可以单独读写的变量。

世界里每发生一点变化,模型要做的不是把整段画面重画一遍,而是只更新发生变化的那部分状态,再把结果写回世界,让下一刻在此基础上继续演化。

于是它要回答的问题也变了:不是“下一帧长什么样”,而是如果改变世界里的一个变量,世界接下来会发生什么?

更关键的是,它的输入不是游戏引擎或代理画面,而是一台普通摄像头拍到的真实空间。

用达瓦自己的话说:A video is an output. A world is a process. 视频是一个结果,世界是一个过程。

先看效果:改掉一整个世界,也能只改一面墙

先来看最新一版Demo。

左上角是摄像头此刻拍到的真实房间:白墙、绿幕、一把铁艺椅子、墙角一只玩偶熊,一个人站在中间扶帽檐。

大画面是同一时刻的模型输出:房间变成了一片手绘风格的夏日草原,人变成了戴黄色棒球帽的动画少女,动作同步。

细看会发现,变的只是外观。椅子还在少女身后,小熊还坐在原来的“墙角”,右侧深色柜子的位置和透视都没动,草地上甚至还隐约留着两面墙交汇的折线。

考点一:全局重渲染,结构不能乱。

这一帧里,唯一被改写的变量,就是「画风」。

人物动作、家具位置、遮挡关系和空间透视,全部被当作保持条件锁住。模型得先认出人、椅子、玩偶和柜子各是什么,再在整屋换风格的同时把它们钉在原位,而且每一帧都要成立。

考点二:局部改写,还得记得住。

同一场景里,一个小朋友在墙上写下“DW未来”,随后抱起一只玩偶跑出了画面;男生起身,房间里长出了树,地上燃起一堆篝火;接着他又抬手控制天气,屋里先是飘雪,又下起了雨。

一连串事件下来,人来了又走,场景里长出了新东西,天气变了好几轮,墙上那四个字始终还在,位置和笔画都没变。

这考的是世界状态有没有被正确写回、并且持续保持。

对逐帧生成的模型来说,画面里的变化越多,之前留下的细节越容易被“冲掉”,每一次重画都可能把它悄悄改掉;而在Scenes AI里,“墙上有字”在写下的那一刻就成了世界状态的一部分。之后无论发生什么,只要没有事件去改它,它就一直留在那里。

9月首发演示里也是同一套逻辑:雪怪破土离开后,地上的坑一直留在原地;铁艺椅子连续两次被改写成狼首铁王座,主播还能坐回原位;窗帘下摆起火,紧挨着的玩偶和花盆没有被波及。

整套生成跑在本地一张RTX显卡上,画面右上角实时显示帧率。

一条不一样的路线:从“重画下一帧”到“更新世界状态”

Demo背后,是达瓦对世界模型的一个基本判断:

视频生成已经足够强大,但世界还没有开始运行。

主流视频生成的交付物是“一段结果”:给一个提示词,生成一段好看的视频,然后结束。

即便做成逐帧连续合成,关注的仍是“下一帧看起来像什么”,身份、几何、光照和物理上的误差,会随着时间一点点累积。

达瓦给世界模型下的定义不一样:改变一个状态变量之后,世界为何变化、又将如何演化。

举个最简单的例子,输入一句“把灯光变成夕阳”:

  • 传统视频模型:重新生成一遍视频,场景、人物、相机和物体都可能跟着漂移;
  • Scenes AI:场景、人物、相机和物体被冻结为保持条件,只有“光照”这一个变量改变,再由新的世界状态生成新画面。

达瓦把这套思路浓缩成一句话:修改一个变量,保留住整个世界。

落到计算上,就是从“重画下一帧”转向“更新状态增量 ΔS”——只更新发生变化的局部,其余世界状态保持稳定、可查询、可预测。

按这个定义,一个持续运行的世界被拆成了五个部分:

Persistent World = World Memory + Neural Physics + Sparse Diffusion + Neural Rendering + AI Lighting

即世界记忆、神经物理、稀疏扩散、神经渲染和AI光照。

在达瓦看来,从生成一段视频走到运行一个可交互的世界,有五道关必须同时过:

跨帧记忆、局部可控、物理与因果、实时计算效率,以及能解释“世界为何这样变化”的数据。

用他们的话说,难点不是造一个更大的模型,而是状态、控制、物理与算力必须同时成立。

后面要讲的精准控制和实时渲染,正是这条路线在“控制”和“算力”两道关上交出的答卷。

技术架构:控制层做重,生成层做轻

把这条路线落成工程系统,达瓦的做法可以概括为一句话:控制层做重,生成层做轻。

Scenes AI没有把所有问题都交给一个大模型逐帧重画,而是在“创作意图”和“画面生成”之间,加了一层以世界状态为核心的控制系统,达瓦称之为视频生成的控制层。

  • 控制层:把连续视频拆解为可查询、可更新、可约束的状态因子——场景与空间、角色与动作、相机与镜头、灯光与材质、资产与服化道、物理与时间;负责规划行动、维护状态、推演结果。
  • 渲染层:接收控制层下发的条件,只把需要变化的部分生成出来,再合成回画面。

一条典型的运行链路是:

世界状态 → 行动或接触事件 → 状态更新 → 局部生成与合成 → 结果写回。

还是拿前面那段“DW未来”的Demo来看:

  • 小朋友在墙上写字时,事件层识别出书写动作和接触位置,即墙面;
  • 控制层据此更新世界状态,把“墙上有字”记到墙面这个对象上;
  • 随后,场景中长出树、燃起篝火、下雪又下雨,控制层只更新对应的场景元素和天气变量,渲染层只生成树、火焰、雪花和雨滴以及它们带来的光影变化,墙面和字迹直接沿用已有表示;
  • 雨雪这类天气过程来了又走,属于短时变化;墙上的字则作为持久状态一直保留在世界里,供后续镜头和交互继续读取。

这里有个关键区分:哪些变化是“瞬态”的,哪些是“持久”的。

前者交给渲染层处理完即可,后者必须进入世界状态。Demo里“坑还在”“字还在”,都是这一机制的外在表现。

放到行业里看,“状态维护与视觉渲染分开”正逐渐成为实时世界模型的共识,分歧在于状态从哪里来。

一种做法由上游引擎或程序显式写出规则和状态,模型以参考画面为接口做渲染,适合规则明确的游戏与原型;

Scenes AI面向的是真实拍摄和直播空间,世界状态要由模型从摄像头画面里解析出来,再持续维护、推演并写回。

精准控制:改一个变量,其余全部保持

精准控制落在控制层,核心模块是Latent Stage。

一是变量解耦。

Latent Stage在潜空间里把场景、人物、相机、光照、服装、道具和物理拆成一个个独立的“舞台”,可以单独演化,也可以联合约束。

每次编辑都有明确的“改动集”和“保持集”:改光照时,场景、人物和机位被锁定;换服装时,人物身份和身体动作继续约束生成。

截图里“画风全换、家具不动”,就是改动集和保持集分得足够干净的结果。

二是非线性视频矩阵。

达瓦提出的非线性视角矩阵融合方法,把影像从“线性时间”变成“可编辑矩阵”:角色、环境、相机、光照、物体和运动被拆成可以重新组合的视觉要素,方便控制层理解镜头运动、融合真实与生成内容。

相关演示论文《NVD: Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models》已被ACM UbiComp / ISWC 2026接收,并于10月13日在上海国际会议中心现场展示。该研究由达瓦AIGC研究院联合香港理工大学、伊利诺伊大学厄巴纳-香槟分校、纽卡斯尔大学共同完成。

三是世界记忆。

World Memory持久化缓存历史状态片段,为后续生成提供可查询、可更新的上下文。

镜头离开再回来时,模型读取的是这块区域的状态记录,而不是重新想象一面墙。

达瓦把长时序记忆看作当前最关键的挑战,即身份、空间、物理与故事状态都必须跨时间保持一致。

如果没有因果记忆,堆再多GPU也解决不了问题。

四是物理约束。

Neural Physics覆盖刚体、布料、流体和粒子,围绕碰撞与重力组织生成条件,决定火该烧到哪里为止、布料该怎么被推开;Neural Renderer再把几何、材质和光照转成画面。

物理状态由此成为生成、训练与评估的共同参照,而不是把视频本身当作答案。

在连续编辑测试中,Scenes AI的目标编辑成功率为98.2%,人物身份保持率为93.3%。

实时渲染:把算力留给正在变化的世界

渲染层由实时生成模型LiveStage承担。它要解决的问题很具体:

在一张消费级显卡的算力和显存预算里,让画面持续、低延迟地跟上真人。

第一,稀疏扩散自回归。

自回归负责沿时间持续演化,稀疏计算限定每一步的更新范围,这意味着,模型预测的是状态增量,而不是一整幅新画面。

基于对300多个真实商业拍摄项目数据的分析,达瓦发现,典型场景中每帧真正变化的区域只占画面的10%—20%。

于是,墙面、地板等稳定区域通过潜空间缓存(Latent Cache)直接复用,算力集中给人物、面部、手部、布料、烟雾、光影和交互区域。

第二,因果化稀疏微扩散。

渲染层接收控制层下发的一组条件,包括事件类型、位置、速度、强度、对象身份、材质和局部历史,并只对变化区域做少步采样,再把局部结果合成回持久的世界画面。

“因果化”意味着每一步只依赖已经发生的历史,适合流式输出;

“微扩散”意味着每次只处理局部小区域,而不是整幅画面。

第三,稀疏激活。

模型总参数 34B,每一步只激活约 4B,激活比约 11.8%。

空间上的局部更新减少“要算多少”,模型内部的稀疏激活控制“每次用多少参数算”,以上共同构成了“大模型的容量,实时的计算路径”这一特点。

三者叠加的结果是:相较传统视频扩散方案,GPU消耗降低40%—60%,推理速度提升3—5倍。

当画面需要整体切换,如截图里整屋变成草原,变化范围远超20%,系统会按变化范围动态分配计算,局部编辑和全场景转换共用同一条管线。

最终,在单张NVIDIA GeForce RTX消费级显卡上,Scenes AI实现了720P、25帧的实时输出。

底层算力:原生构建于NVIDIA技术栈。

达瓦与NVIDIA的技术合作始于 2018 年,那一年达瓦购入了第一套NVIDIA DGX-1。

今天,Scenes AI用CUDA做训练与推理加速,用TensorRT做推理优化,用NVENC支撑实时视频编码输出。

稀疏更新减少无效计算,Latent Cache利于显存复用,分层架构也天然适配分层部署,这套机制本身就是围绕GPU的并行计算与计算复用设计的。

核心壁垒:不是Video Dataset,是State Dataset

路线想清楚了,真正难的是把它训出来。达瓦的积累可以拆成三层。

第一层:状态数据

要学“世界怎么变”,光有视频不够。

互联网视频大多是剪辑后的成品,机位怎么走、灯怎么打、道具什么时候被拿起,这些过程信息几乎都被剪掉了,像素本身解释不了世界为何这样变化。

达瓦的说法是:不是Video Dataset,是State Dataset。

达瓦在重庆永川运营一座8.4万平方米的全流程数字化科技片场。

过去5年,团队从300多个真实商业项目中持续采集、标注和梳理数据,沉淀了约180TB结构化世界状态数据,覆盖相机轨迹、动作轨迹、对象状态、光照状态、物理状态与叙事状态六类核心维度。

单场戏会做300多个维度的结构化标注,让镜头、光学、空间、表演和动作对齐到同一条时间轴上。

片场还天然集中了实时生成最难处理的长尾样本:宽袖和裙摆随动作形变,手与道具反复接触,多角色互相遮挡,摄影机在表演中连续运动,灯光变化同时作用于人物和环境。

真实数据之外,达瓦用NVIDIA Omniverse和PhysX搭建仿真场景,批量生成带精确物理状态的标注数据;用NVIDIA Cosmos在H200上生成冰淇淋融化、树木生长、积雪消融等“过程型”数据。

三类数据分工明确:真实拍摄提供分布,仿真提供精确状态,生成数据补齐覆盖。

第二层:训练路线

达瓦训练的不是一个“视频生成器”,而是一个持续演化的世界系统,整体分五个阶段:

  • 世界认知预训练:180TB影视数据自监督学习,建立统一潜空间;
  • 时空预测训练:未来预测、视频补全、状态重建,学习时间演化而非连续视频拼接;
  • 专项能力训练:局部稀疏微扩散、非线性视频矩阵、神经渲染与神经物理等模块分别专精;
  • 联合优化:多任务联合训练与课程学习,在共享潜空间中端到端优化;
  • Agent驱动强化学习:导演、摄影、灯光、动画等多智能体协同,持续优化镜头质量与场景一致性。

第三层:生产闭环

达瓦本身就在做真实的影视和短剧生产。客户的修改、交互中的反馈、模型出错的案例,会回流成下一轮数据筛选、补采和训练的入口,也就是说,模型在片场被检验,片场又反过来喂养模型。

“我们每天都在拍真实的电影和短剧,每一次打光、每一次运镜,都在告诉模型这个世界是如何运转的。”达瓦科技联合创始人陈亮表示,“世界模型的下一场竞争,属于拥有真实世界过程的团队。”

从“生成一段结果”到“运行一个世界”

世界模型不应该是个悬浮的概念,落到具体应用上,这套路线对应着几类明确的场景:

  • 影视与短剧:导演在可控的场景下调整和转化更多创意,把每一个灵感即时转化为参数化的天气、光照、服装和环境方案;
  • 直播与电商:把一个个的“格子直播间”变成真正的“场景直播间”,主播身处的空间随商品和话题实时切换,在雪地里卖雪地靴,在高山上卖徒步鞋;
  • 文旅、游戏与互动展示:内容不再是被单向观看的对象,用户可以直接进入真实空间,进行互动、改写、延续。

它们共享同一组要求:改动必须可控,输出必须及时,成本必须可估算。

一张消费级显卡、一台本地主机即可运行,不依赖云端算力,这才是从实验室演示走向更接近实际部署的真实环境。

“视频生成已经足够强大,但世界还没有开始运行。一个视频可以结束,一个世界必须持续运行。”在半程展示的路演上,达瓦科技首席产品官李宗兴这样概括Scenes AI的出发点。

“NVIDIA为实时世界模型提供了坚实的计算底座。”他表示,“我们希望和NVIDIA生态一起,让世界模型从实验室走进真实生产,让每一位创作者都能用一张显卡,实时构建、改写并走进一个持续运转的世界。”

△达瓦科技CPO李宗兴半程展示路演照

回头看达瓦这几年的路径,几块关键拼图已经各就各位。

数据有了,8.4万平方米片场、300多个真实项目、180TB世界状态数据,而且还在持续积累;

模型跑通了,34B世界模型在一张消费级显卡上实时运行,精准控制与实时渲染同时成立;

认可也来了,8月深圳站优秀企业,10月UbiComp论文亮相,同月拿下NVIDIA半程展示卓越企业奖。

当行业的注意力开始从“生成一段视频”转向“运行一个世界”,这条从片场里长出来的路线,正在被越来越多的人看见。

视频会结束,世界不会。对Scenes AI来说,这个世界才刚刚开始运转。

*本文系量子位获授权刊载,观点仅为原作者所有。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

文章评论(12)

蓝光20 天前

赞同,实践出真知。

回复
北岛渔夫20 天前

这个比较实用,已转发给同事。

回复
杨丽华20 天前

实测过类似工具,作者说的基本属实。

回复
风拾光20 天前

有没有更详细的教程,期待后续。

回复
风拾光20 天前

看完了,收获满满,期待更多更新。

回复
雪知秋20 天前

内容翔实,正好需要,先收藏再看。

回复
墨沐雨20 天前

这篇文章分析得很透彻,收藏了!

回复
青柠微凉20 天前

写得挺用心的,支持一下。

回复
雪影20 天前

这个观点很中肯,深有同感。

回复
石佳琪20 天前

有没有更详细的教程,期待后续。

回复
墨沐雨20 天前

不错不错,已加入书签。

回复
墨沐雨20 天前

讲解得很细致,新手也能看懂。

回复