NVIDIA 推出全新的 Cosmos 3 开放模型,用于交互式世界仿真

📌 One-Sentence Summary
NVIDIA 发布了 4 款全新的开放权重 Cosmos 3 Nano 模型,用于交互式世界仿真,可生成多传感器驾驶数据、提供流式观测、将仿真器控制转换为视频,并预测双臂机器人的动作。
📝 Summary
NVIDIA 的 Cosmos 3 开放模型新增了 4 个经过后训练的检查点,参数量均为 16B,面向交互式世界仿真。Cosmos3-Nano-Transfer-Auto 可生成多视角驾驶数据,并同步输出摄像头和 LiDAR 数据。Cosmos3-Nano-Sim-Auto 可为驾驶仿真提供流式观测。Cosmos3-Nano-Sim-Transfer 可将仿真器控制转换为照片级真实感的 RGB 视频。Cosmos3-Nano-Sim-Bimanual 可根据机器人或摄像头动作预测视频。所有模型均采用 OpenMDW1.1 许可证,可用于商业用途,并通过 vLLM-Omni 框架支持多种硬件后端。
💡 Main Points
4 款模型分别满足不同的仿真需求
Transfer-Auto 可生成离线多传感器驾驶数据,Sim-Auto 可提供流式观测,Sim-Transfer 可将仿真器控制转换为视频,而 Sim-Bimanual 可根据机器人动作预测环境变化。
为自动驾驶研究实现多传感器同步
模型最多支持 11 个摄像头视角,包括鱼眼镜头,并可联合生成 RGB 和 LiDAR 数据;同时,模型使用 World Scenario Map 控制场景结构和交通运动变化。
通过四阶段训练方案实现高效流式生成
训练依次采用双向适配、教师强制、一致性蒸馏和自强制阶段,以因果注意力和键/值缓存实现快速生成。
为社区适配提供开放基础
后训练方案和推理技能已在 GitHub 上公开,研究人员可据此将模型适配到自定义传感器配置、驾驶领域和机器人本体。
💬 Key Quotes
NVIDIA 的 Cosmos 3 开放模型新增了 4 个经过后训练的检查点,参数量均为 16B,面向交互式世界仿真。
Sim-Transfer 使用空间控制和文本提示词渲染彩色观测数据,供策略模型使用。
四阶段训练方案:双向适配、教师强制、一致性蒸馏和自强制。
这 4 款模型都是 Cosmos 3 Nano 的后训练示例,均包含 16B 个可训练参数。
📊 Article Meta
AI Screening: 85
Source: Hugging Face - Blog
Author: Pranjali Joshi, Rick Z, Yao Xu, Qianli Ma, Chen-Hsuan Lin, Ming-Yu Liu, Xiang Li, Zhengfei Kuang, Zhonghao Wang, kiui
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1305
Tags:
AI 与智能应用 , 模型训练与推理 , 多模态 AI , 开放权重模型 , 后训练
实话,说的不明不白
整理得太全面了,省了我不少时间。
看完了,收获满满,期待更多更新。
看标题就点进来了,内容果然没让人失望。
刚好最近在找这方面的资料,太及时了。
作者写得真不错,学到了不少。
路过
不错不错,已加入书签。
这个比较实用,已转发给同事。
这个比较实用,已转发给同事。
刚好最近在找这方面的资料,太及时了。
刚好最近在找这方面的资料,太及时了。