NVIDIA 推出全新的 Cosmos 3 开放模型,用于交互式世界仿真

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-06444 阅读💛 212 收藏
NVIDIA 推出全新的 Cosmos 3 开放模型,用于交互式世界仿真

📌 One-Sentence Summary

NVIDIA 发布了 4 款全新的开放权重 Cosmos 3 Nano 模型,用于交互式世界仿真,可生成多传感器驾驶数据、提供流式观测、将仿真器控制转换为视频,并预测双臂机器人的动作。

📝 Summary

NVIDIA 的 Cosmos 3 开放模型新增了 4 个经过后训练的检查点,参数量均为 16B,面向交互式世界仿真。Cosmos3-Nano-Transfer-Auto 可生成多视角驾驶数据,并同步输出摄像头和 LiDAR 数据。Cosmos3-Nano-Sim-Auto 可为驾驶仿真提供流式观测。Cosmos3-Nano-Sim-Transfer 可将仿真器控制转换为照片级真实感的 RGB 视频。Cosmos3-Nano-Sim-Bimanual 可根据机器人或摄像头动作预测视频。所有模型均采用 OpenMDW1.1 许可证,可用于商业用途,并通过 vLLM-Omni 框架支持多种硬件后端。

💡 Main Points

4 款模型分别满足不同的仿真需求

Transfer-Auto 可生成离线多传感器驾驶数据,Sim-Auto 可提供流式观测,Sim-Transfer 可将仿真器控制转换为视频,而 Sim-Bimanual 可根据机器人动作预测环境变化。

为自动驾驶研究实现多传感器同步

模型最多支持 11 个摄像头视角,包括鱼眼镜头,并可联合生成 RGB 和 LiDAR 数据;同时,模型使用 World Scenario Map 控制场景结构和交通运动变化。

通过四阶段训练方案实现高效流式生成

训练依次采用双向适配、教师强制、一致性蒸馏和自强制阶段,以因果注意力和键/值缓存实现快速生成。

为社区适配提供开放基础

后训练方案和推理技能已在 GitHub 上公开,研究人员可据此将模型适配到自定义传感器配置、驾驶领域和机器人本体。

💬 Key Quotes

NVIDIA 的 Cosmos 3 开放模型新增了 4 个经过后训练的检查点,参数量均为 16B,面向交互式世界仿真。

Sim-Transfer 使用空间控制和文本提示词渲染彩色观测数据,供策略模型使用。

四阶段训练方案:双向适配、教师强制、一致性蒸馏和自强制。

这 4 款模型都是 Cosmos 3 Nano 的后训练示例,均包含 16B 个可训练参数。

📊 Article Meta

AI Screening: 85

Source: Hugging Face - Blog

Author: Pranjali Joshi, Rick Z, Yao Xu, Qianli Ma, Chen-Hsuan Lin, Ming-Yu Liu, Xiang Li, Zhengfei Kuang, Zhonghao Wang, kiui

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1305

Tags:

AI 与智能应用 , 模型训练与推理 , 多模态 AI , 开放权重模型 , 后训练

#AI 与智能应用# 模型训练与推理# 多模态 AI# 开放权重模型# 后训练

文章评论(12)

郭超10 天前

实话,说的不明不白

回复
吴超10 天前

整理得太全面了,省了我不少时间。

回复
空向阳10 天前

看完了,收获满满,期待更多更新。

回复
一个橘子10 天前

看标题就点进来了,内容果然没让人失望。

回复
林观澜10 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝光10 天前

作者写得真不错,学到了不少。

回复
风拾光10 天前

路过

回复
墨向阳10 天前

不错不错,已加入书签。

回复
北岛渔夫10 天前

这个比较实用,已转发给同事。

回复
杨丽华10 天前

这个比较实用,已转发给同事。

回复
杨丽华10 天前

刚好最近在找这方面的资料,太及时了。

回复
星知秋9 天前

刚好最近在找这方面的资料,太及时了。

回复