NVIDIA Cosmos3-H-Dreams:通过生成式模拟让临床手术栩栩如生

📌 One-Sentence Summary
NVIDIA 发布 Cosmos3-H-Dreams,这是首个基于临床胆囊切除术数据训练的实时生成式手术模拟器,可在单块 GPU 上实现带实时运动学控制的交互式模拟。
📝 Summary
NVIDIA 推出 Cosmos3-H-Dreams,这是一款可实时模拟临床胆囊切除术的生成式世界基础模型。该系统基于拥有 16B 参数的 Cosmos3-H-Embodied-Nano 构建,使用来自 CMR Surgical Versius 平台的同步视频和机器人运动学数据训练,并通过结合 Self-Forcing 的教师-学生蒸馏流程,在长时序生成中实现时间一致性。系统发布了两个检查点:四步模型具有更高的视觉保真度,二步模型则推理速度更快;两者都可通过 FlashDreams 流式处理库和 FadeMem 缓存整合,在单块 NVIDIA RTX PRO 6000 GPU 上进行交互式运行。模拟器以 10 Hz 接收 28 维动作输入(双臂姿态、夹爪、能量、摇杆),并生成 832x480 视频。NVIDIA 提供完整训练方案、Hugging Face 上的模型检查点,以及可用于适配其他手术数据集的 GitHub 代码。该项目定位为研究模拟器,而非临床工具;未来研究方向包括覆盖完整手术流程、结合生成式与数值模拟、开展外科医生评估,以及学习自主策略。
💡 Main Points
首个基于临床手术数据训练的实时生成式模拟器
Cosmos3-H-Dreams 使用来自 CMR Surgical Versius 平台的真实胆囊切除术录像训练,是首个直接从临床手术中学习视觉动态、并支持实时运动学控制的交互式生成模拟器。
教师-学生蒸馏结合 Self-Forcing,实现稳定的长时序生成
研究先使用未来 24 帧、再使用 72 帧对双向教师模型进行适配,然后通过因果教师强制和 Self-Forcing 将其蒸馏为因果学生模型(四步和二步)。在 Self-Forcing 中,学生模型在训练时使用自身生成的上下文,并由学习得到的评估器提供指导,以减轻误差累积。
FlashDreams 与 FadeMem 实现单 GPU 交互式推理
FlashDreams 流式运行时结合 FadeMem 模块,可整合不断增长的 KV 缓存,使模型能够在单块 RTX PRO 6000 上实时生成,从而同时应对长序列自回归视频生成的计算和内存限制。
提供完整开源工具链及适配新手术流程的方案
NVIDIA 发布了模型检查点、训练代码、教师模型微调与在自定义数据集上进行 Self-Forcing 蒸馏的分步指南,以及 Open-H-Embodiment 预训练数据集,帮助研究人员将该方法拓展至其他手术任务和机器人形态。
明确定位为研究模拟器,而非临床工具
作者强调,Cosmos3-H-Dreams 用于在逼真环境中研究手术交互。要实现临床部署,仍需进一步研究完整手术流程覆盖、混合模拟、外科医生验证、多器械协同和自主策略学习。
💬 Key Quotes
据我们所知,这是首个基于临床胆囊切除术录像训练、并支持实时运动学控制的实时生成式手术模拟器。
因此,视觉逼真度只是验证工作的起点,并不能证明其生物力学准确性。
这些是未来的研究方向,并非已经具备的临床能力。Cosmos3-H-Dreams 是一款研究模拟器,而非经过验证、可用于患者护理的系统。
📊 Article Meta
AI Screening: 87
Source: Hugging Face - Blog
Author: Lukas Zbinden, Javier Gamazo, Nigel Nelson, Mostafa Toloui, Sean Huver
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1166
Tags:
AI 与智能应用 , 世界模型 , 具身智能 , 开放权重模型 , 模型蒸馏
路过
内容翔实,正好需要,先收藏再看。
路过
路过
看标题就点进来了,内容果然没让人失望。
作者写得真不错,学到了不少。
收藏了,以后慢慢研究。
路过
作者写得真不错,学到了不少。
赞同,实践出真知。
点赞,必须点赞
实测过类似工具,作者说的基本属实。