NVIDIA Cosmos3-H-Dreams:通过生成式模拟让临床手术栩栩如生

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-21203 阅读💛 73 收藏
NVIDIA Cosmos3-H-Dreams:通过生成式模拟让临床手术栩栩如生

📌 One-Sentence Summary

NVIDIA 发布 Cosmos3-H-Dreams,这是首个基于临床胆囊切除术数据训练的实时生成式手术模拟器,可在单块 GPU 上实现带实时运动学控制的交互式模拟。

📝 Summary

NVIDIA 推出 Cosmos3-H-Dreams,这是一款可实时模拟临床胆囊切除术的生成式世界基础模型。该系统基于拥有 16B 参数的 Cosmos3-H-Embodied-Nano 构建,使用来自 CMR Surgical Versius 平台的同步视频和机器人运动学数据训练,并通过结合 Self-Forcing 的教师-学生蒸馏流程,在长时序生成中实现时间一致性。系统发布了两个检查点:四步模型具有更高的视觉保真度,二步模型则推理速度更快;两者都可通过 FlashDreams 流式处理库和 FadeMem 缓存整合,在单块 NVIDIA RTX PRO 6000 GPU 上进行交互式运行。模拟器以 10 Hz 接收 28 维动作输入(双臂姿态、夹爪、能量、摇杆),并生成 832x480 视频。NVIDIA 提供完整训练方案、Hugging Face 上的模型检查点,以及可用于适配其他手术数据集的 GitHub 代码。该项目定位为研究模拟器,而非临床工具;未来研究方向包括覆盖完整手术流程、结合生成式与数值模拟、开展外科医生评估,以及学习自主策略。

💡 Main Points

首个基于临床手术数据训练的实时生成式模拟器

Cosmos3-H-Dreams 使用来自 CMR Surgical Versius 平台的真实胆囊切除术录像训练,是首个直接从临床手术中学习视觉动态、并支持实时运动学控制的交互式生成模拟器。

教师-学生蒸馏结合 Self-Forcing,实现稳定的长时序生成

研究先使用未来 24 帧、再使用 72 帧对双向教师模型进行适配,然后通过因果教师强制和 Self-Forcing 将其蒸馏为因果学生模型(四步和二步)。在 Self-Forcing 中,学生模型在训练时使用自身生成的上下文,并由学习得到的评估器提供指导,以减轻误差累积。

FlashDreams 与 FadeMem 实现单 GPU 交互式推理

FlashDreams 流式运行时结合 FadeMem 模块,可整合不断增长的 KV 缓存,使模型能够在单块 RTX PRO 6000 上实时生成,从而同时应对长序列自回归视频生成的计算和内存限制。

提供完整开源工具链及适配新手术流程的方案

NVIDIA 发布了模型检查点、训练代码、教师模型微调与在自定义数据集上进行 Self-Forcing 蒸馏的分步指南,以及 Open-H-Embodiment 预训练数据集,帮助研究人员将该方法拓展至其他手术任务和机器人形态。

明确定位为研究模拟器,而非临床工具

作者强调,Cosmos3-H-Dreams 用于在逼真环境中研究手术交互。要实现临床部署,仍需进一步研究完整手术流程覆盖、混合模拟、外科医生验证、多器械协同和自主策略学习。

💬 Key Quotes

据我们所知,这是首个基于临床胆囊切除术录像训练、并支持实时运动学控制的实时生成式手术模拟器。

因此,视觉逼真度只是验证工作的起点,并不能证明其生物力学准确性。

这些是未来的研究方向,并非已经具备的临床能力。Cosmos3-H-Dreams 是一款研究模拟器,而非经过验证、可用于患者护理的系统。

📊 Article Meta

AI Screening: 87

Source: Hugging Face - Blog

Author: Lukas Zbinden, Javier Gamazo, Nigel Nelson, Mostafa Toloui, Sean Huver

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1166

Tags:

AI 与智能应用 , 世界模型 , 具身智能 , 开放权重模型 , 模型蒸馏

#AI 与智能应用# 世界模型# 具身智能# 开放权重模型# 模型蒸馏

文章评论(12)

邱文博26 天前

路过

回复
山问津26 天前

内容翔实,正好需要,先收藏再看。

回复
杨丽华26 天前

路过

回复
郭超26 天前

路过

回复
雪知秋26 天前

看标题就点进来了,内容果然没让人失望。

回复
龙文博26 天前

作者写得真不错,学到了不少。

回复
龙文博26 天前

收藏了,以后慢慢研究。

回复
雪知秋26 天前

路过

回复
云逐月26 天前

作者写得真不错,学到了不少。

回复
风倚栏26 天前

赞同,实践出真知。

回复
邱文博26 天前

点赞,必须点赞

回复
北岛渔夫26 天前

实测过类似工具,作者说的基本属实。

回复