Kyutai CADRE:将世界模型延迟降至 230 毫秒以下的视频自编码器

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-25581 阅读💛 19 收藏
Kyutai CADRE:将世界模型延迟降至 230 毫秒以下的视频自编码器

📌 One-Sentence Summary

Kyutai 发布了 CADRE 系列开放因果扩散表示自编码器,旨在降低世界模型中的动作延迟,在单块 H100 GPU 上实现低于 230 毫秒的响应时间。

📝 Summary

CADRE 通过优化视频帧的压缩来解决世界模型中的延迟问题。该架构相比现有自编码器可实现更快的解码和更低的延迟,最佳配置(CADRE-2×16×16)在驾驶场景下达到 162.6 的 FVD。该系统基于冻结的 DINOv3 骨干网络构建,并利用因果扩散 Transformer 实现高效的视频生成。

💡 Main Points

压缩与延迟

CADRE 的主要目标是最大限度缩短动作与系统响应之间的时间延迟。通过优化压缩比(τ×s×s),自编码器可以更快地处理帧,将整体延迟降至 230 毫秒以下。

CADRE 采用混合架构,将冻结的 DINOv3 特征提取器与训练好的 3D 卷积相结合进行压缩。解码由因果扩散 Transformer 完成,从而支持视频数据的高效流式处理。

基准测试结果

论文提供了大量基准测试数据,将 CADRE 与其他最先进的自编码器进行比较。CADRE 在速度和质量上始终优于竞争对手,尤其是在相机运动显著的场景中。

💬 Key Quotes

CADRE 世界模型在 1 块 H100 上以 20 fps 运行,并在 230 毫秒内做出反应。

相机移动时差距最大。在驾驶场景中,Wan 2.2 的 FVD 达到 599.7,LTX-2 达到 913.3。在室内导航中,LTX-2 的 ARR 降至 0.04。

CADRE-2×32×32 在 185 毫秒内做出反应,并以 1 个解码步骤维持 23.4 fps。

📊 Article Meta

AI Screening: 88

Source: MarkTechPost

Author: Michal Sutter

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1116

Tags:

AI 与智能应用 , 世界模型 , 扩散模型 , 计算机视觉 , AI 硬件与芯片

#AI 与智能应用# 世界模型# 扩散模型# 计算机视觉# AI 硬件与芯片

文章评论(12)

杨丽华22 天前

实话,说的不明不白

回复
北岛渔夫22 天前

实测过类似工具,作者说的基本属实。

回复
墨向阳22 天前

很有价值的分享,感谢整理。

回复
林拾贝22 天前

这篇文章分析得很透彻,收藏了!

回复
雪知秋22 天前

写得挺用心的,支持一下。

回复
星观澜22 天前

路过

回复
漾漾其华22 天前

看标题就点进来了,内容果然没让人失望。

回复
墨沐雨22 天前

实测过类似工具,作者说的基本属实。

回复
林拾贝22 天前

这篇文章分析得很透彻,收藏了!

回复
郭超22 天前

写得挺用心的,支持一下。

回复
杨丽华22 天前

这个比较实用,已转发给同事。

回复
空向阳22 天前

支持作者,持续关注中。

回复