在 NVIDIA GB300 NVL72 上通过 Meta Muse Spark Open 扩展智能体编码工作流

📌 One-Sentence Summary

Meta 发布了 Muse Spark Open，这是一个拥有 1M token 上下文窗口的 816B MoE 模型，专为复杂的智能体编码工作流设计并在 NVIDIA Blackwell Ultra 硬件上进行了优化。

📝 Summary

Meta 发布了 Muse Spark Open，这是一款针对编码优化的 816B 混合专家（MoE）模型，拥有 42B 激活参数和 1M token 上下文窗口。模型在 NVIDIA GB300 NVL72 上训练，专为智能体编码工作流打造，提供了更高的首次尝试准确率、可靠的工具调用以及跨代码库的深度理解。1M token 上下文窗口可以容纳整个项目，包括复杂的依赖关系、遗留代码和数个文件，无需分解任务。作为推理模型，Muse Spark Open 在图像和文档理解的基础上，增加了音频和视频感知，能够原生地处理其看到、听到的和阅读的内容。由 Meta 生成并针对 NVIDIA Blackwell Ultra 优化的 NVFP4 权重缩小了全部 816B 参数的内存占用。每个 token 移动的字节数增加了每个用户的每秒 token 数，释放的内存支持更大并发会话的 KV 缓存，从而实现了更高的吞吐量和更低的 token 成本。

💡 Main Points

Muse Spark Open 利用 1M token 上下文窗口来涵盖整个项目。

这使得模型能够理解数个文件中的复杂依赖关系和遗留代码，而无需将任务分解成较小的部分。

该模型采用 816B 混合专家（MoE）架构，激活参数为 42B。

这种配置与等规模的稠密模型相比，实现了高性能推理，同时显著降低了推理成本。

原生多模态能力涵盖文本、图像、视频和音频。

该模型在单次统一处理中对交错输入进行推理，非常适合涉及截图和视频演示的工作流。

在 NVIDIA GB300 NVL72 上的优化提供了高吞吐量。

使用 NVLink（130 TB/s）的艺术级架构消除了稀疏 MoE 模型在专家流量传输中常见的通信瓶颈。

💬 Key Quotes

1M token 上下文窗口可以容纳整个项目，包括复杂的依赖关系、遗留代码和数个文件，而无需将任务分解成较小的部分。

智能体编码需要完全不同的能力：规划多文件重构、导航数千个文件、从失败的测试中恢复以及在长周期内协调子智能体。

稀疏 MoE 路由每个 token 仅激活 816B 总参数中的 42B，以稠密模型几分之一的成本提供了前沿的智能体能力。

📊 Article Meta

AI Screening： 89

Source： NVIDIA Technical Blog

Author： Tanya Lenz

Category： 人工智能

Language： 英文

Read Time： 4 min

Word Count： 934

Tags：

AI 与智能应用 , 混合专家模型 , 数据工程 , AI Agent , 长上下文