欢迎来自 Muse Open：来自 Meta 的开源多模态专家混合模型

📌 One-Sentence Summary

Meta 发布了 Muse Open，这是一个拥有 100 万 token 窗口的 816B 参数专家混合模型，专为智能体编程优化。

📝 Summary

Meta 推出了 Muse Open，这是一个采用混合专家（MoE）架构的大型开源多模态模型。该模型专为处理文本、图像、音频和视频设计，并针对多文件重构和长日志调试等复杂的开发者工作流进行了优化。它支持高达 100 万 token 的巨大上下文窗口，并具备规划、执行、观察、自我修正和工具调用等智能体行为。

💡 Main Points

巨大的 MoE 架构

该模型总参数量约为 816B，但通过 256 个专家层，每个 token 仅使用 8 个专家，激活 42B 参数。

多模态输入能力

Muse Open 原生处理文本、图像、音频和视频，允许开发者在编写代码时分析截图、听取语音备注或观看屏幕录制。

极长上下文窗口

它支持高达 1，048，576 token 的上下文窗口，并利用分组查询注意力（GQA）来保持模型缓存大小在可控范围内。

聚焦智能体编程

该模型在真实的开发者工作流上进行训练，擅长多文件重构、调试和自主工具调用任务。

💬 Key Quotes

Muse Open 是来自 Meta 的一个开源模型。

这个专家混合模型将文本、图像、音频和视频整合到一个拥有约 8160 亿参数、每个 token 激活约 420 亿参数以及 100 万 token 上下窗口的模型中。

Meta 将 Muse Open 描述为经过优化的模型，在多文件重构和长调试等真实开发者工作流上进行了训练。

Muse Open 是一个专注于智能体的模型，能够在长任务中进行规划、执行、观察和自我修正，包括带有图像的网页浏览。

📊 Article Meta

AI Screening： 91

Source： Hugging Face - Blog

Author： Pedro Cuenca, merve, ben burtenshaw, Guarin Flück, Quentin Gallouédec, Alvaro Bartolome, Serveurperso, Jun Kim

Category： 人工智能

Language： 英文

Read Time： 16 min

Word Count： 3913

Tags：

AI 与智能应用 , 多模态 AI , 长上下文 , 开源项目 , AI Agent