Recursive 发布 Flint:面向智能体的开放权重 40B MoE 本地编程模型,激活参数量为 2.5B

山光AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-22509 阅读💛 266 收藏
Recursive 发布 Flint:面向智能体的开放权重 40B MoE 本地编程模型,激活参数量为 2.5B

📌 One-Sentence Summary

Recursive 推出 Flint,这是一款拥有 40B 参数、激活参数量为 2.5B 的 MoE 编程模型,针对在 Apple Silicon 和 NVIDIA GPU 上本地运行进行了优化,具有高吞吐量,并在智能体编程基准测试中表现出色。

📝 Summary

Flint 是 Recursive 开发的仅解码器 MoE Transformer,适用于代码分析与生成。它包含 49 层,每层配备 256 个专家,并结合使用滑动窗口注意力和全注意力机制。该模型通过 4-bit 量化和专用内核实现高效率,能够在消费级硬件上有效运行,同时在 SWE-bench 和 IFEval 等编程基准测试中保持出色表现。

💡 Main Points

高效的 MoE 架构

Flint 采用混合专家架构,总参数量为 40B,但每个 token 仅激活 2.5B 参数,因此能够在不牺牲模型容量的前提下实现较高的计算效率。

自动化开发

该模型借助 Eureka Machine 构建。这是一套自动化研究系统,能够优化模型架构、量化策略和内核实现,从而最大限度地发挥现有硬件的性能。

基准测试表现出色

Flint 在多项重要编程基准测试中取得了有竞争力的成绩,包括 IFEval 的 95.1% 和 SWE-bench Verified 的 74.2%,展现出处理复杂代码分析与生成任务的能力。

💬 Key Quotes

Flint 是一款面向编程智能体的仅解码器 MoE Transformer。它能够探索代码库、修复错误、实现功能并编写测试。

📊 Article Meta

AI Screening: 85

Source: MarkTechPost

Author: Asif Razzaq

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1190

Tags:

AI 与智能应用 , 混合专家模型 , Apple 芯片 , AI 编程 , 模型发布

#AI 与智能应用# 混合专家模型# Apple 芯片# AI 编程# 模型发布

文章评论(12)

雪影24 天前

内容翔实,正好需要,先收藏再看。

回复
星寻梦24 天前

不错不错,已加入书签。

回复
逐光而行24 天前

看完了,收获满满,期待更多更新。

回复
武磊24 天前

路过

回复
青柠微凉24 天前

支持作者,持续关注中。

回复
武磊24 天前

刚好最近在找这方面的资料,太及时了。

回复
竹听风24 天前

讲解得很细致,新手也能看懂。

回复
三分糖去冰24 天前

内容翔实,正好需要,先收藏再看。

回复
星寻梦24 天前

讲解得很细致,新手也能看懂。

回复
空向阳24 天前

实话,说的不明不白

回复
星知秋24 天前

很有价值的分享,感谢整理。

回复
蓝归舟24 天前

点赞,必须点赞

回复