Recursive 发布 Flint:面向智能体的开放权重 40B MoE 本地编程模型,激活参数量为 2.5B

📌 One-Sentence Summary
Recursive 推出 Flint,这是一款拥有 40B 参数、激活参数量为 2.5B 的 MoE 编程模型,针对在 Apple Silicon 和 NVIDIA GPU 上本地运行进行了优化,具有高吞吐量,并在智能体编程基准测试中表现出色。
📝 Summary
Flint 是 Recursive 开发的仅解码器 MoE Transformer,适用于代码分析与生成。它包含 49 层,每层配备 256 个专家,并结合使用滑动窗口注意力和全注意力机制。该模型通过 4-bit 量化和专用内核实现高效率,能够在消费级硬件上有效运行,同时在 SWE-bench 和 IFEval 等编程基准测试中保持出色表现。
💡 Main Points
高效的 MoE 架构
Flint 采用混合专家架构,总参数量为 40B,但每个 token 仅激活 2.5B 参数,因此能够在不牺牲模型容量的前提下实现较高的计算效率。
自动化开发
该模型借助 Eureka Machine 构建。这是一套自动化研究系统,能够优化模型架构、量化策略和内核实现,从而最大限度地发挥现有硬件的性能。
基准测试表现出色
Flint 在多项重要编程基准测试中取得了有竞争力的成绩,包括 IFEval 的 95.1% 和 SWE-bench Verified 的 74.2%,展现出处理复杂代码分析与生成任务的能力。
💬 Key Quotes
Flint 是一款面向编程智能体的仅解码器 MoE Transformer。它能够探索代码库、修复错误、实现功能并编写测试。
📊 Article Meta
AI Screening: 85
Source: MarkTechPost
Author: Asif Razzaq
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1190
Tags:
AI 与智能应用 , 混合专家模型 , Apple 芯片 , AI 编程 , 模型发布
内容翔实,正好需要,先收藏再看。
不错不错,已加入书签。
看完了,收获满满,期待更多更新。
路过
支持作者,持续关注中。
刚好最近在找这方面的资料,太及时了。
讲解得很细致,新手也能看懂。
内容翔实,正好需要,先收藏再看。
讲解得很细致,新手也能看懂。
实话,说的不明不白
很有价值的分享,感谢整理。
点赞,必须点赞