快速运行：基于 LFM2.5-24B-A2B 的设备端私有智能体

📌 One-Sentence Summary

Liquid AI 发布了 LFM2.5-24B-A2B，这是一款拥有 24B 参数但仅激活 2B 参数的 MoE 模型，专为快速且私有化的设备端智能体推理任务而优化。

📝 Summary

LFM2.5-24B-A2B 是一款专注于推理的混合专家（MoE）模型，专为高性能本地部署而设计。它拥有 24B 总参数，但每个 token 仅激活 2B 参数，在 Apple M5 Max 和 NVIDIA B300 等硬件上实现了惊人的推理速度。该模型支持 131K 上下文窗口，并通过了包括 SFT、领域特化和智能体强化学习在内的多阶段后训练方案，使其在工具使用和多步推理方面表现卓越。

💡 Main Points

高效的 MoE 架构

该模型拥有 24B 总参数，但每个 token 仅激活 2B，使其能够在本地硬件上实现推理级的性能速度。

推理优先的设计

与前代版本不同，此版本经过专门训练，在得出答案前生成显式的思维链（CoT），为复杂的智能体工作流进行了优化。

先进的智能体后训练

模型经历了五个阶段的过程，最后在 OpenClaw 和 Pi 等特定框架内通过智能体强化学习，提升了工具调用和自主性。

惊人的边缘性能

它展现了极高的吞吐量，在 Apple M5 Max 上达到 184 tokens/s，在 B300 GPU 上达到 21K 输出 tokens/s，使得运行私有本地智能体成为可能。

💬 Key Quotes

由于每个 token 仅激活 2B 参数，因此每个推理 token 的成本很低，你可以在自己的硬件上持续运行智能体。

与前代模型不同，它是一个纯推理模型，会在最终答案之前产生显式的思维链。

它是该系列中最小的模型，但与总参数和激活参数均多出 50% 的 MoE 模型相比具有竞争力。

📊 Article Meta

AI Screening： 87

Source： Hugging Face - Blog

Author： Raahul Vignesh, Song Duong, Akhilesh Deepak Gotmare, Fernando Fernandes Neto, Jiahui Wang, Mayank Agarwal, nathan ranchin, Sergei Tilga, Sinoué GAD, Tim Seyde, Zetian Li, changyi yang, Simon Lee, Leonie Monigatti, Maxime Labonne, Karthik Macherla, Alfred Eng, Khoi Nguyen, Paul Pak, xx, Tarek Dakhran, Anthony Maltsev

Category： 人工智能

Language： 英文

Read Time： 4 min

Word Count： 966

Tags：

AI 与智能应用 , 模型发布 , AI Agent , 混合专家模型 , 本地与端侧 AI