NaiveAI 承诺每秒 2,100 个 Token:它的编程能力如何?— Latent Space

📌 One-Sentence Summary
本文评测了中国公司 NaiveAI 推出的开放权重 AI 编程模型 Naive-N0.5-Flash。该模型宣称速度可达每秒 2,100 个 Token,文章将其速度、推理深度和应用开发能力与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 进行了比较。
📝 Summary
本文全面评测了中国公司 NaiveAI 为 AI 编程任务开发的开放权重模型 Naive-N0.5-Flash。该模型由小米 MiMo-V2.5 演进而来,并使用 DeepSeekSparse Attention 额外训练了 3.25T 个 Token,宣称吞吐量最高可达每秒 2,000 个 Token。评测从多个维度将 Naive-N0.5-Flash 与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 进行比较,包括在 MATH-500、GPQA-Diamond 和 HLE-Diamond 题目上的速度测试、回答详尽程度分析,以及实际应用开发任务:3D 太阳系可视化、程序化树木生成,以及将《Ray Tracing in One Weekend》移植到浏览器。结果显示,Naive-N0.5-Flash 的响应时间中位数最快(启用思考模式时,难题用时 3.1 秒),但推理过程中消耗的 Token 显著更多。在应用开发方面,它生成的太阳系可视化效果最佳,树木建模与 DeepSeek 并列,但光线追踪器的效率较低。对于优先考虑快速迭代而非 Token 节省的开发者而言,该模型定位为低成本选择(每百万 Token $0.10-$0.40)。
💡 Main Points
Naive-N0.5-Flash 吞吐量出色,但需要权衡 Token 消耗
该模型峰值速度可达每秒 2,000 个 Token,在思考密集型任务中也能维持接近每秒 1,000 个 Token;其中位响应时间显著快于竞争对手(难题用时 3.1 秒,而 GLM 为 5.3 秒,DeepSeek 为 10.1 秒),但处理复杂问题时会消耗多得多的思考 Token。
在编程任务基准测试中,Naive-N0.5-Flash 的表现介于 DeepSeek 和 GLM 之间
在 NL2Repo-Bench 上,它得分 71.9,排名最高;DeepSeek 得分 68.2,GLM 得分 56.3。在 DeepSWE v1.1 上,它得分 67.8,低于 DeepSeek 的 77.0,高于 GLM 的 63.4,表明其编程能力较强,但并非全面领先。
应用开发表现因任务复杂度和思考模式设置而异
启用思考模式时,Naive-N0.5-Flash 生成的太阳系可视化效果最佳,细致呈现了太阳黑子和夜间城市灯光;树木建模与 DeepSeek 并列,但光线追踪效率排名第二。值得注意的是,关闭思考模式时,它完全无法完成树木建模。
该模型定位为适合快速迭代工作流的高性价比选择
其目标定价为每百万输入 Token $0.10、每百万输出 Token $0.40、每百万缓存读取 Token $0.01;与其他能力较强的 Flash 模型一样,处于每百万输出 Token $0.20-$0.60 的价格区间。
💬 Key Quotes
NaiveAI 承诺,研究迭代速度将快于同类模型
Naive-N0.5-Flash 推理较难的问题需要更长时间,但总体上仍能更快给出答案
Naive-N0.5-Flash 报告的吞吐量极高,在两种思考模式下都接近或超过每秒 1,000 个 Token
启用思考模式时,Naive-N0.5-Flash 的题目响应时间中位数为 3.1 秒;相比之下,GLM 5.3 Flash(high)为 5.3 秒,DeepSeek V4.1 Flash 1017(high)为 10.1 秒
Naive-N0.5-Flash 的表现比 GLM 5.3 Flash(high)稳定得多
📊 Article Meta
AI Screening: 85
Source: Latent.Space
Author: Gabriele Beltramo
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2164
Tags:
AI 与智能应用 , AI 编程 , 性能优化 , 开放权重模型 , AI Agent
实测过类似工具,作者说的基本属实。
写得挺用心的,支持一下。
有没有更详细的教程,期待后续。
看标题就点进来了,内容果然没让人失望。
很有价值的分享,感谢整理。
作者写得真不错,学到了不少。
不错不错,已加入书签。
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
路过
赞同,实践出真知。
支持作者,持续关注中。