NaiveAI 承诺每秒 2,100 个 Token:它的编程能力如何?— Latent Space

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-11358 阅读💛 65 收藏
NaiveAI 承诺每秒 2,100 个 Token:它的编程能力如何?— Latent Space

📌 One-Sentence Summary

本文评测了中国公司 NaiveAI 推出的开放权重 AI 编程模型 Naive-N0.5-Flash。该模型宣称速度可达每秒 2,100 个 Token,文章将其速度、推理深度和应用开发能力与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 进行了比较。

📝 Summary

本文全面评测了中国公司 NaiveAI 为 AI 编程任务开发的开放权重模型 Naive-N0.5-Flash。该模型由小米 MiMo-V2.5 演进而来,并使用 DeepSeekSparse Attention 额外训练了 3.25T 个 Token,宣称吞吐量最高可达每秒 2,000 个 Token。评测从多个维度将 Naive-N0.5-Flash 与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 进行比较,包括在 MATH-500、GPQA-Diamond 和 HLE-Diamond 题目上的速度测试、回答详尽程度分析,以及实际应用开发任务:3D 太阳系可视化、程序化树木生成,以及将《Ray Tracing in One Weekend》移植到浏览器。结果显示,Naive-N0.5-Flash 的响应时间中位数最快(启用思考模式时,难题用时 3.1 秒),但推理过程中消耗的 Token 显著更多。在应用开发方面,它生成的太阳系可视化效果最佳,树木建模与 DeepSeek 并列,但光线追踪器的效率较低。对于优先考虑快速迭代而非 Token 节省的开发者而言,该模型定位为低成本选择(每百万 Token $0.10-$0.40)。

💡 Main Points

Naive-N0.5-Flash 吞吐量出色,但需要权衡 Token 消耗

该模型峰值速度可达每秒 2,000 个 Token,在思考密集型任务中也能维持接近每秒 1,000 个 Token;其中位响应时间显著快于竞争对手(难题用时 3.1 秒,而 GLM 为 5.3 秒,DeepSeek 为 10.1 秒),但处理复杂问题时会消耗多得多的思考 Token。

在编程任务基准测试中,Naive-N0.5-Flash 的表现介于 DeepSeek 和 GLM 之间

在 NL2Repo-Bench 上,它得分 71.9,排名最高;DeepSeek 得分 68.2,GLM 得分 56.3。在 DeepSWE v1.1 上,它得分 67.8,低于 DeepSeek 的 77.0,高于 GLM 的 63.4,表明其编程能力较强,但并非全面领先。

应用开发表现因任务复杂度和思考模式设置而异

启用思考模式时,Naive-N0.5-Flash 生成的太阳系可视化效果最佳,细致呈现了太阳黑子和夜间城市灯光;树木建模与 DeepSeek 并列,但光线追踪效率排名第二。值得注意的是,关闭思考模式时,它完全无法完成树木建模。

该模型定位为适合快速迭代工作流的高性价比选择

其目标定价为每百万输入 Token $0.10、每百万输出 Token $0.40、每百万缓存读取 Token $0.01;与其他能力较强的 Flash 模型一样,处于每百万输出 Token $0.20-$0.60 的价格区间。

💬 Key Quotes

NaiveAI 承诺,研究迭代速度将快于同类模型

Naive-N0.5-Flash 推理较难的问题需要更长时间,但总体上仍能更快给出答案

Naive-N0.5-Flash 报告的吞吐量极高,在两种思考模式下都接近或超过每秒 1,000 个 Token

启用思考模式时,Naive-N0.5-Flash 的题目响应时间中位数为 3.1 秒;相比之下,GLM 5.3 Flash(high)为 5.3 秒,DeepSeek V4.1 Flash 1017(high)为 10.1 秒

Naive-N0.5-Flash 的表现比 GLM 5.3 Flash(high)稳定得多

📊 Article Meta

AI Screening: 85

Source: Latent.Space

Author: Gabriele Beltramo

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2164

Tags:

AI 与智能应用 , AI 编程 , 性能优化 , 开放权重模型 , AI Agent

#AI 与智能应用# AI 编程# 性能优化# 开放权重模型# AI Agent

文章评论(12)

月沐雨5 天前

实测过类似工具,作者说的基本属实。

回复
武磊5 天前

写得挺用心的,支持一下。

回复
蒋力5 天前

有没有更详细的教程,期待后续。

回复
蒋力5 天前

看标题就点进来了,内容果然没让人失望。

回复
雪影5 天前

很有价值的分享,感谢整理。

回复
雪影5 天前

作者写得真不错,学到了不少。

回复
暮临风5 天前

不错不错,已加入书签。

回复
龙文博5 天前

这个观点很中肯,深有同感。

回复
星观澜5 天前

实测过类似工具,作者说的基本属实。

回复
月沐雨5 天前

路过

回复
空向阳5 天前

赞同,实践出真知。

回复
北岛渔夫5 天前

支持作者,持续关注中。

回复