通过 AI 进行芯片设计,以及为 AI 进行芯片设计——Ricursive Intelligence

清风徐来行业资讯📡 BestBlogs·全站精选⭐ 902026-11-05903 阅读💛 245 收藏
通过 AI 进行芯片设计,以及为 AI 进行芯片设计——Ricursive Intelligence

📌 One-Sentence Summary

Ricursive Intelligence 发布 Ripple-65B Preview,这是一款拥有 65-billion 个参数的开放权重模型,在智能体编程任务上取得美国开放权重模型 SOTA(TerminalBench 2.1 得分为 80.52),成本仅为此前模型的 one-tenth,并采用针对高效训练与推理共同设计的架构。

📝 Summary

Ricursive Intelligence 推出 Ripple-65B Preview,这是一款拥有 65-billion 个参数的稠密 Transformer 模型,使用 12 trillion 个 token 进行预训练,上下文长度为 1M。该模型在智能体编程任务上取得美国开放权重模型 SOTA,TerminalBench 2.1 得分为 80.52,超过了更大型的开放权重模型,包括 Reflection Beam 501B(80.1)、Meta Muse Spark Open 816B(76.4)、Thinking Machines Inkling 975B(63.8)和 NVIDIA Nemotron 3 Ultra 550B(56.4)。Ripple-65B Preview 的研发成本仅为 $32M,约为此前开放权重 SOTA 模型估算成本的 one-tenth。其架构针对 NVIDIA 硬件上的高效训练与部署进行了共同设计,采用窄而深的结构(d_model 5120,80 层)、现代化稠密注意力机制,并加入门控注意力、全局 NoPE、值残差和 FFN 激活裁剪。通过审慎的模型阶梯实验,团队在代码任务上相较 Olmo 3 基线实现了最高 16x 的计算效率提升。RL 后训练阶段仅使用 1.4M 次 rollout,就达到了 80.5 的 TerminalBench 得分,比 Reflection Beam 此前的 SOTA 少约 70x。Ripple-65B Preview 已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上提供,Fireworks 集成即将推出。

💡 Main Points

Ripple-65B Preview 以此前成本的 one-tenth,在智能体编程任务上取得美国开放权重模型 SOTA

Ripple-65B Preview 的总研发成本为 $32M,在 TerminalBench 2.1 上取得 80.52 分,超过 Reflection Beam 501B(80.1)和 Meta Muse Spark Open 816B(76.4)等规模大得多的模型,展现出出色的成本效益。

模型架构针对 NVIDIA 硬件上的高效训练与推理进行了共同设计

该模型采用窄而深的稠密 Transformer(5120 d_model,80 层),结合门控注意力、全局 NoPE、值残差和 FFN 激活裁剪。该架构避开了 MoE 的复杂性,同时保持出色的推理表现,并在整个训练过程中维持 40% MFU。

审慎的模型阶梯实验使代码任务的计算效率最高提升 16x

通过迭代式阶梯实验(v1.0-v1.6),团队采用 StepFun 缩放定律、前置与后置归一化、sigmoid 门控注意力、全局 NoPE 和值残差;在 4B 规模下,代码任务的计算效率相较 Olmo 3 基线提升了 16x。

RL 后训练以比此前模型少 70x 的 rollout 次数达到 SOTA

团队采用截断重要性采样、分数中心化和线性长度惩罚,仅用 1.4M 次 rollout 就达到了 80.5 的 TerminalBench 得分;相比之下,Reflection Beam 据估计需要 100M 次 rollout 才能取得相近表现。

Ripple-65B Preview 作为开放权重模型在多个主流平台发布

该模型已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上发布,并即将登陆 Fireworks。开放权重模型由此向社区开放前沿智能体编程能力,同时展现出其能够以更低成本与专有系统竞争。

💬 Key Quotes

我们发布 Ripple-65B Preview,这是我们专有模型的通用版本;该专有模型为我们的 AI 芯片设计平台提供支持。

Ripple-65B Preview 在智能体编程任务上表现出色,在 TerminalBench 2.1 上取得美国开放权重模型 SOTA(80.52)。

我们仅用 $32M 就完成了 Ripple-65B Preview 的开发和训练,成本仅为此前智能体编程开放权重 SOTA 模型的 one-tenth。

最终,我们从一个强大的初始 SFT 检查点出发,通过 RL 取得了显著进展。仅用 1.4M 次 rollout,我们就在 TerminalBench 2.1 上达到 80.5 分,rollout 次数约为此前 SOTA 模型 Reflection Beam 的 1/70。

综合这些改动,在 4B 模型规模下,以 dolma_stack CE 衡量,代码任务的计算效率最高提升了 16x。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: Hacker News

Author: Hacker News

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1009

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , 合成数据 , 强化学习

#AI 与智能应用# 模型训练与推理# 性能优化# 合成数据# 强化学习

文章评论(12)

风倚栏10 天前

看标题就点进来了,内容果然没让人失望。

回复
陈皮话梅糖10 天前

实话,说的不明不白

回复
石佳琪10 天前

作者写得真不错,学到了不少。

回复
三分糖去冰10 天前

看标题就点进来了,内容果然没让人失望。

回复
白向阳10 天前

实测过类似工具,作者说的基本属实。

回复
龙文博10 天前

这个观点很中肯,深有同感。

回复
雪影10 天前

这个比较实用,已转发给同事。

回复
杨丽华10 天前

看标题就点进来了,内容果然没让人失望。

回复
武磊10 天前

讲解得很细致,新手也能看懂。

回复
竹听风10 天前

思路清晰,干货满满。

回复
月沐雨10 天前

路过

回复
杨丽华10 天前

看完了,收获满满,期待更多更新。

回复