通过 AI 进行芯片设计,以及为 AI 进行芯片设计——Ricursive Intelligence

📌 One-Sentence Summary
Ricursive Intelligence 发布 Ripple-65B Preview,这是一款拥有 65-billion 个参数的开放权重模型,在智能体编程任务上取得美国开放权重模型 SOTA(TerminalBench 2.1 得分为 80.52),成本仅为此前模型的 one-tenth,并采用针对高效训练与推理共同设计的架构。
📝 Summary
Ricursive Intelligence 推出 Ripple-65B Preview,这是一款拥有 65-billion 个参数的稠密 Transformer 模型,使用 12 trillion 个 token 进行预训练,上下文长度为 1M。该模型在智能体编程任务上取得美国开放权重模型 SOTA,TerminalBench 2.1 得分为 80.52,超过了更大型的开放权重模型,包括 Reflection Beam 501B(80.1)、Meta Muse Spark Open 816B(76.4)、Thinking Machines Inkling 975B(63.8)和 NVIDIA Nemotron 3 Ultra 550B(56.4)。Ripple-65B Preview 的研发成本仅为 $32M,约为此前开放权重 SOTA 模型估算成本的 one-tenth。其架构针对 NVIDIA 硬件上的高效训练与部署进行了共同设计,采用窄而深的结构(d_model 5120,80 层)、现代化稠密注意力机制,并加入门控注意力、全局 NoPE、值残差和 FFN 激活裁剪。通过审慎的模型阶梯实验,团队在代码任务上相较 Olmo 3 基线实现了最高 16x 的计算效率提升。RL 后训练阶段仅使用 1.4M 次 rollout,就达到了 80.5 的 TerminalBench 得分,比 Reflection Beam 此前的 SOTA 少约 70x。Ripple-65B Preview 已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上提供,Fireworks 集成即将推出。
💡 Main Points
Ripple-65B Preview 以此前成本的 one-tenth,在智能体编程任务上取得美国开放权重模型 SOTA
Ripple-65B Preview 的总研发成本为 $32M,在 TerminalBench 2.1 上取得 80.52 分,超过 Reflection Beam 501B(80.1)和 Meta Muse Spark Open 816B(76.4)等规模大得多的模型,展现出出色的成本效益。
模型架构针对 NVIDIA 硬件上的高效训练与推理进行了共同设计
该模型采用窄而深的稠密 Transformer(5120 d_model,80 层),结合门控注意力、全局 NoPE、值残差和 FFN 激活裁剪。该架构避开了 MoE 的复杂性,同时保持出色的推理表现,并在整个训练过程中维持 40% MFU。
审慎的模型阶梯实验使代码任务的计算效率最高提升 16x
通过迭代式阶梯实验(v1.0-v1.6),团队采用 StepFun 缩放定律、前置与后置归一化、sigmoid 门控注意力、全局 NoPE 和值残差;在 4B 规模下,代码任务的计算效率相较 Olmo 3 基线提升了 16x。
RL 后训练以比此前模型少 70x 的 rollout 次数达到 SOTA
团队采用截断重要性采样、分数中心化和线性长度惩罚,仅用 1.4M 次 rollout 就达到了 80.5 的 TerminalBench 得分;相比之下,Reflection Beam 据估计需要 100M 次 rollout 才能取得相近表现。
Ripple-65B Preview 作为开放权重模型在多个主流平台发布
该模型已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上发布,并即将登陆 Fireworks。开放权重模型由此向社区开放前沿智能体编程能力,同时展现出其能够以更低成本与专有系统竞争。
💬 Key Quotes
我们发布 Ripple-65B Preview,这是我们专有模型的通用版本;该专有模型为我们的 AI 芯片设计平台提供支持。
Ripple-65B Preview 在智能体编程任务上表现出色,在 TerminalBench 2.1 上取得美国开放权重模型 SOTA(80.52)。
我们仅用 $32M 就完成了 Ripple-65B Preview 的开发和训练,成本仅为此前智能体编程开放权重 SOTA 模型的 one-tenth。
最终,我们从一个强大的初始 SFT 检查点出发,通过 RL 取得了显著进展。仅用 1.4M 次 rollout,我们就在 TerminalBench 2.1 上达到 80.5 分,rollout 次数约为此前 SOTA 模型 Reflection Beam 的 1/70。
综合这些改动,在 4B 模型规模下,以 dolma_stack CE 衡量,代码任务的计算效率最高提升了 16x。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: Hacker News
Author: Hacker News
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1009
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , 合成数据 , 强化学习
看标题就点进来了,内容果然没让人失望。
实话,说的不明不白
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。
实测过类似工具,作者说的基本属实。
这个观点很中肯,深有同感。
这个比较实用,已转发给同事。
看标题就点进来了,内容果然没让人失望。
讲解得很细致,新手也能看懂。
思路清晰,干货满满。
路过
看完了,收获满满,期待更多更新。