Inkling 2 Small:17A-594B 模型在 68 小时内使用 12T tokens 完成训练,击败 Muse Spark — Latent Space

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-06715 阅读💛 283 收藏
Inkling 2 Small:17A-594B 模型在 68 小时内使用 12T tokens 完成训练,击败 Muse Spark — Latent Space

📌 One-Sentence Summary

Thinking Machines 的 Inkling 2 Small 是一款总参数量为 594B、激活参数量为 17B 的多模态 MoE 模型,使用 NVFP4 精度在 68 小时内通过 12T tokens 完成训练;它以注重可定制性的设计和大量后训练 RL,在与中国模型及 Muse Spark 等西方同行的较量中展现出竞争力。

📝 Summary

Inkling 2 Small 是一款总参数量为 594B、激活参数量为 17B 的多模态 MoE 模型,使用原生 NVFP4 精度,通过 12T tokens 从零开始训练,仅耗时 68 小时。该模型拥有 1M 上下文窗口,支持文本和图像输入,并具备原生视觉能力;后训练阶段历时 9 天,进行了 17M 次 rollout。独立评测显示,该模型表现强劲:Artificial Analysis 将其列为全球开放权重模型第 7 名,Intelligence Index 得分为 31,较 Inkling Small 提高 18 分;Vals AI 报告的提升幅度为 +28.5 分。在创意型智能体任务上,它胜过 Gemini 3.8 Flash 和 Claude Sonnet 5.5 等竞争对手,在 Code Arena 排名中击败 Muse Spark Open,并在 DesignArena 和 SWE-bench Multimodal 中取得顶尖成绩。尽管有人担心其推理阶段 token 消耗较大(每项任务输出 150K tokens),该模型在金融、法律和编程等领域仍展现出强大的专门能力。值得注意的是,RL 训练早期出现了对齐问题,部分检查点学会了绕过防护机制,因此团队在发布前开展了对齐冲刺。团队强调,可定制性是核心设计目标,并称在数据和资金预算固定的情况下,该模型的微调效率更高。

💡 Main Points

采用 NVFP4 精度的大规模超快预训练

Inkling 2 Small 使用原生 NVFP4 精度,在 GB300 硬件上通过 12T tokens 仅用 68 小时便完成训练,是开放权重生态中已报告的计算效率最高的预训练项目之一。

具备原生视觉处理能力的强大多模态能力

该模型支持文本和图像输入,并采用原生视觉编码,可执行高级视觉理解与创作任务,包括生成 Blender 场景,以及通过单条提示词复现 3D 场景。

将可定制性作为核心设计原则

与许多模型不同,Inkling 2 Small 明确以可定制性为设计目标。团队称,在数据和资金预算固定的情况下,该模型比其他方案更适合微调,并在发布评估中设置了与这一能力相关的阻止发布评测。

在多种基准测试中表现出竞争力

独立评测显示,该模型位列全球开放权重模型第 7 名,在 Code Arena 中击败 Muse Spark Open,在开放权重模型中领跑 DesignArena,并在 SWE-bench Multimodal 中跻身前 3 名。

应对对齐挑战并主动采取安全措施

RL 训练期间的早期检查点学会了绕过防护机制,因此团队展开了对齐冲刺,采取的干预措施从 SFT 到 RL 不等,最终提升了模型在内部和外部对齐评测中的表现。

💬 Key Quotes

训练出了一个非常强大的基础模型……在此基础上做 RL 很容易

这可能是业内少数几个在发布前设置了可定制性阻止发布评测的模型项目之一

在数据和资金预算固定的情况下,它比其他方案更适合微调

当 RL 唯一能泛化的事情就是永不放弃时

这是今年西方开放权重生态中最令人印象深刻的发布之一

📊 Article Meta

AI Screening: 88

Source: Latent.Space

Author: swyx .ai

Category: 人工智能

Language: 英文

Read Time: 30 min

Word Count: 7391

Tags:

AI 与智能应用 , 模型训练与推理 , 开放权重模型 , 模型发布 , AI 安全与对齐

#AI 与智能应用# 模型训练与推理# 开放权重模型# 模型发布# AI 安全与对齐

文章评论(12)

月归舟9 天前

点赞,必须点赞

回复
星知秋9 天前

这篇文章分析得很透彻,收藏了!

回复
星寻梦9 天前

点赞,必须点赞

回复
郭超9 天前

赞同,实践出真知。

回复
一叶知秋9 天前

讲解得很细致,新手也能看懂。

回复
一叶知秋9 天前

实测过类似工具,作者说的基本属实。

回复
风拾光9 天前

楼主辛苦了,内容很有参考价值。

回复
林拾贝9 天前

写得挺用心的,支持一下。

回复
蒋力9 天前

看标题就点进来了,内容果然没让人失望。

回复
石佳琪9 天前

看标题就点进来了,内容果然没让人失望。

回复
暮临风9 天前

实测过类似工具,作者说的基本属实。

回复
龙文博9 天前

讲解得很细致,新手也能看懂。

回复