NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB:面向本地语音智能体、游戏角色与机器人的开源小语言模型

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-25788 阅读💛 74 收藏
NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB:面向本地语音智能体、游戏角色与机器人的开源小语言模型

📌 One-Sentence Summary

NVIDIA 推出 Nemotron 3.5 Bolt E4B 4GB,这是一款基于 Gemma 4 E4B 微调的轻量高性能语言模型,面向本地对话智能体,具备多轮工具调用能力,并可在 RTX 与 Jetson 硬件上高效运行。

📝 Summary

Nemotron 3.5 Bolt E4B 是 NVIDIA 推出的一款专用小语言模型,针对语音助手、游戏 NPC 和机器人交互界面的本地部署进行了优化。该模型基于 Gemma 4 E4B 构建,通过强化学习训练来增强工具调用能力,同时保持对话流畅度。模型支持 64K 上下文、异步工具执行和可配置推理,并提供了量化版本(Q4_K_M),可容纳于 4GB 显存之内,适用于边缘计算场景。

💡 Main Points

专为本地智能体打造

Nemotron 3.5 Bolt E4B 专门针对语音助手、游戏角色等本地低延迟应用进行了调优。其紧凑的体积(目标 4GB 显存)和优化的推理速度,使其适合 RTX GPU 和 Jetson 开发板等边缘设备。

仅使用强化学习

与许多将监督学习与强化学习相结合的微调方法不同,NVIDIA 仅通过强化学习训练 Bolt。这一策略在保留基础模型对话质量的同时,显著提升了其理解和执行工具调用的能力。

多轮工具调用

该模型在多轮交互中表现出色,能够记住上下文并执行复杂指令。它支持异步工具调用,并提供了处理长时间运行操作的指引,使其在真实智能体交互中表现稳健。

基准测试表现强劲

在 NVIDIA 的内部基准测试中,Bolt 在 21 个类别中的 15 个类别上优于 Gemma 4 E4B 及其他小模型,尤其在指令遵循(IHEval)和多挑战任务方面表现突出。在使用推测解码时,它还展现出相较基础模型的显著速度提升。

💬 Key Quotes

该模型基于 Google 的 Gemma 4 E4B,仅通过强化学习进行后训练。对开发者而言,这意味着在约 4GB 显存中实现智能体行为,从而为语音和视觉模型留出空间。

NVIDIA 完全跳过了监督微调。根据研究报告,SFT 改善了工具调用,但损害了 Gemma 的对话质量和简洁性。

在 NVIDIA 自有的测试框架中,Bolt 在 21 项智能体基准测试中领先 15 项。IHEval 84.8 是最亮眼的表现;Tau2-Bench 55.1 则是薄弱环节。

📊 Article Meta

AI Screening: 85

Source: MarkTechPost

Author: Asif Razzaq

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1025

Tags:

AI 与智能应用 , 强化学习 , 模型训练与推理 , 性能优化 , 本地与端侧 AI

#AI 与智能应用# 强化学习# 模型训练与推理# 性能优化# 本地与端侧 AI

文章评论(12)

南山客22 天前

路过

回复
一个橘子22 天前

收藏了,以后慢慢研究。

回复
石佳琪22 天前

支持作者,持续关注中。

回复
竹听风22 天前

看完了,收获满满,期待更多更新。

回复
蓝问津22 天前

有没有更详细的教程,期待后续。

回复
三分糖去冰22 天前

点赞,必须点赞

回复
空向阳22 天前

看标题就点进来了,内容果然没让人失望。

回复
竹听风22 天前

作者写得真不错,学到了不少。

回复
吴超22 天前

很有价值的分享,感谢整理。

回复
暮拾贝22 天前

楼主辛苦了,内容很有参考价值。

回复
杨丽华22 天前

内容翔实,正好需要,先收藏再看。

回复
竹听风21 天前

楼主辛苦了,内容很有参考价值。

回复