LLMON:一种原生适用于 LLM 的标记语言,现已用于 Granite 4.1 3B 和 8B

山光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-1362 阅读💛 257 收藏
LLMON:一种原生适用于 LLM 的标记语言,现已用于 Granite 4.1 3B 和 8B

📌 One-Sentence Summary

IBM 推出 LLMON,这是一种原生适用于 LLM、用于明确传达结构的标记语言;同时发布预览版 Granite 4.1 模型,在保持通用能力的同时,大幅减少提示注入攻击。

📝 Summary

IBM 发布 LLMON(LLM Object Notation),这是一种专为语言模型设计的标记语言,通过保留的特殊 Token 分隔符明确传达结构和语义。文章介绍了两个实验性预览模型(granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview),它们经过训练,能够读取和生成带有 LLMON 标记的文本。LLMON 通过将指令与数据分离来应对提示注入漏洞,使模型能够忽略隐藏在用户数据中的恶意内容。这些模型在性能上与 Granite 4.1 Instruct 模型相当,同时在 OPI 基准测试中实现了接近零的攻击成功率。文章详细介绍了训练方法:在指令微调语料上进行后训练,并加入强化学习阶段;还通过 ScienceWorld 等自定义词汇展示了其可扩展性。文章也提供了 GitHub 仓库和可视化工具,供读者进行实验。

💡 Main Points

LLMON 通过保留的特殊 Token 分隔符明确传达结构

与使用模型难以可靠解析的字符的 JSON 不同,LLMON 使用类似 XML 的标记,并将结构分隔符设为单个 Token。它将结构与内容词汇分开,并在每个范围边界明确标示嵌套结构。

LLMON 模型大幅降低提示注入攻击的成功率

LLMON 通过执行块将指令与数据分离,使模型在 OPI 基准测试中的攻击成功率接近零;其防护效果比表现最佳的前沿模型高 47%,比表现最佳的开源模型高 95%,同时保持通用能力。

训练采用基于指令微调数据的后训练与强化学习阶段

模型以 Granite 4.1 基础检查点为起点,通过后训练学习 LLMON 的行为:先将指令微调语料重新序列化为可寻址的块,并加入诱饵指令;随后进行五个 GRPO 阶段,最后使用模型生成的偏好对开展一个 DPO 阶段。

LLMON 可通过自定义词汇和适配器微调扩展

这种语言不受固定架构限制;用户可以定义自定义标签,并微调 LoRA 适配器,使其理解特定领域的结构。文章以 ScienceWorld 为例,展示模型如何通过自定义规划和状态标签学会玩基于文本的游戏。

💬 Key Quotes

LLMON(LLM Object Notation,读作「lemon」)是一种原生适用于 LLM 的标记语言,可向模型明确传达结构和语义。

由于明确区分了指令和数据,LLMON 模型大多会忽略隐藏在用户数据中的间接提示注入。在某些基准测试中,攻击成功率降至接近零;而常规指令微调模型则很可能遭到劫持。

LLMON 并非要取代聊天模板,而是对其加以丰富。常规聊天模板会告诉模型哪些内容属于哪个角色(system、user、assistant);LLMON 则会告诉模型每个组成部分的含义,以及不同组成部分在同一角色内和不同角色之间如何关联。

这种权限规则自然源自布局,而非额外添加的防护措施:通过执行块传达的指令具有权威性;而作为输入传达的内容(数据、文档、工具架构、工具结果)则是供模型阅读的材料,而不是需要遵循的命令。

📊 Article Meta

AI Screening: 88

Source: Hugging Face - Blog

Author: Abraham Daniels, Basel Shbita, Chad DeLuca, Dan Gutfreund, Michael Hind, Shub A

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1828

Tags:

AI 与智能应用 , 提示工程 , AI 安全与对齐 , 模型训练与推理 , 开放权重模型

#AI 与智能应用# 提示工程# AI 安全与对齐# 模型训练与推理# 开放权重模型

文章评论(12)

风倚栏3 天前

写得挺用心的,支持一下。

回复
陈皮话梅糖3 天前

赞同,实践出真知。

回复
风倚栏3 天前

看标题就点进来了,内容果然没让人失望。

回复
曹浩3 天前

看完了,收获满满,期待更多更新。

回复
武磊3 天前

实测过类似工具,作者说的基本属实。

回复
蒋力3 天前

有没有更详细的教程,期待后续。

回复
星寻梦3 天前

不错不错,已加入书签。

回复
逐光而行3 天前

这个比较实用,已转发给同事。

回复
拾贝者3 天前

整理得太全面了,省了我不少时间。

回复
蓝光3 天前

赞同,实践出真知。

回复
晨沐雨3 天前

路过

回复
白向阳3 天前

作者写得真不错,学到了不少。

回复