LLMON:一种原生适用于 LLM 的标记语言,现已用于 Granite 4.1 3B 和 8B

📌 One-Sentence Summary
IBM 推出 LLMON,这是一种原生适用于 LLM、用于明确传达结构的标记语言;同时发布预览版 Granite 4.1 模型,在保持通用能力的同时,大幅减少提示注入攻击。
📝 Summary
IBM 发布 LLMON(LLM Object Notation),这是一种专为语言模型设计的标记语言,通过保留的特殊 Token 分隔符明确传达结构和语义。文章介绍了两个实验性预览模型(granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview),它们经过训练,能够读取和生成带有 LLMON 标记的文本。LLMON 通过将指令与数据分离来应对提示注入漏洞,使模型能够忽略隐藏在用户数据中的恶意内容。这些模型在性能上与 Granite 4.1 Instruct 模型相当,同时在 OPI 基准测试中实现了接近零的攻击成功率。文章详细介绍了训练方法:在指令微调语料上进行后训练,并加入强化学习阶段;还通过 ScienceWorld 等自定义词汇展示了其可扩展性。文章也提供了 GitHub 仓库和可视化工具,供读者进行实验。
💡 Main Points
LLMON 通过保留的特殊 Token 分隔符明确传达结构
与使用模型难以可靠解析的字符的 JSON 不同,LLMON 使用类似 XML 的标记,并将结构分隔符设为单个 Token。它将结构与内容词汇分开,并在每个范围边界明确标示嵌套结构。
LLMON 模型大幅降低提示注入攻击的成功率
LLMON 通过执行块将指令与数据分离,使模型在 OPI 基准测试中的攻击成功率接近零;其防护效果比表现最佳的前沿模型高 47%,比表现最佳的开源模型高 95%,同时保持通用能力。
训练采用基于指令微调数据的后训练与强化学习阶段
模型以 Granite 4.1 基础检查点为起点,通过后训练学习 LLMON 的行为:先将指令微调语料重新序列化为可寻址的块,并加入诱饵指令;随后进行五个 GRPO 阶段,最后使用模型生成的偏好对开展一个 DPO 阶段。
LLMON 可通过自定义词汇和适配器微调扩展
这种语言不受固定架构限制;用户可以定义自定义标签,并微调 LoRA 适配器,使其理解特定领域的结构。文章以 ScienceWorld 为例,展示模型如何通过自定义规划和状态标签学会玩基于文本的游戏。
💬 Key Quotes
LLMON(LLM Object Notation,读作「lemon」)是一种原生适用于 LLM 的标记语言,可向模型明确传达结构和语义。
由于明确区分了指令和数据,LLMON 模型大多会忽略隐藏在用户数据中的间接提示注入。在某些基准测试中,攻击成功率降至接近零;而常规指令微调模型则很可能遭到劫持。
LLMON 并非要取代聊天模板,而是对其加以丰富。常规聊天模板会告诉模型哪些内容属于哪个角色(system、user、assistant);LLMON 则会告诉模型每个组成部分的含义,以及不同组成部分在同一角色内和不同角色之间如何关联。
这种权限规则自然源自布局,而非额外添加的防护措施:通过执行块传达的指令具有权威性;而作为输入传达的内容(数据、文档、工具架构、工具结果)则是供模型阅读的材料,而不是需要遵循的命令。
📊 Article Meta
AI Screening: 88
Source: Hugging Face - Blog
Author: Abraham Daniels, Basel Shbita, Chad DeLuca, Dan Gutfreund, Michael Hind, Shub A
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1828
Tags:
AI 与智能应用 , 提示工程 , AI 安全与对齐 , 模型训练与推理 , 开放权重模型
写得挺用心的,支持一下。
赞同,实践出真知。
看标题就点进来了,内容果然没让人失望。
看完了,收获满满,期待更多更新。
实测过类似工具,作者说的基本属实。
有没有更详细的教程,期待后续。
不错不错,已加入书签。
这个比较实用,已转发给同事。
整理得太全面了,省了我不少时间。
赞同,实践出真知。
路过
作者写得真不错,学到了不少。