你的 PII 脱敏工具不是机密信息过滤器——而你的 LLM 提示词里满是机密

📌 One-Sentence Summary
PII 脱敏工具会漏掉 LLM 提示词中的 API 密钥和私钥等关键机密;作者开发了 LeakProbe 来测试并揭示这些漏洞,结果显示一款热门库的机密泄漏率高达 52.6%。
📝 Summary
文章区分了 LLM 提示词安全中的 PII(个人身份信息)与机密信息(API 密钥、令牌、私钥)。`redact-pii` 等 PII 脱敏工具擅长识别电子邮件地址、信用卡号和 SSN,却会漏掉许多高价值机密:私钥(RSA、EC、OpenSSH)、Stripe 实时密钥、AWS 密钥访问密钥、OpenAI 密钥、传统 GitHub PAT 和 JWT。作者开发了 LeakProbe,这款零依赖开源工具能向任意脱敏工具发送经过伪装的机密信息载荷,并报告其未被拦截的比例。对 `redact-pii` 的测试发现,38 个机密信息载荷中有 20 个泄漏,泄漏率为 52.6%。覆盖不完整会带来虚假的安全感。此外,特定地区的 PII(例如摩洛哥电话号码和 CIN 身份证号)也经常被漏掉。文章还提到了现实中的问题,例如流式输出被拆分,以及工具调用参数中包含机密信息。LeakProbe 可以集成到 CI 中,并在发现任何机密信息泄漏时使构建失败。
💡 Main Points
PII 脱敏 ≠ 机密信息过滤
针对 PII(电子邮件地址、身份证件、银行卡)设计的工具,无法可靠识别私钥、云凭证或令牌等机密信息。以为一种脱敏工具能覆盖所有敏感数据,会造成危险的盲区。
部分覆盖会让团队产生虚假的安全感
`redact-pii` 能识别部分凭证(Google、Slack、细粒度 GitHub PAT,以及连接字符串中的密码),却会漏掉其他凭证(私钥、Stripe、AWS、OpenAI 和 JWT)。这种零散的覆盖意味着,如果不进行系统测试,就无法知道哪些机密信息受到保护。
LeakProbe 提供可自动化并适用于 CI 的机密信息泄漏测试
开源工具 LeakProbe 通过简单适配器,向任意脱敏工具发送一组经过伪装的机密信息和 PII 载荷,并生成分类泄漏报告。它可以在 CI 中运行,并设置失败阈值以防止回归。
主流脱敏库经常无法识别特定地区的 PII
测试载荷包含摩洛哥电话号码和国家身份证号(CIN),而 `redact-pii` 完全未能识别。如果用户不在美国或欧盟,标准 PII 脱敏可能会悄无声息地无法处理他们的数据。
现实中的漏洞与测试发现的缺口如出一辙
Presidio 中已有记录的问题(流式输出拆分、地区实体被丢弃)以及 LiteLLM 的问题(工具调用参数中包含机密信息),都印证了 LLM 流水线中的机密泄漏是一个反复出现、测试不足的问题。
💬 Key Quotes
「我们做了脱敏」并不等于经过了测量。覆盖范围是具体而有限的。
一种能精准识别 PII 的工具,可能会漏掉你 100% 的机密信息;直到它出现在日志、追踪记录或模型提供商保留的提示词中,你才会发现。
问题出在部署方式:误以为一种脱敏工具能覆盖提示词中的所有敏感信息。
私钥——RSA、EC、OpenSSH,甚至格式正确的 PEM——全部泄漏(100%)。
如果你的用户不在美国或欧盟,很多「PII 脱敏」措施其实悄悄地并不适用于他们。
📊 Article Meta
AI Screening: 86
Source: DEV Community: machinelearning
Author: ROSH™ Company Labs
Category: 人工智能
Language: 英文
Read Time: 3 min
Word Count: 643
Tags:
AI 与智能应用 , AI 安全与对齐 , AI 工程 , 测试与质量 , 开源项目
路过
这篇文章分析得很透彻,收藏了!
刚好最近在找这方面的资料,太及时了。
很有价值的分享,感谢整理。
这个比较实用,已转发给同事。
看标题就点进来了,内容果然没让人失望。
很有价值的分享,感谢整理。
内容翔实,正好需要,先收藏再看。
整理得太全面了,省了我不少时间。
支持作者,持续关注中。
实测过类似工具,作者说的基本属实。
不错不错,已加入书签。