Jev 作为红队测试护栏：将 TypeSafe 的模型应用于 AI 安全

📌 One-Sentence Summary

该基准测试评估了 TypeSafe 的 Jev 模型作为 AI 安全护栏的表现，与 GPT-5-mini、Claude Haiku 4.5 及开源模型在 1，580 条红队测试提示词上进行对比，发现其速度显著更快、成本更低，且拦截准确率具有竞争力。

📝 Summary

文章展示了对 TypeSafe 的 Jev（一款专注于决策的模型）的实际测试，将其用作 AI 智能体的提示词护栏。作者使用涵盖越狱、提示词注入和有害内容的 1，580 条分层抽样红队测试提示词，将 Jev 与托管 LLM（GPT-5-mini、Claude Haiku 4.5）以及三款开源任务专用护栏模型进行了比较。结果显示，Jev 的速度约为 GPT-5-mini 的六倍，成本比 Haiku 低 27 倍，同时在托管模型中实现了最高的整体拦截准确率（85.5%）。尽管其分类准确率处于中等水平，但 Jev 在九个基准测试组中的表现优于或持平大多数任务专用的开源模型，特别是在直接提示词注入和网络攻击检测方面。研究强调，虽然 Jev 不能取代 LLM 执行生成任务，但在对智能体安全至关重要的分类决策方面提供了卓越的效率。

💡 Main Points

Jev 在护栏任务上相比托管 LLM 具有显著的速度和成本优势。

通过预测预定义选项的概率而非逐 token 生成文本，Jev 实现了 0.17 秒的中位延迟（相比之下 LLM 约为 1 秒），处理 1，580 条提示词的成本为 0.08 美元（相比之下 GPT-5-mini 为 0.48 美元，Haiku 为 2.23 美元）。

Jev 展现出高拦截准确率，但风险分类精度适中。

Jev 正确标记危害的比例达到 85.5%，超过了 GPT-5-mini（84.1%）和 Haiku（80.1%）。然而，其在 24 个选项中准确命名具体风险类别的能力较低，仅为 58.0%，这表明它在二元拦截方面很强，但在细粒度分类方面仍有改进空间。

Jev 在大多数攻击向量上的表现优于或持平专用的开源护栏模型。

与 Qwen3Guard、Prompt Guard 2 和 ProtectAI 相比，Jev 在九个基准测试组中有八个领先，包括直接提示词注入（95% vs 88%）和网络攻击协助（83% vs 67%），尽管在自动化越狱集合中的表现略逊一筹。

💬 Key Quotes

我们在 1，580 条红队测试提示词上将 TypeSafe 的 Jev 作为提示词护栏运行，并与 GPT-5-mini、Claude Haiku 4.5 及三个开源护栏模型进行对比。它的速度快五到六倍，成本低 6--27 倍，且在托管模型中拥有最高的拦截准确率。

Jev 在单次遍历中返回每个选项经过校准的概率。

我们测得的差距小于 TypeSafe 发布的头条数据。这是预期之内的。他们的数据描述的是针对其选定基线的 System One 任务工作流。

Jev 在九个基准测试组中的八个里，匹配或超越了所有任务专用模型。

📊 Article Meta

AI Screening： 86

Source： DEV Community: machinelearning

Author： Emmanuel R

Category： 人工智能

Language： 英文

Read Time： 9 min

Word Count： 2218

Tags：

AI 与智能应用 , AI 安全与对齐 , Red Teaming , 模型评测与基准 , LLM 推理优化