Orca Security 使用 Amazon Bedrock 实现自然语言安全查询

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 912026-10-14245 阅读💛 238 收藏

📌 One-Sentence Summary

Orca Security 构建了“Discovery AI”，这是一种自然语言查询智能体，通过 Amazon Bedrock 上的多阶段流水线将纯文本转换为结构化安全查询。

📝 Summary

本文详细介绍了 Discovery AI 从概念验证到生产级系统的架构演进。为了解决高成本、高延迟和查询准确性的问题，Orca Security 实施了一种混合方法，结合了检索增强生成（RAG）、多阶段模型分配（使用 Claude Haiku 4.5 和 Nova 2 Lite）、带重排序的语义搜索，以及用于持续改进的人机环路标注系统。

💡 Main Points

从单体提示词向多阶段流水线的转变

初始 POC 将整个安全架构加载到单个提示词中，导致了巨大的 Token 消耗和 60 秒的延迟。新的 9 阶段流水线将任务拆分为专门的步骤。

策略性模型分配

Orca 使用高性能的 Claude Haiku 4.5 处理查询生成等推理密集型任务，而使用 Amazon Nova 2 Lite 处理护栏筛选和验证等成本敏感型任务。

优化的检索策略

通过 Amazon Titan 嵌入进行前 20 最近邻检索，随后通过 Cohere Rerank 3.5 进行重排序，证明了在生成器的多样性和精确性之间取得了最佳平衡。

人机环路反馈循环

内部标注工具允许专家查看并修正生产环境查询，这些查询随后回馈到检索示例库中，随着时间推移改进系统。

💬 Key Quotes

示例检索成为流水线中影响准确性的最大杠杆。

标注 UI 是我们为长期质量所做的最重要的投资。它将 Discovery AI 从静态部署转变为一个活的系统。