NVIDIA OpenShell 参考架构如何大规模保障 AI 智能体工作负载的安全与治理

📌 One-Sentence Summary
NVIDIA OpenShell 是一款开源运行时,通过将工作负载视为不可信对象,为 AI 智能体提供安全与治理能力;Vera CPU 则提供运行数千个并发智能体循环所需的性能。
📝 Summary
本文阐释了自主 AI 智能体为何需要外部安全与治理,而不能依赖自我约束,并介绍了 NVIDIA OpenShell 这一解决方案。OpenShell 是一款开源运行时,包含 Gateway、Supervisor、Sandbox 和 Policy prover 四个关键组件,可在智能体无法触及的范围之外实施访问控制。文章还介绍了 OpenShell 如何与 NVIDIA Vera CPU 集成。Vera 专为智能体工作负载打造,配备 88 个 Olympus 核心,具有高内存带宽和高能效设计。CoreWeave 的基准测试显示,与 x86 相比,Vera 的沙箱启动速度提升超过 3 倍,智能体循环完成速度提升 1.8 倍。此外,NVIDIA BlueField-4 DPU 和 NVIDIA Sentry 可提供硬件强制隔离与运行时监控,帮助组织在授权边界内大规模部署安全的智能体。
💡 Main Points
智能体以目标为导向,可能不会优先考虑安全,因此需要外部治理
智能体在较长时间跨度内自主运行时,会不断调整行为以实现目标,这可能导致风险累积。安全与治理必须落实在基础设施中,而不能依赖智能体自身。
OpenShell 通过四个集成组件提供确定性治理
Gateway 管理沙箱生命周期与策略;Supervisor 根据策略检查对外请求,并控制凭证访问;Sandbox 隔离智能体工作负载;Policy prover 则通过形式化验证,确保权限不超出组织设定的边界。
NVIDIA Vera CPU 架构专为 AI 智能体工作负载打造
Vera 配备 88 个 Olympus 核心、带宽达 1.2 TB/s 的 LPDDR5X 内存、Gen 6 I/O 和机密计算能力。与 x86 相比,其每瓦性能提升 2 倍,满足核心数量、内存带宽、I/O、硬件安全和能效这五项关键需求。
CoreWeave 基准测试证实 Vera 在智能体基础设施方面的性能优势
在 20 项真实智能体任务的测试中,与 x86 相比,Vera 的沙箱启动速度提升超过 3 倍,几何平均性能提升 1.8 倍;单个机架可支持超过 11,000 个并发智能体环境。
BlueField-4 和 Sentry 增添硬件强制的防护层
BlueField-4 DPU 可提供智能体无法触及的硬件隔离信任域;NVIDIA Sentry 则持续监控智能体行为,一旦发现违反策略的情况,可在数毫秒内隔离威胁。
💬 Key Quotes
智能体无法治理自身。安全与治理应由智能体运行所在的基础设施负责。
OpenShell 在整个执行过程中都将智能体工作负载视为不可信对象。智能体只会在需要时获得所需访问权限。
与 x86 CPU 相比,Vera 的每瓦性能提升 2 倍;LPDDR5X 内存子系统本身的功耗,则比基于竞争性 DDR5 的内存配置低一个数量级。
CoreWeave 发现,在从脚本编写到数据库恢复等智能体任务中,Vera 的性能比 x86 快 1.8 倍。
检测到威胁或违反策略的行为后,BlueField-4 会通过硅片级机制强制执行策略,使 NVIDIA Sentry 能在数毫秒内隔离智能体。
📊 Article Meta
AI Screening: 88
Source: NVIDIA Technical Blog
Author: Elizabeth Goodman
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1292
Tags:
AI 与智能应用 , 安全 , AI 安全与对齐 , AI Agent , LLM 推理优化
赞同,实践出真知。
作者写得真不错,学到了不少。
看完了,收获满满,期待更多更新。
这个比较实用,已转发给同事。
路过
支持作者,持续关注中。
赞同,实践出真知。
看标题就点进来了,内容果然没让人失望。
收藏了,以后慢慢研究。
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
收藏了,以后慢慢研究。