NVIDIA Run:ai 作为 NVIDIA DSX AI Factory 平台的一部分正式开源

📌 One-Sentence Summary

NVIDIA 已将其 Run.ai 平台开源，提供生产级的 GPU 编排、GPU 分配和快速模型流传输，以优化 Kubernetes 上的 AI 工作负载。

📝 Summary

NVIDIA 正在作为 DSX AI Factory 的一部分，将 Run:ai 平台开源。此次发布包含了整个平台以及四个模块化组件：KAI Scheduler（一种针对 GPU 工作负载优化的 Kubernetes 原生调度器）、用于在硬内存隔离下共享 GPU 的 GPU Fractioning Operator、用于分级资源分配的 KAI Resource Management，以及用于一致性管理的 Workload Map。此外，Model Streamer 工具通过直接从存储流式传输权重到 GPU 显存解决了冷启动延迟问题，显著缩短了大型模型的下载时间。

💡 Main Points

Run:ai 平台现已开源

NVIDIA 正在向社区提供生产级的 GPU 编排和工作负载管理工具，帮助 AI 云增加负载吞吐量和 GPU 利用率。

用于专业化 AI 调度的 KAI Scheduler

这是一个 Kubernetes 原生调度器，专门针对大规模 AI 工作负载处理成组调度（gang scheduling）、拓扑感知放置和公平共享。

Model Streamer 缩短了冷启动延迟

通过直接从存储器流式传输模型权重到 GPU 显存，它消除了在传统模型加载过程中 GPU 闲置的几分钟时间。

提高资源效率的 GPU Fractioning

允许多个负载在硬内存隔离下共享单个 GPU，是交互式笔记本和小型模型推理的理想选择。

💬 Key Quotes

今天，NVIDIA 将整个 NVIDIA Run:ai 平台作为开源软件提供，让客户、开发者和生态伙伴能够获得生产级的 AI 工作负载和 GPU 编排能力。

Model Streamer 同时读取权重并将其直接流传输到 GPU 显存，缩短了大型模型的加载时间。

KAI Scheduler 专为大规模 GPU 工作负载构建，通过内存中的预调度仿真来协调成组调度。

📊 Article Meta

AI Screening： 88

Source： NVIDIA Technical Blog

Author： Tanya Lenz

Category： 人工智能

Language： 英文

Read Time： 10 min

Word Count： 2446

Tags：

AI 与智能应用 , 云原生 / DevOps , 开源项目 , LLM 推理优化 , AI 硬件与芯片