GPU 集群的有效调度

📌 One-Sentence Summary

Ai2 的新型分层公平共享调度器，辅以 GPU 时间预算，确保高影响力研究项目获得其应有计算资源，同时保持集群满载并减少值勤负担。

📝 Summary

Ai2 的 AI 基础设施团队已用一种通过分层预算结构分配 GPU 时间的系统，取代了其基于优先级的调度器。这种方法使管理者能够根据战略影响而非即时需求来分配计算资源，而公平共享算法则确保了公正分配和高占用率。引入包含最低运行时间保证的“调度合同”，显著减少了维护期间的手动干预需求，从而提高了整体集群效率和用户满意度。

💡 Main Points

该系统由静态优先级模型转变为动态预算方法，管理者根据项目需求分配 GPU 时间百分比。这允许战略性资源分配，灵活适应不断发展的研究计划需要。

公平共享占用率

分层公平共享调度器会根据滑动窗口跟踪占用情况，确保团队获得应得的 GPU 时间份额。这防止了“霸占”现象，并确保闲置资源迅速重新分配给活跃工作负载。

工作负载必须声明最低运行时间，从而在关键阶段提供不间断执行保障。该合同机制支持对不健康节点进行自动化清理，并减轻值勤工程师手动管理抢占的负担。

💬 Key Quotes

我们选择围绕所有权模型进行改进。不是直接赋予团队 GPU，而是为其分配部分 GPU 时间。

调度器通过滑动回顾窗口（默认为 7 天）跟踪占用情况，并将工作负载按实际占用率与分配时间之比进行排序，从而实现公平分配。

工作负载的生命周期遵循以下模式：工作负载在提交时附带最低运行时间，并说明是否可恢复。然后，根据公平共享算法进行调度，权重基于回顾窗口内的实际占用率与分配时间的比值。

📊 Article Meta

AI Screening： 91

Featured： Yes

Source： Hugging Face - Blog

Author： Kyle Wiggers

Category： 人工智能

Language： 英文

Read Time： 14 min

Word Count： 3303

Tags：

AI 与智能应用 , AI基础设施 , AI 数据中心与算力 , AI 工程 , AI 硬件与芯片