在 OpenAI 规模化 Git

📌 One-Sentence Summary
OpenAI 介绍了 Pando,一种新的 Git 后端,通过因果一致性和 packfile 复用实现并发写入的水平可扩展性和优化的读取吞吐量,支持每日 PB 级数据传输,同时保持 Git 协议兼容性。
📝 Summary
OpenAI 为 Git 仓库构建了新的后端 Pando,以应对由 Codex 智能体驱动的提交和并发工作的爆炸性增长。该系统实现两个目标:针对向多个分支并发推送优化的水平可扩展写入,以及最大化读取吞吐量以充分利用网络带宽。Pando 使用因果一致性而非仓库范围的一致性,允许独立的分支更新并行进行。它在多次获取之间复用 packfile,而不是为每个客户端生成唯一的 packfile。在生产环境中,Pando 将中位推送延迟降低了近 5 倍,每天传输近 PB 级的 Git 数据。文章将 Pando 与三阶段提交和预写日志方法进行了比较,解释了为什么 Pando 的架构能更好地处理现代开发工作流的规模。
💡 Main Points
Pando 通过因果一致性和 packfile 复用实现写入和读取的水平可扩展性
Pando 不要求仓库范围的一致性,而是使用因果一致性,允许对不相关分支的并行更新。它将传入的 packfile 存储为不可变 blob,并在多次获取之间复用 packfile,从而支持大量并发写入者和高读取吞吐量,而无需为每个客户端生成唯一的 packfile。
该架构旨在处理 Codex 智能体和并发工程工作的规模
OpenAI 的 monorepo 经历了惊人的增长,季度提交量增长超过 2,400%。传统 Git 系统在缓慢的获取、推送和失败的合并中挣扎。Pando 的构建是为了支持 Codex 所支持的并行工作,同时保持 Git 协议兼容性。
在模拟中,Pando 优于三阶段提交和预写日志方法
模拟显示,三阶段提交系统在磁盘饱和时会出现写入延迟,而 WAL 系统由于服务器在日志读取上挣扎而出现读取延迟。Pando 支持数千个并发客户端,在负载下性能不会下降。
该系统在重新架构后端的同时保持 Git 兼容性
Pando 保持与 Git 协议和客户端的兼容性,使工程师和智能体能够无缝采用。OpenAI 将他们 Git 分支的改进贡献给上游,以支持更广泛社区中的智能体规模工作。
💬 Key Quotes
Pando 现在为 OpenAI monorepo 中的所有开发提供支持。Pando 旨在实现两个雄心勃勃的目标:第一,水平可扩展的写入,针对向多个分支的并发推送进行优化。第二,最大化读取吞吐量,以便客户端能够以足够快的速度下载数据,完全饱和其可用的网络带宽。
在生产环境中,Pando 将中位推送延迟降低了近 5 倍。它现在每天传输近 PB 级的 Git 数据。
我们构建了 Pando,一个用于 Git 仓库的新后端,没有中断任何工程工作,也没有改变我们团队使用 Git 的方式。
模拟的三阶段提交系统在负载下显示出显著更高的写入延迟,因为它们的磁盘饱和;同时,预写日志系统出于同样的原因显示出显著更高的读取延迟,因为服务器难以跟上从日志中读取。
📊 Article Meta
AI Screening: 88
Source: OpenAI News
Author: OpenAI
Category: 人工智能
Language: 英文
Read Time: 23 min
Word Count: 5719
Tags:
AI 与智能应用 , 系统设计 , 模型训练与推理 , AI 工程 , 后端开发
这个观点很中肯,深有同感。
刚好最近在找这方面的资料,太及时了。
不错不错,已加入书签。
讲解得很细致,新手也能看懂。
讲解得很细致,新手也能看懂。
思路清晰,干货满满。
这个观点很中肯,深有同感。
支持作者,持续关注中。
点赞,必须点赞
看标题就点进来了,内容果然没让人失望。
这个比较实用,已转发给同事。
楼主辛苦了,内容很有参考价值。