在 OpenAI 规模化 Git

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-0392 阅读💛 92 收藏
在 OpenAI 规模化 Git

📌 One-Sentence Summary

OpenAI 介绍了 Pando,一种新的 Git 后端,通过因果一致性和 packfile 复用实现并发写入的水平可扩展性和优化的读取吞吐量,支持每日 PB 级数据传输,同时保持 Git 协议兼容性。

📝 Summary

OpenAI 为 Git 仓库构建了新的后端 Pando,以应对由 Codex 智能体驱动的提交和并发工作的爆炸性增长。该系统实现两个目标:针对向多个分支并发推送优化的水平可扩展写入,以及最大化读取吞吐量以充分利用网络带宽。Pando 使用因果一致性而非仓库范围的一致性,允许独立的分支更新并行进行。它在多次获取之间复用 packfile,而不是为每个客户端生成唯一的 packfile。在生产环境中,Pando 将中位推送延迟降低了近 5 倍,每天传输近 PB 级的 Git 数据。文章将 Pando 与三阶段提交和预写日志方法进行了比较,解释了为什么 Pando 的架构能更好地处理现代开发工作流的规模。

💡 Main Points

Pando 通过因果一致性和 packfile 复用实现写入和读取的水平可扩展性

Pando 不要求仓库范围的一致性,而是使用因果一致性,允许对不相关分支的并行更新。它将传入的 packfile 存储为不可变 blob,并在多次获取之间复用 packfile,从而支持大量并发写入者和高读取吞吐量,而无需为每个客户端生成唯一的 packfile。

该架构旨在处理 Codex 智能体和并发工程工作的规模

OpenAI 的 monorepo 经历了惊人的增长,季度提交量增长超过 2,400%。传统 Git 系统在缓慢的获取、推送和失败的合并中挣扎。Pando 的构建是为了支持 Codex 所支持的并行工作,同时保持 Git 协议兼容性。

在模拟中,Pando 优于三阶段提交和预写日志方法

模拟显示,三阶段提交系统在磁盘饱和时会出现写入延迟,而 WAL 系统由于服务器在日志读取上挣扎而出现读取延迟。Pando 支持数千个并发客户端,在负载下性能不会下降。

该系统在重新架构后端的同时保持 Git 兼容性

Pando 保持与 Git 协议和客户端的兼容性,使工程师和智能体能够无缝采用。OpenAI 将他们 Git 分支的改进贡献给上游,以支持更广泛社区中的智能体规模工作。

💬 Key Quotes

Pando 现在为 OpenAI monorepo 中的所有开发提供支持。Pando 旨在实现两个雄心勃勃的目标:第一,水平可扩展的写入,针对向多个分支的并发推送进行优化。第二,最大化读取吞吐量,以便客户端能够以足够快的速度下载数据,完全饱和其可用的网络带宽。

在生产环境中,Pando 将中位推送延迟降低了近 5 倍。它现在每天传输近 PB 级的 Git 数据。

我们构建了 Pando,一个用于 Git 仓库的新后端,没有中断任何工程工作,也没有改变我们团队使用 Git 的方式。

模拟的三阶段提交系统在负载下显示出显著更高的写入延迟,因为它们的磁盘饱和;同时,预写日志系统出于同样的原因显示出显著更高的读取延迟,因为服务器难以跟上从日志中读取。

📊 Article Meta

AI Screening: 88

Source: OpenAI News

Author: OpenAI

Category: 人工智能

Language: 英文

Read Time: 23 min

Word Count: 5719

Tags:

AI 与智能应用 , 系统设计 , 模型训练与推理 , AI 工程 , 后端开发

#AI 与智能应用# 系统设计# 模型训练与推理# AI 工程# 后端开发

文章评论(12)

星寻梦12 天前

这个观点很中肯,深有同感。

回复
雪知秋12 天前

刚好最近在找这方面的资料,太及时了。

回复
松听风12 天前

不错不错,已加入书签。

回复
雪知秋12 天前

讲解得很细致,新手也能看懂。

回复
杨丽华12 天前

讲解得很细致,新手也能看懂。

回复
星知秋12 天前

思路清晰,干货满满。

回复
蓝临风12 天前

这个观点很中肯,深有同感。

回复
曹浩12 天前

支持作者,持续关注中。

回复
蓝归舟12 天前

点赞,必须点赞

回复
南山客12 天前

看标题就点进来了,内容果然没让人失望。

回复
星寻梦12 天前

这个比较实用,已转发给同事。

回复
松听风12 天前

楼主辛苦了,内容很有参考价值。

回复