可编程数据中心——SF Compute 的 Evan Conrad

📌 One-Sentence Summary
SF Compute CEO Evan Conrad 详述公司如何从转租 GPU 集群,发展为可编程数据中心:通过实物交割算力合约,并以订单簿撮合各种 GPU 配置,打造流动性市场。
📝 Summary
在 Latent Space 的这期访谈中,SF Compute CEO Evan Conrad 介绍了公司如何从集群转租业务 Junark,转型为能够实际交付 GPU 算力的全栈云服务运营商。他用酒店作比喻,说明客户对清洁、客房服务和安保的需求,如何促使 SF Compute 建立起云服务所需的完整运营能力。如今,平台提供实物交割:买家获得实际可用的算力,而非现金付款;订单簿则根据 GPU 代际、网络、存储、可中断性和使用期限等限制,撮合不同工作负载。目前,订单簿交易的容量占比为 5%,但流动性高度集中:客户每花 $100 购买算力,转售后可收回约 $25。Conrad 认为,现在就推动标准化为时尚早,因为首先需要确保运营的一致性;因此,SF Compute 的撮合引擎负责处理非标准化的算力等级。关键技术挑战包括工作负载中断与恢复(取决于 WEKA/VAST 等存储系统,以及集群间的 WAN 连接),以及动态拆分 InfiniBand 网络。Conrad 还谈到了主权算力需求,并解释 NVIDIA 为何因利益冲突而无法运营中立的算力交易所。
💡 Main Points
SF Compute 从转租集群起步,发展为运营可编程数据中心、实现算力实物交割的公司
SF Compute 最初以 Junark 的名义尝试转租集群,随后发现,交付算力需要建立完整的云运营体系,涵盖网络、存储、编排和结算。这就像经营一家酒店,而不只是出售房间。
支持多重条件撮合的算力订单簿,让市场在标准化之前就具备流动性
SF Compute 没有等待 GPU 集群成为可互换的标准化商品,而是根据 GPU 代际、使用期限、可中断性、存储后端和网络拓扑等维度撮合买卖订单。在硬件快速迭代的背景下,这种做法牺牲了流动性的集中度,换取了即时交易能力。
实物交割带来的现实约束,决定了市场设计方式
工作负载能否中断,取决于能否通过快速存储恢复(WEKA/VAST)以及集群间的 WAN 连接。集群部署位置靠近电力供应地,而非客户所在地,因此会面临数据传输挑战。SF Compute 能够动态拆分 InfiniBand 网络,这是实现灵活分配的一项关键优势。
市场独立性至关重要;NVIDIA 无法运营中立的算力交易所
Conrad 认为,NVIDIA 在硬件领域的主导地位会造成利益冲突,使其无法运营公平的市场。要赢得买卖双方的信任,中立的运营商必须对特定硬件或推理服务都没有利益倾向。
早期流动性指标显示商业模式可行:每购买 $100 的算力,可转售回收 $25
虽然订单簿上的算力仅占总容量的 5%,但这部分市场的流动性高度集中。每购买 $100 算力、转售可收回 $25 的数据表明,该市场确实解决了商业用户在算力采购中对灵活性的需求。
💬 Key Quotes
我们在 2023 年推出了 Sandboxes,当时发现人们正用 LLM 生成代码。Sandboxes 迅速爆发,三年后,它本身就成了一款年化收入达 $300M 的产品。
他们做不成的原因,是这样一来,他们就无法保持足够的独立性,让人们愿意在这个平台上交易。
实物交割意味着你会实际收到石油和大豆……在算力市场中,实物交割意味着买家拿到的是可用算力,而不是根据某个指数获得一笔现金付款。
同一家运营商可以提供两种不同类型的虚拟机。一种虚拟机的性能可能比另一种低 40%。
例如,能够动态拆分 InfiniBand 网络。
📊 Article Meta
AI Screening: 88
Source: Latent.Space
Author: Latent.Space
Category: 人工智能
Language: 英文
Read Time: 33 min
Word Count: 8189
Tags:
AI 与智能应用 , AI 硬件与芯片 , 主权 AI , 模型训练与推理 , 创业
这个观点很中肯,深有同感。
思路清晰,干货满满。
思路清晰,干货满满。
很有价值的分享,感谢整理。
刚好最近在找这方面的资料,太及时了。
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
不错不错,已加入书签。
看完了,收获满满,期待更多更新。
路过
讲解得很细致,新手也能看懂。
支持作者,持续关注中。