HiCache 在多种并行模式与分布式服务中的应用
📌 One-Sentence Summary
HiCache 通过保留页面所有权、同步各阶段的缓存操作,并恢复草稿模型状态,实现了跨上下文并行、流水线并行、推测解码以及预填充与解码分离的分布式 KV 缓存服务。
📝 Summary
本文详细介绍 HiCache 如何将基数树缓存的 KV 复用扩展到主机内存和外部存储,同时在复杂的服务配置中保持一致性。文章阐述了上下文并行中的基于页面的 KV 分片:在各个 rank 之间保留逻辑页面所有权;通过逐层 all-gather 读取分片 KV;以及集成 HiCache,在 gather 之前恢复页面。针对流水线并行,文章介绍了 pp_sync 等同步机制,确保即使传输异步进行,各阶段的缓存操作仍保持一致;还介绍了如何协调外部存储,以统一缓存前缀长度。推测解码部分说明了 HiCache 如何通过紧凑布局或旁路布局保存草稿模型状态。一个生产案例显示,科大讯飞部署 GLM-5.1/5.2 时,通过 HiCache 和外部存储实现了 95% 的缓存命中率,且中位 TTFT 低于 3 秒。性能评估表明,采用 CP 分片的 HiCache 将 GPU token 命中率从 42.83% 提升至 83.31%,同时将平均预填充排队时间缩短了 56.2%。
💡 Main Points
基于页面的 KV 分片可在各个 CP rank 之间保留逻辑页面所有权
上下文并行会分散预填充计算,而 HiCache 根据逻辑页面 ID(q mod Nr)对页面进行分片,以移除重复的 KV 副本,确保每个 rank 只保存自己拥有的页面,同时维持共享的逻辑基数树视图。
逐层 all-gather 使分片 KV 无需物理重排即可读取
每个 rank 将其拥有的页面贡献给 all-gather 操作,生成按所有者排序的暂存缓冲区。通过页面表映射,注意力计算可以读取逻辑序列,而无需实际重排页面;使用两个交替缓冲区,还能让 gather 与计算重叠进行。
pp_sync 机制可协调流水线各阶段的缓存操作
流水线并行要求各阶段在异步传输期间仍以一致的方式执行缓存操作。pp_sync 在 TP 组内使用 all_reduce(MIN),并通过点对点消息沿流水线传递就绪数量,确保所有阶段处理相同的队列条目,并保持一致的驱逐条件。
外部存储协调机制可确保各阶段的缓存前缀一致
后台线程会计算各 rank 的最小命中长度和最小完成长度,并按顺序发布 ACK;调度器通过 pp_sync 按相同顺序处理这些 ACK,确保所有阶段为每个请求使用相同的缓存前缀长度和剩余计算量。
推测解码需要恢复草稿模型状态
HiCache 会保存草稿模型所需的 KV、索引器缓冲区和循环状态,支持紧凑集成(将兼容的草稿模型层追加到目标模型的主机内存池)或旁路集成(使用单独的主机内存池,并根据目标 KV 派生传输索引),同时在传输完成事件中执行必要的复制。
💬 Key Quotes
HiCache 将这种复用能力扩展到了主机内存和外部存储。在生产环境中,它还必须能够与并行计算、推测解码以及预填充与解码分离协同工作。
采用 CP 分片后,GPU token 命中率提升了 40.48 个百分点,而 GPU 与主机的综合命中率则保持在 93% 左右。
主机缓存不一致始于各个阶段独立判断传输是否已完成。
对于每个选定的 ACK,必须先等待本地 finish_event.synchronize() 完成,阶段才能更新缓存记账信息。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: LMSYS Blog
Author: Zhangheng Huang, Shunkang Zhang, Shangming Cai, Yanbo Yang, Ke Bao, Chao Shi, Zhiqiang Xie, Shuwen Wang, Tingwei Huang, Zhiyang Huang, Ishan Dhanani
Category: 人工智能
Language: 英文
Read Time: 16 min
Word Count: 3978
Tags:
AI 与智能应用 , 性能优化 , 模型训练与推理 , LLM 推理优化 , 阅读与写作
赞同,实践出真知。
很有价值的分享,感谢整理。
思路清晰,干货满满。
这个观点很中肯,深有同感。
整理得太全面了,省了我不少时间。
讲解得很细致,新手也能看懂。
这个比较实用,已转发给同事。
楼主辛苦了,内容很有参考价值。
楼主辛苦了,内容很有参考价值。
赞同,实践出真知。
赞同,实践出真知。
内容翔实,正好需要,先收藏再看。