KVCache Meetup Korea 2026:活动回顾

📌 One-Sentence Summary
KVCache Meetup Korea 2026 汇聚了 AI/ML 从业者,共同探讨 KV Cache 优化技术,内容涵盖 CXL 内存扩展、GPU/HBM 瓶颈、RNGD 推理引擎以及统一缓存管理层。
📝 Summary
2026 年 9 月 30 日,PyTorchKR 与 XCENA 联合举办了 KVCache Meetup Korea,活动围绕 LLM 推理和 KV Cache 优化安排了 4 场技术演讲。XCENA 的 Jooho Lee 介绍了 Maru,这是一款基于 CXL 的开源 KV Cache 存储引擎,可结合 DRAM 和 SSD 存储。SK hynix 的 Sejin Oh 分析了 LLM 服务中的 GPU 和 HBM 利用模式,并展示了 KV Cache 复用减少预填充计算后,内存带宽会成为瓶颈。FuriosaAI 的 Donghun Lee 介绍了其 RNGD 推理引擎中的请求调度和 KV Cache 管理,并指出读取缓存的 KV 数据(92ms)比重新计算(900ms)更快。LMCache 的 Baoloong Mao 介绍了 MP Mode,该模式通过 CUDA IPC 和共享 CPU 内存池,将缓存管理与推理计算分离。活动收到 72 位参与者的积极反馈,其中 66.7% 的受访者称赞了活动内容;大家对未来活动的建议包括增加生产环境案例和 vLLM 内部机制介绍。
💡 Main Points
Maru:基于 CXL 的 KV Cache 存储
XCENA 的 Maru 是一款开源 KV Cache 存储引擎,在 CXL 内存池中使用 DRAM 存储频繁访问的缓存、使用 SSD 存储较少访问的缓存,从而支持多个主机在 LLM 推理过程中高效共享内存。
LLM 服务中的 GPU 与 HBM 瓶颈分析
SK hynix 使用 H100 GPU、Llama 3.1 8B 和 vLLM 进行的分析显示,预填充阶段的投影操作会大量使用 GPU 算力,而解码阶段则受限于 HBM 带宽。TTFT(首个 token 延迟)和 TPOT(每个输出 token 的耗时)是关键指标。
KV Cache 复用与重新计算的权衡
FuriosaAI 展示了读取缓存的 KV 数据约需 92ms,而重新计算则需 900ms,说明缓存复用具有显著优势;不过,具体效果取决于数据传输量和可用带宽。
LMCache MP Mode:统一缓存管理
LMCache 的多平台架构通过 CUDA IPC 实现 GPU 内存共享,并利用共享 CPU 内存池,将缓存管理拆分到独立进程中,从而减少推理计算与缓存 I/O 操作之间的资源竞争。
💬 Key Quotes
「Maru 是 XCENA 以开源项目形式发布的一款高性能 KV Cache 存储引擎。它能帮助 LLM 推理高效使用共享的 CXL 内存。」
「读取主机缓存并生成首个 token 耗时约 92 ms。重新计算缓存则耗时约 900 ms。」
「在 MP Mode 中,CUDA IPC 可以让进程共享 GPU 内存……这种设计将推理计算与缓存 I/O(即数据传输)分离,以减少资源竞争。」
「48 位受访者将活动内容评为一项优点(66.7%)。」
📊 Article Meta
AI Screening: 85
Source: PyTorch
Author: Junghwan Park (PyTorch Foundation Ambassador, Lead maintainer of PyTorchKR)
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1508
Tags:
AI 与智能应用 , LLM 推理优化 , AI 硬件与芯片 , 大语言模型 (LLM) , KV Cache优化
讲解得很细致,新手也能看懂。
这篇文章分析得很透彻,收藏了!
内容翔实,正好需要,先收藏再看。
刚好最近在找这方面的资料,太及时了。
这篇文章分析得很透彻,收藏了!
实话,说的不明不白
刚好最近在找这方面的资料,太及时了。
楼主辛苦了,内容很有参考价值。
赞同,实践出真知。
这个观点很中肯,深有同感。
思路清晰,干货满满。
看完了,收获满满,期待更多更新。