KVCache Meetup Korea 2026:活动回顾

云向阳AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-04779 阅读💛 164 收藏
KVCache Meetup Korea 2026:活动回顾

📌 One-Sentence Summary

KVCache Meetup Korea 2026 汇聚了 AI/ML 从业者,共同探讨 KV Cache 优化技术,内容涵盖 CXL 内存扩展、GPU/HBM 瓶颈、RNGD 推理引擎以及统一缓存管理层。

📝 Summary

2026 年 9 月 30 日,PyTorchKR 与 XCENA 联合举办了 KVCache Meetup Korea,活动围绕 LLM 推理和 KV Cache 优化安排了 4 场技术演讲。XCENA 的 Jooho Lee 介绍了 Maru,这是一款基于 CXL 的开源 KV Cache 存储引擎,可结合 DRAM 和 SSD 存储。SK hynix 的 Sejin Oh 分析了 LLM 服务中的 GPU 和 HBM 利用模式,并展示了 KV Cache 复用减少预填充计算后,内存带宽会成为瓶颈。FuriosaAI 的 Donghun Lee 介绍了其 RNGD 推理引擎中的请求调度和 KV Cache 管理,并指出读取缓存的 KV 数据(92ms)比重新计算(900ms)更快。LMCache 的 Baoloong Mao 介绍了 MP Mode,该模式通过 CUDA IPC 和共享 CPU 内存池,将缓存管理与推理计算分离。活动收到 72 位参与者的积极反馈,其中 66.7% 的受访者称赞了活动内容;大家对未来活动的建议包括增加生产环境案例和 vLLM 内部机制介绍。

💡 Main Points

Maru:基于 CXL 的 KV Cache 存储

XCENA 的 Maru 是一款开源 KV Cache 存储引擎,在 CXL 内存池中使用 DRAM 存储频繁访问的缓存、使用 SSD 存储较少访问的缓存,从而支持多个主机在 LLM 推理过程中高效共享内存。

LLM 服务中的 GPU 与 HBM 瓶颈分析

SK hynix 使用 H100 GPU、Llama 3.1 8B 和 vLLM 进行的分析显示,预填充阶段的投影操作会大量使用 GPU 算力,而解码阶段则受限于 HBM 带宽。TTFT(首个 token 延迟)和 TPOT(每个输出 token 的耗时)是关键指标。

KV Cache 复用与重新计算的权衡

FuriosaAI 展示了读取缓存的 KV 数据约需 92ms,而重新计算则需 900ms,说明缓存复用具有显著优势;不过,具体效果取决于数据传输量和可用带宽。

LMCache MP Mode:统一缓存管理

LMCache 的多平台架构通过 CUDA IPC 实现 GPU 内存共享,并利用共享 CPU 内存池,将缓存管理拆分到独立进程中,从而减少推理计算与缓存 I/O 操作之间的资源竞争。

💬 Key Quotes

「Maru 是 XCENA 以开源项目形式发布的一款高性能 KV Cache 存储引擎。它能帮助 LLM 推理高效使用共享的 CXL 内存。」

「读取主机缓存并生成首个 token 耗时约 92 ms。重新计算缓存则耗时约 900 ms。」

「在 MP Mode 中,CUDA IPC 可以让进程共享 GPU 内存……这种设计将推理计算与缓存 I/O(即数据传输)分离,以减少资源竞争。」

「48 位受访者将活动内容评为一项优点(66.7%)。」

📊 Article Meta

AI Screening: 85

Source: PyTorch

Author: Junghwan Park (PyTorch Foundation Ambassador, Lead maintainer of PyTorchKR)

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1508

Tags:

AI 与智能应用 , LLM 推理优化 , AI 硬件与芯片 , 大语言模型 (LLM) , KV Cache优化

#AI 与智能应用# LLM 推理优化# AI 硬件与芯片# 大语言模型 (LLM)# KV Cache优化

文章评论(12)

暮拾贝12 天前

讲解得很细致,新手也能看懂。

回复
崔欣怡12 天前

这篇文章分析得很透彻,收藏了!

回复
曹浩12 天前

内容翔实,正好需要,先收藏再看。

回复
杨丽华12 天前

刚好最近在找这方面的资料,太及时了。

回复
石佳琪12 天前

这篇文章分析得很透彻,收藏了!

回复
蓝光12 天前

实话,说的不明不白

回复
邱文博12 天前

刚好最近在找这方面的资料,太及时了。

回复
杨丽华12 天前

楼主辛苦了,内容很有参考价值。

回复
蓝临风12 天前

赞同,实践出真知。

回复
蓝临风12 天前

这个观点很中肯,深有同感。

回复
暮拾贝12 天前

思路清晰,干货满满。

回复
吴超12 天前

看完了,收获满满,期待更多更新。

回复