ISOM-R2：在 3.24 GB 峰值显存上处理 1，055，402 个 Token

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-021231 阅读💛 133 收藏

📌 One-Sentence Summary

本文介绍了 ISOM-R2，这种使用有界状态空间的循环模型架构能够在消费级 GPU 硬件上流式处理 1M 个 Token，并实现 100% 的检索精度。

📝 Summary

作者介绍了 ISOM-R2，这旨在解决大语言模型（LLMs）长上下文处理内存瓶颈的新方法。该模型并非同时关注整个历史，而是将 Token 流入有界循环状态，并仅为解码分页加载最相关的上下文。实验基准显示，该系统可以在处理 100 万个 Token 的同时，对包含 181 个文件的仓库中的特定文件保持 100% 的检索准确率，且显存保持在 3.5GB 以内。这使得长上下文任务在标准消费级硬件上变得可行。

💡 Main Points

ISOM-R2 利用有界循环状态空间

它没有使用随长度扩展性差的标准注意力机制，而是将 Token 流入有界状态并仅分页必要的上下文，显著降低了显存需求。

极端规模下的高检索精度

该模型在 100 万 Token 的上下文中，从包含 181 个文件的仓库中识别两个特定目标文件实现了 100% 的准确率。

针对消费级硬件进行了优化

该架构在 3.5GB 显存下运行，使得长上下文感知任务可以在标准 GPU 上运行，而非仅限于高端企业级集群。

💬 Key Quotes

与其同时关注整个历史，该模型将 Token 流入有界循环状态，并仅为解码分页加载最相关的上下文。

实验基准显示，该系统可以在处理 100 万 Token 的同时，对包含 181 个文件的仓库中的特定文件保持 100% 的检索准确率。

这使得长上下文感知任务在标准消费级硬件上变得可行。

📊 Article Meta