AWS 提出 priming 方法，可将预训练 Transformer 改造成混合状态空间架构

📌 One-Sentence Summary

AWS 团队提出 Priming 技术，通过复用预训练 Transformer 权重将其转换为混合状态空间模型（SSM）架构，在降低 99% 训练成本的同时显著提升长上下文推理吞吐量。

📝 Summary

Amazon Web Services 团队在《Priming: Hybrid state space models from pre-trained Transformers》中解决了混合架构模型从头训练成本高昂的问题。该方法利用 Transformer 本身是状态空间实现特例的特性，将注意力层（全局性 eidetic 记忆）与状态空间层（固定大小 fading 记忆）进行混合。实验对比了 Gated KalmaNet (GKA)、Gated DeltaNet 和 Mamba-2 等多种 SSM 模型，发现 GKA 表现最优。这种混合模型在保持相同质量的前提下，128K 上下文的解码速度是原生 Transformer 的两倍，并减少了 KV 缓存内存占用。

💡 Main Points

Priming 技术解决了训练成本瓶颈

通过复用预训练 Transformer 的权重作为起点，避免了对每种混合配置都进行从头预训练，将训练成本降低了 99%。

混合记忆机制的设计优势

模型结合了需要全局回忆的注意力层（eidetic 记忆，随上下文增长）和处理局部任务的状态空间层（fading 记忆，固定大小缓存），在内存占用与性能之间取得了平衡。

GKA 模型在对比中表现最佳

在受控条件测试中，Gated KalmaNet (GKA) 的效果优于 Gated DeltaNet 和 Mamba-2，并提供了无需重新训练的可变长度推理。

显著提升长上下文的吞吐量

32B 的 GKA 混合模型在 128K 上下文下的解码速度是原生 Transformer 的两倍，且由于 KV 缓存减半，在相同硬件上支持更高的并发量。

支持推理时的‘可变计算计算

GKA 允许在服务时通过调整迭代次数平衡速度与准确率（追求速度时减少迭代，追求准确率时增加迭代），无需维护多个模型变体。

💬 Key Quotes

Priming 之所以是因为 Transformer 本身就是状态空间实现的一种特例。

结果是在减少内存占用的同时，保持了关键位置的逐字回忆能力。

智能是根据难度比例分配精力。

📊 Article Meta

AI Screening： 88

Source： AIHOT — 精选

Author： noreply@aihot.news (Amazon Science)

Category： 人工智能

Language： 英文

Read Time： 22 min

Word Count： 5317

Tags：

AI 与智能应用 , 长上下文 , 注意力机制 , LLM 推理优化 , 模型训练与推理