MSA：Memory Sparse Attention，记忆稀疏注意力

Author：周均扬

date: 2026.03.16

EverMind的MSA（Memory Sparse Attention，记忆稀疏注意力） 是2026年3月发布的一项突破性Transformer架构创新，由EverMind（EverMind-AI）团队提出，旨在解决大语言模型（LLM）的长期记忆（Lifelong Memory） 问题，实现原生支持高达1亿（100M）token 的高效上下文处理，而性能衰退极小。

注意：你查询中的“EverAI”很可能指“EverMind”（或EverMind-AI），因为EverAI通常指另一家做AI陪伴/角色扮演的公司，与此技术无关。MSA是EverMind的开源项目。

1. 为什么需要MSA？背景与痛点

传统Transformer的自注意力（Self-Attention）是密集（Dense）的，计算复杂度为O(L²)（L为序列长度）。当上下文从16K扩展到1M+甚至100M时，会面临三个不可能三角：

• 可扩展性（Scalability）：显存和计算爆炸式增长。
• 精度（Precision）：长上下文下“针在干草堆”（Needle-in-a-Haystack）检索精度急剧下降，推理能力衰退。
• 效率（Efficiency）：推理延迟大幅增加，端到端训练困难。

现有方案的局限：

• 混合线性注意力 / RNN式状态压缩：固定大小内存，精度随长度快速衰减，无法端到端训练。
• 外部RAG / Agent：依赖检索管道，非端到端，可维护性差，复杂且有幻觉风险。
• 暴力扩展上下文窗口：如Ring Attention等，仍受O(L²)或工程复杂度限制。

MSA的目标是将长期记忆直接内建到Transformer层中，实现端到端可训练、可微分的稀疏隐式记忆框架，像人类大脑一样“选择性回忆”相关内容，而非全部加载。

2. MSA的核心机制

MSA的核心是Memory Sparse Attention层，它替换了标准Transformer中的Self-Attention层，包裹在Pre-Norm块中，通过残差连接输出。

关键创新组件：

• 可扩展的稀疏注意力（Scalable Sparse Attention）：
  • 引入基于内容的路由（Routing）机制：每个查询（Query）通过一个轻量Router（通常是K投影器）动态计算与记忆文档的相关性分数。
  • Top-k选择：只选择最相关的少量记忆文档（或段）参与注意力计算，而不是全量记忆。
  • 结果：注意力计算从O(L²)降为近线性O(L) 复杂度，同时保持高检索精度。
  • 这是“稀疏”的关键：模型学会“关注什么”，端到端训练时路由是可微分的。
• 文档级RoPE（Document-wise RoPE）：
  • 标准RoPE（Rotary Position Embedding）在超长上下文外推时效果差。
  • MSA对每个文档/记忆段独立应用RoPE，保留文档内部相对位置，同时支持跨文档长距离依赖。
  • 这极大提升了从16K到100M的上下文外推能力。
• KV Cache压缩 + 内存并行（KV Cache Compression with Memory Parallelism）：
  • 长期记忆以压缩的KV状态形式存储（而非原始文本）。
  • 使用分层存储：热/短时内存在GPU，冷/长时内存可在系统RAM/磁盘，通过并行加载实现高效访问。
  • 显著降低显存占用，支持实际硬件上运行百亿token级记忆。
• 记忆交错机制（Memory Interleave）：
  • 支持复杂多跳推理：允许模型在生成过程中交替访问不同记忆片段，像人类“联想-回忆-推理”一样。
  • 提升长上下文下的连贯推理能力。

整体架构：MSA层 + 标准Transformer块，形成一个潜在状态记忆（Latent-State Memory） 系统。训练时，记忆是动态维护的，可持续学习新内容。

性能表现（论文与实验）：

• 从16K到100M token，性能下降<9%。
• 在长上下文QA、RULER Needle-in-a-Haystack等基准上显著优于基线。
• 示例：基于Qwen3-4B的MSA模型，在1M token上NIAH准确率达94.84%（基线仅24.69%），甚至在某些任务上超越远大于它的235B参数RAG系统。

3. 与Prompt工程 / 之前讨论的联系

在之前的Prompt工程中，我们提到注意力机制是Prompt影响LLM的核心（通过注意力权重重塑上下文概率）。MSA正是对注意力机制的深度改造：

• 传统Prompt → 通过精心设计的文本“引导”密集注意力。
• MSA → 从架构层面让注意力原生稀疏且可学习，减少对Prompt的依赖，实现真正的“内置长期记忆”。
• 这意味着未来Prompt工程可能与这种内存架构结合：Prompt负责短期指令，MSA负责海量历史知识的智能检索与整合。

它也与ReAct、Agent 等结合潜力巨大，因为记忆管理不再依赖外部工具，而是端到端集成。

4. 实际资源与实现

• 论文：arXiv 2603.23516 — “MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens”（2026年3月）。
• GitHub：https://github.com/EverMind-AI/MSA （开源实现，支持自定义推理引擎）。
• 模型：Hugging Face上有EverMind-AI/MSA-4B 等版本（基于Qwen3）。
• 博客：EverMind官网有详细解读（evermind.ai）。

注意：当前实现可能需要自定义内核/推理引擎（非标准vLLM/HF即可直接跑），因为架构修改了注意力层。适合研究或有工程能力的团队尝试长上下文应用（如终身Agent、超长文档分析、个人知识库等）。

5. 局限与展望（2026视角）

• 优势：端到端训练、无缝集成、线性扩展、高保真检索。
• 当前局限：需要特定训练/推理支持；路由机制的鲁棒性在极多样化数据上仍需验证；硬件适配（尤其是内存分层）有工程门槛。
• 未来：与MoE、测试时计算、原生多模态结合，可能进一步推动“人类尺度”终身记忆AI（human-scale lifelong memory）。

MSA代表了从“扩展上下文窗口”向“原生内置记忆” 的范式转变，是长上下文LLM领域的重要进展之一。它不像RAG那样是“外挂”，而是让模型“自己记住并聪明地回忆”。