Transformer结构的演进

Author：周均扬

date: 2026.04.03

Transformer结构的演进始于2017年Google团队发表的经典论文《Attention Is All You Need》（Vaswani et al.）。该论文提出了一种全新的神经网络架构，完全基于自注意力机制（Self-Attention），彻底抛弃了此前主导序列建模的RNN（循环神经网络，如LSTM）和CNN（卷积神经网络）。这解决了RNN在长序列上的梯度消失/爆炸问题，并实现了高度并行化计算，大幅提升训练效率。

1. 原始Transformer架构（2017）

原始Transformer采用Encoder-Decoder结构：

• Encoder（编码器）：由6个相同层堆叠而成，每层包含Multi-Head Self-Attention（多头自注意力）和Feed-Forward Network（前馈神经网络），并使用残差连接（Residual Connection）和Layer Normalization。
• Decoder（解码器）：类似Encoder，但额外加入Masked Multi-Head Self-Attention（掩码自注意力，防止看到未来token）和Encoder-Decoder Attention（交叉注意力，从Encoder获取信息）。
• 关键创新：
  • Scaled Dot-Product Attention：计算公式为 \(Attention(Q, K, V) = softmax(QK^T / √d_k) V\)，支持全局依赖建模。
  • 位置编码（Positional Encoding）：使用正弦/余弦函数添加位置信息（因为注意力机制本身无序）。
  • 多头注意力：并行捕捉不同子空间的特征。

这种架构最初用于机器翻译任务，显著优于RNN-based模型。

2. 三大分支演进（2018年起）

原始Encoder-Decoder结构很快分化为三种主要变体，以适应不同任务需求：

• Encoder-Only（仅编码器）：专注于 理解（Understanding） 任务，如分类、命名实体识别、语义相似度。代表：BERT（2018，Google）。
  • 创新：Masked Language Modeling (MLM) + Next Sentence Prediction，实现双向上下文建模。
  • 后续优化：RoBERTa（动态掩码）、ALBERT（参数共享）、DistilBERT（蒸馏压缩）。
• Decoder-Only（仅解码器）：专注于 生成（Generation） 任务，如文本续写、对话。代表：GPT系列（OpenAI，从GPT-1 2018开始）。
  • 创新：因果掩码（Causal Masking），自回归（Autoregressive）生成下一个token。
  • 演进路径：GPT-1（预训练+微调）→ GPT-2（零样本能力）→ GPT-3（175B参数，少样本/零样本学习）→ GPT-4（多模态、推理增强）。后续开源模型如LLaMA系列（Meta）、Mistral、Gemma等均基于此。
• Encoder-Decoder（完整结构）：适合 序列到序列（Seq2Seq） 任务，如翻译、摘要、问答。代表：T5（2019，Google，Text-to-Text Transfer Transformer）。
  • 创新：将所有NLP任务统一为“文本到文本”框架。
  • 其他：BART、FLAN-T5、UL2等。

3. 关键架构优化与效率改进（2019–2025）

Transformer在规模化过程中面临计算复杂度（O(n²)注意力）、长上下文、训练稳定性等问题，催生大量优化：

• 位置编码演进：
  • 正弦位置编码 → RoPE（Rotary Position Embedding，2021）：相对位置编码，通过旋转矩阵实现，更适合长序列，已成为LLaMA、Mistral等主流选择。
• 注意力机制优化：
  • Sparse Attention（稀疏注意力，如Longformer、BigBird）：降低长序列复杂度。
  • Multi-Query Attention (MQA) / Grouped-Query Attention (GQA)：减少KV缓存，提高推理速度（LLaMA 2/3、Mistral采用）。
  • FlashAttention（2022）：IO-aware优化，显著加速训练和推理。
  • 混合专家（MoE）：如Mixtral 8x7B、DeepSeek系列，仅激活部分专家，平衡参数量与计算。
• 归一化与激活函数：
  • LayerNorm → RMSNorm（更稳定、计算更快）。
  • ReLU → GELU/SwiGLU（更好非线性）。
• 块结构调整：
  • Pre-LN / Post-LN → 多种并行块设计（PaLM、Falcon）。
  • SwiGLU激活 + RMSNorm + RoPE已成为2023年后 “现代Transformer” 的常见组合。
• 长上下文与效率：
  • 上下文窗口从512/1024扩展到128K+（通过RoPE、YaRN、NTK等插值）。
  • 高效变体：RetNet、RWKV（线性注意力或RNN-like）、Mamba（State Space Models，挑战Transformer主导地位，但Transformer仍为主流）。
• 训练与对齐技术（非纯架构，但影响使用）：
  • Scaling Laws（Kaplan/Chinchilla）：指导最优参数-数据-计算分配。
  • RLHF / DPO：从InstructGPT开始，提升对齐性（ChatGPT的基石）。
  • LoRA/QLoRA：参数高效微调（PEFT），极大降低微调成本。

2024–2025年，架构趋于收敛：大多数开源LLM（如LLaMA 3、Qwen、DeepSeek）采用Decoder-Only + RoPE + GQA + RMSNorm + SwiGLU的 “后Transformer” 标准块，与原始2017版相比，块内部已显著精炼。

4. 扩展到多模态与视觉（2020年起）

• Vision Transformer (ViT, 2020)：将图像分patch，像token一样处理，开启视觉Transformer时代。
• 多模态：CLIP（对比学习）、DALL·E（扩散+Transformer）、LLaVA、GPT-4o（文本+图像+音频）。
• 其他领域：时间序列、图神经网络、蛋白质结构（AlphaFold）等均借用Transformer。

5. 当前状态与未来趋势（2025–2026视角）

• 主流共识：Decoder-Only Transformer仍是生成式AI的核心，参数规模从亿级到万亿级，推理优化（量化、投机解码、MoE）是重点。
• 挑战与替代：注意力O(n²)瓶颈推动线性注意力、State Space Models (Mamba)、混合架构研究，但Transformer在可扩展性和性能上仍具优势。
• 高效架构：如DeepSeek-V2的MLA（Multi-head Latent Attention）、Sakana AI的Transformer²等，聚焦推理成本降低。
• 开放生态：LLaMA、Mistral、Qwen等开源模型加速迭代，中国模型（如DeepSeek）在性价比上表现出色。

总体而言，Transformer从“注意力即一切”的革命性提出，到三大分支分化，再到模块化优化与规模化，已成为现代AI的基石。其演进核心是从通用到专用、从效率到可扩展性的持续迭代。未来可能与SSM、RNN变体或新机制融合，但短期内Transformer架构仍将主导。