LLM中的贝叶斯定理

Author：周均扬

date: 2026.03.28

LLM中贝叶斯定理主要指贝叶斯定理（Bayes’ theorem）及其相关方法在大型语言模型（Large Language Models, LLMs）中的理论解释、应用和改进方式。它连接了概率推理、下一词预测（next-token prediction）、上下文学习（in-context learning, ICL）、不确定性量化、推理优化等核心概念。

1. 基础：LLM的下一词预测本质上是（近似）贝叶斯推理

LLM的核心训练目标是下一词预测（最大似然估计），这可以从贝叶斯视角解读：

• 隐式贝叶斯推理（Implicit Bayesian Inference）：语言模型可视为一个“混合模型”（mixture of simpler distributions，如HMM或概念混合）。预测下一个token的条件概率分布，等价于在“概念”或参数上的后验预测。
  形式上，如果序列模型满足可交换性（exchangeability），则一步-ahead预测隐式执行贝叶斯更新：
  后验预测 = ∫ p(x_{n+1} | θ) p(θ | x_{1:n}) dθ，其中p(θ | x_{1:n}) 是通过先验和观测数据更新的后验。

• 这解释了上下文学习（ICL）的涌现：给模型几个示例（few-shot），模型就像在“在线贝叶斯更新”信念，适应新任务，而无需参数更新。早期论文（如Xie et al., 2021）认为ICL正是利用这种隐式贝叶斯机制。

• 争议与细化：严格来说，LLM并非完美贝叶斯（受位置编码、训练动态影响，可能违反鞅性质/martingale）。但在期望意义上（in expectation），它们近似贝叶斯或最小描述长度（MDL）行为，尤其在大规模下。一些分析认为Transformer注意力机制本身可视为贝叶斯推理。

一个形象比喻（来自中文讨论）：LLM生成像“挤牙膏”或“豌豆射手”，每步只看到局部，但整体概率更新符合贝叶斯后验。

2. LLM在贝叶斯推理任务上的表现与局限

纯LLM往往不擅长显式贝叶斯更新：

• 在多轮交互（如推荐系统，用户偏好推断）中，LLM倾向于启发式（heuristic，如默认最便宜选项），而非根据新证据正确更新信念分布。
• 与理想贝叶斯助手（维护先验，用Bayes规则更新后验）相比，准确率差距明显（贝叶斯助手可达~81%，LLM改进有限）。

3. 改进方法：让LLM“像贝叶斯一样思考”

研究者提出多种方式将Bayes引入LLM：

• Bayesian Teaching（贝叶斯教学）（Google 2025-2026研究，Nature Communications）：
  通过监督微调（SFT），让LLM模仿最优贝叶斯助手在模拟交互中的预测（而非仅正确答案）。
  结果：显著提升信念更新能力，并在新任务上泛化。相当于“知识蒸馏”——从符号贝叶斯系统蒸馏到神经网络。

• LLM增强贝叶斯优化（BO）（反向应用）：
  用LLM的先验知识、上下文理解和ICL能力改进BO的代理模型（surrogate，如Gaussian Process）、候选采样、warm-starting。代表工作：LLAMBO、ADO-LLM、LLM-guided BO等，适用于超参调优、电路设计、科学实验等。LLM提供领域知识，BO提供不确定性量化与探索-利用平衡。

• 其他融合：

  • NBCE：用朴素贝叶斯思想扩展LLM上下文长度（即插即用，无需微调）。
  • BARL（Bayes-Adaptive RL）：将LLM的“反思性探索”（self-reflection）建模为贝叶斯自适应强化学习，维护多个假设MDP的后验，决定何时切换策略，提升数学推理效率（可减少50% token使用）。
  • BIRD、BNLF、BayesPE：用贝叶斯网络/框架融合多个LLM预测，提升可解释性、不确定性校准、概率估计（如情绪分析、信任推理）。
  • BED-LLM：用顺序贝叶斯实验设计（BED）让LLM智能提问，最大化信息增益（Expected Information Gain）。
  • 奖励模型对齐、提示优化、评估（如Don’t Pass@k，用Dirichlet先验的贝叶斯框架替代Pass@k，提供后验与置信区间）等。

4. 实际意义与应用

• 不确定性量化：传统LLM输出点估计，易幻觉；Bayes方法提供置信度/后验，帮助拒绝低置信回答、更可靠决策。
• 推理与对齐：提升多步推理、用户偏好建模、个性化推荐。
• 效率：结合LLM先验知识，减少BO/实验所需样本。
• 理论洞见：解释为什么LLM在规模化后涌现“理解”和适应能力——本质是隐式概率更新。

局限：精确贝叶斯后验计算在高维参数空间不可行（LLM参数亿级），故多用近似（如变分推理、教学、采样）。LLM的“贝叶斯性”更像是涌现属性，而非严格实现。