大模型（LLM）与贝叶斯定理结合

Author：周均扬

date: 2026.04.18

近年来，LLM与贝叶斯定理(贝叶斯推理)的结合已成为AI研究热点之一。主要驱动因素包括：LLM在不确定性环境下推理能力不足（如信念更新依赖启发式而非规范概率更新）、对可解释性/可信概率估计的需求提升，以及利用LLM的自然语言与先验知识自动化贝叶斯建模。2024-2026年间，研究从“LLM是否符合贝叶斯？”的分析性工作，快速转向“如何教学/增强LLM进行贝叶斯推理”的工程化与混合框架方向，成果显著体现在概率推理、决策规划、不确定性量化等领域。

1. 主要研究趋势

（1）LLM贝叶斯推理能力的分析与评估（基础理论探索）

早期研究聚焦LLM在 上下文学习（ICL） 中是否能近似贝叶斯更新信念。结果显示：

多数LLM（尤其是中小规模模型）在多轮交互中信念更新不一致，常依赖简单启发式，导致性能快速 plateau，无法有效利用新证据。
更大规模模型或足够多ICL示例时，能部分表现出贝叶斯行为（如“Enough Coin Flips Can Make LLMs Act Bayesian”）。
提出评估指标如 Martingale Score（基于贝叶斯鞅性质的无监督度量），用于检测“信念固化”（belief entrenchment）问题，并验证其与真实准确率的相关性。

此外，理论工作提出“Attention Is Bayesian Inference”等观点，认为Transformer注意力机制在几何意义上隐式实现贝叶斯推断；还有统计模型将LLM下一词预测建模为贝叶斯学习过程。

（2）Bayesian Teaching：通过示范教学LLM近似贝叶斯推理

这是2025-2026年的标志性趋势（Google Research主导）。核心思路：不直接教正确答案，而是让LLM模仿最优贝叶斯助手（Bayesian Assistant）的预测过程（该助手用贝叶斯规则更新用户偏好等信念分布）。

方法：监督微调（SFT），用模拟用户-贝叶斯助手交互数据训练LLM（Gemma 2、Llama 3、Qwen 2.5等）。
优势：优于“oracle teaching”（直接教完美答案），泛化能力强。

（3）混合框架：LLM + 显式贝叶斯网络/实验设计

将LLM的溯因（abduction）能力（生成假设、粗粒度概率）与贝叶斯网络/实验设计的精确演绎结合，提升可信度与可解释性：

BIRD（Bayesian Inference for LLMs）：LLM生成相关因素与初始概率 → 构建贝叶斯网络 → 精确演绎更新概率。适用于规划与决策任务。
BED-LLM：基于序贯贝叶斯实验设计（BED），LLM通过最大化预期信息增益（EIG）自适应提问，实现智能信息采集。
其他：LLMExplainer（将LLM注入GNN解释器作为贝叶斯先验，缓解学习偏差）；LLM-BI（自动化贝叶斯工作流，将自然语言翻译为概率编程语言）。

（4）LLM辅助贝叶斯建模与优化

先验生成：LLM从领域知识提取信息先验，用于贝叶斯回归/网络参数化，显著优于传统无信息先验。
贝叶斯优化增强：LLAMBO等方法利用LLM的上下文理解与少样本能力改进BO代理模型。
概念瓶颈模型：BC-LLM用LLM提供概念先验，通过Gibbs采样实现统计严谨的不确定性量化。

（5）LLM评估与应用扩展

用贝叶斯框架改进LLM评估（如“Don’t Pass@k”用后验估计替换传统Pass@k，避免小样本不稳定）；提取LLM生成中的隐含主题（显式贝叶斯变分推理）。

2. 主要成果与量化提升

Bayesian Teaching（Nature Communications 2026）：原始LLM在多轮信念更新中几乎无进步（准确率远低于贝叶斯助手 ~ 80%）；教学后LLM与贝叶斯助手一致性达 ~ 80%，最终准确率显著提升（p<0.001），并在航班/酒店/网页购物等未见任务上泛化，甚至对真实人类用户交互也有效。贝叶斯教学优于oracle教学，变异性更低。
BIRD：概率估计准确率比LLM基线提升30%，显著提高决策可信度。
先验与优化：LLM生成的先验使贝叶斯回归更高效客观；LLAMBO在贝叶斯优化中结合LLM领域知识实现更好探索-利用平衡。
其他：ICL示例足够多时LLM可接近贝叶斯行为；Martingale Score等指标为无监督评估提供新工具；LLM-BI实现无PPL的自动化贝叶斯建模。

总体而言，这些成果证明LLM可通过少量针对性教学或混合框架快速获得规范贝叶斯能力，并在交互式、不确定性强的场景中超越纯符号贝叶斯方法，尤其在噪声数据（如人类反馈）下表现出色。

3. 总结与展望

当前趋势从“诊断LLM的贝叶斯短板”转向“可扩展增强与自动化”，强调泛化、解释性与不确定性量化。2025-2026年成果已从arXiv走向Nature、ICLR、NeurIPS等顶级 venue，显示该方向成熟度快速提升。未来可能聚焦：更大规模教学的效率优化、LLM与贝叶斯在多模态/持续学习中的融合，以及实际部署中的鲁棒性（如对抗信念固化）。

这些工作不仅提升了LLM的推理可靠性，也为统计学与AI交叉提供了新范式。

4. 附录1： Pass@k

Pass@k 是大语言模型（LLM）评估中一种经典且广泛使用的指标，尤其适用于代码生成（如 HumanEval、MBPP）、数学求解或其他可自动验证正确性的任务。它衡量的是：对于一个问题，模型生成 k 个独立样本（通常通过温度采样得到不同输出），其中至少有一个样本正确（例如通过单元测试）的概率。¹

1. 直观理解

Pass@1：模型单次生成就正确的概率（相当于传统准确率）。
Pass@10 或 Pass@100：允许模型“试 k 次”，只要其中任意一次正确就算通过。这反映了实际使用场景——用户或系统可以从多个候选输出中挑选一个正确的。
它不是“第 k 次尝试才通过”，而是“在 k 次尝试中至少成功一次”的成功率。k 值越大，Pass@k 通常越高，因为给了模型更多“机会”。

例如，在代码生成基准中：

生成 k 个 Python 函数。
如果任意一个通过所有单元测试，该问题就算“passed”。
最终报告的是所有测试问题中“passed”问题的比例。

2. 数学定义与计算

假设对于一个问题，模型总共生成 n 个样本（n ≥ k），其中 c 个样本是正确的。

无偏估计器（unbiased estimator，常用于实际实现，避免小样本偏差）为：

\[\text{Pass@k} = 1 - \frac{\binom{n - c}{k}}{\binom{n}{k}}\]

分子 \(\binom{n - c}{k}\) 表示从所有错误样本中选 k 个的组合数（即“全错”的情况）。
分母 \(\binom{n}{k}\) 是从 n 个样本中选 k 个的组合数。
如果 (n - c < k)（正确样本太少，不可能全错），则 Pass@k = 1。

这个公式本质上是 1 减去“从 n 个样本中随机选 k 个全都是错误的概率”。它比简单用 \((1 - p)^k\)（其中 p = c/n）更准确，尤其当 n 接近 k 时。

实际实现中（例如 Hugging Face 的 code_eval）：

对每个问题生成 n ≥ k 个样本。
统计正确个数 c。
用上述公式计算该问题的 Pass@k。
在整个数据集上取平均。

3. 优点与局限性

优点：

反映模型的生成多样性和覆盖能力（diversity + quality）。
更贴近实际应用：开发者可以让模型多生成几次，然后挑选最好的。
在 HumanEval 等基准中已成为标准，尤其 Pass@1、Pass@10、Pass@100 常一起报告。

局限性（这也是为什么有“Don’t Pass@k”等改进）：

方差大：特别是在小基准（如只有几十道题的数学集）或 k 较大时，排名不稳定，受随机种子、采样策略影响明显。
计算开销：k 越大，需要生成更多样本。
缺乏不确定性量化：无法直接给出置信区间，难以判断模型间差异是真实还是噪声。
小样本时估计偏差明显。

针对这些问题，2025 年有论文提出 “Don’t Pass@k”（或 Bayes@N），采用贝叶斯框架（Dirichlet 先验），用后验均值和可信区间（credible intervals）替换传统 Pass@k，提供更稳定、带不确定性的评估，尤其适合样本少或需要区分细微差异的场景。

4. 实际应用场景

代码生成：HumanEval、MBPP、SWE-bench 等。
数学推理：AIME、GSM8K 等（有时结合多数投票）。
其他可验证任务：如形式验证、简单 QA 等。
常见 k 值：1（严格）、5/10（实用）、100（上限能力）。

在之前的 LLM 与贝叶斯结合讨论中，“Don’t Pass@k”正是用贝叶斯后验估计来改进传统 Pass@k 的典型例子，强调在评估中引入不确定性量化，使排名更可靠。

总结：Pass@k 是一种“允许多次尝试”的成功率指标，捕捉了 LLM 生成的概率本质，是目前代码/推理基准的主流评价方式，但它并非完美，近年来正被更严谨的贝叶斯式替代方案补充或取代。

5. 附录2：Bayes@N

在 LLM 评测中，avg@N（平均准确率）已被证明在排序稳定性上优于传统的 Pass@k，尤其在样本量较小时。Bayes@N 框架进一步在此基础上提供了后验均值和可信区间，使评估结果更具可解释性。Bayes@N（贝叶斯@N）是一种在有限样本（N次试验）下评估模型性能的贝叶斯框架，特别适合用于大语言模型（LLM）、数学推理、代码生成等基准测试中。¹

0. Avg@N（平均准确率 / 基础稳健指标）

定义：在 N 次独立采样中，所有尝试的平均成功率（或加权得分）。
公式： \(\text{Avg@}N = \frac{S}{N}\) 其中 S 为总成功次数（二元任务）或加权得分总和。
优点：
- 计算简单、直观。
- 在模型排序上比 Pass@k 更稳定，收敛更快。
- 能更好地反映模型的平均能力，而非仅看最好的一次。
缺点：
- 本身不带不确定性（无置信区间）。
- 小样本下仍可能受噪声影响，难以判断统计显著性。

1. Bayes@N简单理解

它是对 Pass@N 的贝叶斯版本，提供：

更稳健的后验点估计（后验均值）
置信区间（Credible Interval）
在小样本（N较小）时也能给出可靠的不确定性量化

2. 核心思想

假设一个模型在每个问题上的正确概率为 π（未知），我们做了 N 次独立尝试，观察到 S 次成功。

使用均匀先验 Beta(1,1)（最常见的选择，相当于“事先想象一次成功和一次失败”）：

后验分布为 Beta(1 + S, 1 + N - S)
Bayes@N 的点估计（后验均值）： \(\mu = \frac{1 + S}{2 + N}\) 当 N 很大时，这个值非常接近传统的 S/N，但小样本时会略微向 0.5 收缩（更保守、更稳健）。
可以直接从 Beta 分布计算 95% 可信区间，不需要依赖中心极限定理（避免置信区间超出 [0,1] 的问题）。

3. 为什么用 Bayes@N 而不是直接用 Pass@N？

小样本更可靠：当 N 较小时（如只测 10–50 次），传统方法方差大、排名不稳定。Bayes@N 通过贝叶斯更新能得到更平滑、更可信的结果。
天然带不确定性：不仅给出分数，还能给出置信区间，帮助判断两个模型谁真正更强。
在 LLM 评测中越来越受欢迎：尤其在 AIME、HMMT、LiveCodeBench 等需要多次采样的基准上，用 Bayes@N 能得到比原始 Pass@N 更稳定的模型排序。

4. 与常见指标的对比

| 指标 | 定义 | 小样本稳定性 | 是否提供不确定性 | 收敛速度 | |————|———————————–|————–|——————|————–| | Pass@k | 至少 1 次成功概率 | 较差 | 通常无 | 较慢 | | avg@N | N 次采样的平均准确率 | 较好 | 无 | 较快 | | Bayes@N | 后验均值 + 可信区间 | 优秀 | 有（闭式计算） | 最快 |

5. 实际应用场景

LLM 在数学竞赛题上的表现评估
代码生成任务的 Pass@k 贝叶斯版本
任何需要有限次采样来估计成功率的场景

参考文献

Hariri, M. et al. “Don’t Pass@k: A Bayesian Framework for Large Language Model Evaluation.” arXiv:2510.04265, 2025. https://arxiv.org/abs/2510.04265 ↩ ↩²