采样方法：从均匀分布到任意分布
本文基于模型知识整理（生成时未联网核对），算法细节建议对照 Robert & Casella 或 Bishop §11 复核。
一句话定义
采样方法回答"计算机只有均匀随机数 U(0,1)，如何生成服从任意分布 f 的样本"：逆变换法（单调 CDF：$X=F^{-1}(U)$，精确但需 CDF 可逆）、拒绝采样（包络接受-拒绝，需密度可算）、重要性采样（不采样目标、加权修正，估计期望的圣杯）、MCMC（构造以目标为平稳分布的链，kp-025——高维贝叶斯的最后答案）。四件套从精确到近似、从低维到高维逐级登场。
为什么重要
现代贝叶斯（kp-022 的 MCMC/变分）、生成模型（扩散模型的采样核）、强化学习（重要性采样的策略评估 kp-030 姊妹）、模拟系统（kp-026）——"能从任意分布抽样"是概率计算的自由等级；采样方法就是从"均匀随机数"通向"任意分布随机数"的桥梁家族。
前置知识
kp-006（CDF/PDF）、kp-012（变量变换）、kp-013（MGF——重要性采样的指数倾斜）、kp-025（MCMC）。
核心概念
- 逆变换法：$X=F^{-1}(U)$——单调 CDF 的万能精确法。推导：$P(F^{-1}(U)\le x)=P(U\le F(x))=F(x)$ ✓。例：$-\ln U\sim$ Exp(1)（kp-012 结论包）。限制：F 需可逆（多元/复杂分布不可行）。
- 拒绝采样：找一个包络 Mq(x)≥f(x)（M 常数、q 易采样）；从 q 采样 x、以 $\frac{f(x)}{Mq(x)}$ 概率接受——接受样本精确服从 f。效率=1/M：包络越贴越好；高维 M 指数爆炸（维度诅咒重启，退场）。
- 重要性采样：不生成目标样本，只重估期望
$$E_P[f]=E_Q\left[f(X)\frac{p(X)}{q(X)}\right]$$ ——从易采样的 q 采，按权重 p/q 校正。样本永远不"属于"P（权重重采样/自助才转正）；失效模式=q 尾部盖不住 p ⇒ 权重方差爆炸（kp-026 的警告落地）。自归一化版（Σ权重=1）除掉未知归一化常数——贝叶斯证据未知的救星。
- MCMC（kp-025 的应用形态）：Metropolis-Hastings（提议 q + 接受率 $\min(1,\frac{f(x')q(x|x')}{f(x)q(x'|x)})$——只用到未归一化密度！贝叶斯后验常数未知的救命性质）；Gibbs（逐维条件采样）。诊断：轨迹图/自相关/有效样本量/多链 R̂。
- 选型决策树：低维+F 可逆 → 逆变换；密度可算+低维 → 拒绝；只算期望 → 重要性；高维贝叶斯 → MCMC/变分。
原理与机制
逆变换为什么成立：U 均匀 ⇒ $P(F^{-1}(U)\le x)=P(U\le F(x))=F(x)$——CDF 的"概率浓度表"被 U 均匀"读表"。这是 kp-012 单调变换公式的反向应用（把均匀"变换成"目标）。
拒绝采样的保真证明：接受概率 $\propto f(x)\cdot\frac1{Mq(x)}$；归一化后 $=\frac{f(x)}{\int f}=f(x)$——包络的扭曲被接受率精确抵消。M 越大接受率越低——包络质量决定成本（高维找一个好包络本身就难）。
重要性采样的权重语义：$w=p/q$ 是"目标认为这个样本比提议分布认为的更重要多少倍"——期望被权重重新加权。它的阿喀琉斯之踵：$E_Q[w^2]$ 的方差可能无穷（q 不覆盖 p 的尾部）——诊断权重分布（最大权重/有效样本量）是使用纪律。
图示
逆变换: X = F⁻¹(U) (精确, 需CDF可逆)
拒绝: 采样x~q, 以 f(x)/(M·q(x)) 接受 → 精确服f (效率=1/M)
重要性: E_P[f]=E_Q[f·p/q] (加权不求样本; 尾部必须盖住)
MCMC: MH 接受率 min(1, f(x′)q(x|x′)/(f(x)q(x′|x)))
→ 只需未归一化密度 (贝叶斯救星 kp-022)
选型: 低维可逆→逆变换 | 低维可算→拒绝 | 算期望→重要性 | 高维→MCMC直观类比
逆变换=照菜谱精确配菜（需要菜谱可逆）；拒绝采样=掷飞镖投"包络板"、落在目标区域内的留下（包络越贴浪费越少）；重要性采样=不请目标人群本人，请"代购人群"并按"目标人群认为的代表性"加权发言（代购必须覆盖所有目标人群口味）；MCMC=派一个随机漫步者长期在目标区域游荡，按停留时间取样。
实例或案例
- Box-Muller：两枚均匀数→一对正态数（三角函数变换的精确法，逆变换不可行时的经典构造）。
- 贝叶斯 A/B：后验 Beta 直接采样/或 MH——kp-022 的可计算化。
- 强化学习离线评估：目标策略与行为策略的重要性比（kp-030 的 OPE 对象）。
常见误区
- 误区一："重要性采样的样本就是目标分布样本"。它们带权重、属于 q；要"真样本"需重采样（SMC 的做法）。
- 误区二："拒绝采样在高维也凑合"。接受率 1/M 随维指数衰减——高维必须 MCMC/变分。
- 误区三："MCMC 样本独立使用"。相关样本（kp-025/026 的 ESS）——有效样本量才是诚实货币。
与其他知识点的关系
自测题
- 用逆变换法从密度 $f(x)=2x$（0<x<1）采样。
答：F=x²、F⁻¹=√u → X=√U。
- 拒绝采样接受率的上限？什么时候达到？
答：1/M；M=1（q 恰等于 f）时达到——包络完全贴合。
- 为什么 MCMC 能绕开归一化常数？
答：MH 接受率是两处密度之比，未归一化常数在分子分母约掉——贝叶斯后验只知到常数也照样采。
延伸阅读
- Robert & Casella《Monte Carlo Statistical Methods》（采样全谱专著）。
- MacKay《Information Theory, Inference, and Learning Algorithms》第 29–32 章（MCMC/变分免费章）。
- Bishop《PRML》§11（采样与变分的教科书处理）。