联合、边缘与条件分布：多变量的三张账本
本文基于模型知识整理（生成时未联网核对），定义与全期望公式建议对照 Blitzstein & Hwang 第 7 章复核。
一句话定义
多个随机变量共存时有三张账本：联合分布 $P(X{=}x,Y{=}y)$ 记"组合账"，边缘分布 $P(X{=}x)=\sum_yP(X{=}x,Y{=}y)$ 记"单方账"（联合按行/列求和/积分），条件分布 $P(X{=}x|Y{=}y)$ 记"给定 Y 后的 X 账"——三账本互推的枢纽是条件概率（kp-003）的分布化。
为什么重要
现实问题几乎都是多元的（收入与教育、特征与标签）；机器学习的核心任务就是建模 $P(Y|X)$（条件分布）、推断 $P(X)$（边缘/先验）、拟合 $P(X,Y)$（联合/生成模型）——这三张账本就是 ML 的语法书。全期望公式 $E[Y]=E[E[Y|X]]$ 则是分层计算的最强杠杆。
前置知识
kp-003（条件概率）、kp-006/007（分布与期望）。
核心概念
- 联合 PMF/PDF：离散 $\sum_{x,y}p_{XY}=1$；连续 $\iint f_{XY}=1$；"联合=完整信息"。
- 边缘化：$p_X(x)=\sum_y p_{XY}(x,y)$（离散求和）/ $f_X(x)=\int f_{XY}(x,y)dy$（连续积分）——"把另一变量的账扫掉"。
- 条件分布：$p_{X|Y}(x|y)=\frac{p_{XY}(x,y)}{p_Y(y)}$——联合 ÷ 边缘（kp-003 的分布版）；"给定 Y=y 的新账本"。
- 独立：联合=边缘之积 $p_{XY}=p_Xp_Y$（对一切取值）—— kp-005 的分布化。
- 条件期望与全期望公式：$E[Y|X=x]$ 是"给定 x 后 Y 的重心"（x 的函数）；$E[Y]=E[E[Y|X]]$——先按层算条件期望、再对层加权；降维计算的神器。
- 条件方差：$\text{Var}(Y)=E[\text{Var}(Y|X)]+\text{Var}(E[Y|X])$——总方差=层内平均方差+层间方差（方差分解，分组分析的理论核）。
原理与机制
边缘化为什么"扫掉"信息：联合账记录每个组合的频次；只关心 X 时把同一 x 的所有 y 行加总——Y 的细节被平均掉。边缘比联合"粗"：仅凭两张边缘账一般无法重建联合账（相关结构丢失，kp-011 的相关系数只补线性部分）——这是"边际分布相同≠同分布"反例的来源。
全期望公式为什么是分层计算器：$E[E[Y|X]]=E[Y]$——条件期望把"复杂整体"切成"每层简单均值"再加权（两层产线的次品期望 kp-003 的期望版）。多层分解（分层模型/随机效应）的全部威力由此展开。
条件化改变一切的警示案例：边缘独立可条件相关（"性别与能力独立，但分层内负相关"的 Berkeley 悖论结构，kp-028 辛普森悖论同源）；条件独立也可边缘相关（共同原因 A→B, A→C：边缘相关、给定 A 独立——朴素贝叶斯假设的语义，kp-022）。独立性与条件化没有必然传递。
图示
联合 p(x,y) ──按列求和──> 边缘 p_X(x)
联合 ÷ 边缘: p(x|y) = p(x,y)/p_Y(y)
独立: p(x,y) = p_X(x)·p_Y(y) (联合=边缘积)
全期望: E[Y] = E[ E[Y|X] ] (层均值的加权)
方差分解: Var(Y)=E[Var(Y|X)] + Var(E[Y|X])
警告: 边缘独立 ⇏ 条件独立 ⇏ 边缘独立 (方向无传递)直观类比
联合分布像"全校身高×体重的散点台账"；边缘分布像"只按身高（或体重）的频次表"——台账按行汇总。条件分布像"只看 170cm 组的体重表"——台账按列切片。全期望像"先算每班平均分，再按班级人数加权得全校平均"。
实例或案例
- 分类模型：监督学习的目标就是 $P(Y|X)$（判别式）vs 学习 $P(X,Y)$ 再推条件（生成式）——三账本即模型分类学。
- 分层 A/B 分析：站点×设备的分层转化率 → 全期望合成整体提升估计——避免辛普森悖论（kp-028）。
- 排队系统：到达间隔与服务时间独立时用全期望算平均等待（Pollaczek-Khinchine 公式的直觉版）。
常见误区
- 误区一："知道两张边缘表就知道了联合"。只有独立时成立；相关结构是联合账独有的信息——协方差（kp-011）只是线性部分。
- 误区二："条件期望 E[Y|X] 是一个数"。它是 X 的函数（每层一个值）；$E[Y|X=x]$ 才是数——符号纪律。
- 误区三："Var(E[Y|X]) 加 E[Var(Y|X)] 有独立前提"。方差分解恒成立（不需要任何独立性）——与 Var(X+Y) 不同，它是恒等式。
与其他知识点的关系
自测题
- 联合 $p(x,y)=c(x+y)$ 于 0≤x,y≤1：求 c 与 $p_X(x)$。
答：$\iint c(x+y)=2c/2=c\cdot1=1$? 积分 = c×1 → c=1；$p_X(x)=\int_0^1(x+y)dy=x+\frac12$。
- X~U(0,1)，给定 X=x 时 Y~U(0,x)：求 E[Y]。
答：$E[Y|X]=x/2$ → $E[Y]=E[X/2]=1/4$（全期望）。
- 举一个"边缘独立、条件不独立"的例子。
答：两人各抛硬币（独立）；定义 C=两结果是否相同——给定 C，两结果完全相关（共同原因结构）。
延伸阅读
- Blitzstein & Hwang 第 7 章（联合分布与全期望）。
- Wasserman《All of Statistics》第 3 章。
- 《统计学习基础》(ISL/ESL) 第 2 章（条件分布→预测的框架）。