条件概率:信息如何改变概率
本文基于模型知识整理(生成时未联网核对),定义与全概率公式建议对照 Blitzstein & Hwang 第 2 章复核。
一句话定义
条件概率 P(A|B)=P(A∩B)/P(B) 是"得知 B 发生后,A 的新概率"——把样本空间从 Ω 缩小到 B 内部重新归一化;配套的全概率公式(按互斥情形加权平均)与条件概率的乘法形式 P(A∩B)=P(B)P(A|B) 是拆解复杂概率的两大杠杆。
为什么重要
"信息改变概率"是概率论的灵魂操作:医学检测的阳性解读、垃圾邮件过滤(词出现的条件下垃圾邮件概率)、.seq2seq 的语言模型(前文条件下下一词的概率)——一切"更新"的数学原型都在这里。它也是贝叶斯定理(kp-004)与条件分布(kp-010)的直接地基。
前置知识
kp-001/002(事件与公理)。
核心概念
- 定义:P(A|B)=P(A∩B)/P(B)(P(B)>0)。缩样本空间解读:已知 B 发生,相关世界只剩 B,A 的份额按 B 重新归一。
- 乘法法则(链式):P(A∩B)=P(B)·P(A|B)=P(A)·P(B|A);三事件 P(A∩B∩C)=P(A)P(B|A)P(C|A∩B)——"逐层发生"的拆解。
- 全概率公式(Law of total probability):若 B₁,…,Bₙ 互不相容且并集为 Ω(一个划分),则
$$P(A)=\sum_i P(A|B_i)P(B_i)$$ ——按"情形"加权;各情形下的条件概率好算时,总概率水到渠成。
- 贝叶斯定理预告:P(B|A) 与 P(A|B) 通过全概率公式互化(kp-004 专篇)。
- 条件概率也是概率:固定条件 B,P(·|B) 满足全部三公理——可以在 B 内部继续做一切概率运算(包括再条件化)。
原理与机制
缩空间直觉为什么准:P(A|B) 的分母 P(B) 是归一化因子——"B 发生"这条信息淘汰了 B 之外的所有世界,剩余世界里 A 的占比就是新概率。几何上:B 是新的全集(面积归一)。
全概率公式的机制是"分而治之":直接算 P(A) 卡住时,找一个好用的划分 B₁…Bₙ(每种情形下 A 的机制不同),分别条件计算再加权。典型如"工厂两条产线"(产线为划分、次品为 A)、"垃圾邮件/正常邮件"(类别为划分、词为 A——朴素贝叶斯分类器的骨架,kp-022)。
乘法法则的方向选择:P(A∩B) 可以从 A 侧或 B 侧展开——选"先发生好算的":$P(\text{两个都红})=P(\text{第一红})P(\text{第二红}|\text{第一红})$ 逐层推进(不放回抽样的标准算式)。
图示
定义: P(A|B) = P(A∩B)/P(B) (B 内重新归一化)
乘法: P(A∩B) = P(B)·P(A|B)
全概率: P(A) = Σᵢ P(A|Bᵢ)P(Bᵢ) (划分加权)
贝叶斯预告: P(Bᵢ|A) = P(A|Bᵢ)P(Bᵢ) / P(A)
案例: 两产线次品率 1%/5%, 产量 6:4
P(次品)=0.01·0.6+0.05·0.4 = 0.026
直观类比
条件概率像"考试划范围":全书的及格率是 P(A);老师说"只考第 3 章"(信息 B)后,及格率变成第 3 章内的及格率 P(A|B)——范围缩小、概率重算,过去的世界作废。
实例或案例
- 抽牌不放回:第二张是红心的概率 P=P(红)P(红|红)+P(黑)P(红|黑)=½·12/51+½·13/51=½——与第一张相同(对称性),全概率公式的优雅验证。
- 医学检测初探:患病率 1%、灵敏度 99%、假阳 5%——阳性下真患病概率仅 ~16.7%(kp-004 贝叶斯完整版)。
- 朴素贝叶斯分类:P(垃圾|词₁,词₂,…)=先验×各词似然(独立性近似)——全概率+贝叶斯的工程化。
常见误区
- 误区一:"P(A|B)=P(B|A)"。方向不同是不同数(癌症检测:P(阳性|病)=0.99 ≠ P(病|阳性)≈0.167)——这是 kp-031 p 值误读的核心。
- 误区二:"P(A|B)+P(A|Bᶜ)=1"。两条件互斥但不穷尽 A 的发生途径;正确的是全概率公式(加权版)。
- 误区三:"新信息永远使概率更接近 1 或 0"。信息也可能使概率远离确定(对称信息),甚至让"几乎确定"变"几乎不可能"——方向由数字决定不由感觉。
与其他知识点的关系
自测题
- 掷骰子,已知点数>3,求点数为偶数的条件概率。
答:P(偶∩>3)=P({4,6})=1/3;P(>3)=1/2;条件概率=2/3。
- 两厂产品 6:4 混合,次品率 1% 与 5%:任取一件是次品的概率?
答:全概率 0.6×0.01+0.4×0.05=0.026。
- 证明"条件概率满足三公理"(固定 B,P_B(A)=P(A∩B)/P(B))。
答:非负显然;P_B(Ω)=P(B)/P(B)=1;互不相容列的并可加性由分子交集可加直接继承。
延伸阅读
- Blitzstein & Hwang 第 2 章(条件概率与 Monty Hall)。
- 《概率论与数理统计》第 1.4–1.5 节。
- 《Naive Bayes and Text Classification》综述(条件概率的工程化巅峰之一)。