辛普森悖论：分层改变结论
本文基于模型知识整理（生成时未联网核对），经典案例建议对照 Pearl《Causality》或 Bickel 1975 伯克利论文复核。
一句话定义
辛普森悖论是聚合数据与分层数据结论相反的现象：每个分组内 A 都优于 B，合起来却是 B 优于 A——根源是混杂变量（分组变量）与选择的关联：各组的样本量权重在合并时被翻转，优势组被"吸走"了样本。
为什么重要
它是最著名的统计反直觉现象，也是"只看总数会杀人"的活教材：1973 伯克利研究生录取（总体女生录取率低、各院系却持平甚至更高——女生更多申请了难录取的院系）、医学试验的亚组掩盖、AB 测试的平台混杂。识别"该分层还是该聚合"是数据分析的日常生死题（kp-031 的因果推断入口）。
前置知识
kp-003（条件概率=分层）、kp-010（条件化改变一切）。
核心概念
- 结构：分组 G 与处理 T、结果 Y——分层看 P(Y|T,G=g) 处处 T 占优；聚合看 P(Y|T) 却 T 落后。机制：各组基数悬殊 + 各组基线差异大。
- 伯克利案例数字：总体男 44% vs 女 35% 录取；但六个大院系中四个院系女生录取率更高——女生集中于"录取率 20% 级"的难系（英语/历史），男生集中于"录取率 60% 级"的易系（工程）。系别是混杂变量，聚合时权重被申请分布绑架。
- 权重翻转的算术：A 在大组只有微弱劣势、在小组优势巨大；合并时大组的微弱劣势以大权重称霸——"分组优势"与"聚合劣势"可以同时为真（不是算错，是两个不同的量）。
- 该信哪一个：不是数学问题而是因果问题——若分组变量是混杂因素（同时影响处理分配与结果，如"院系申请偏好"），分层的条件化结论才反映处理效应；若是中介/碰撞变量（处理的结果或后果），聚合/其他方式才对。选择偏差、辛普森悖论、混杂控制是同一枚硬币（因果推断 kp-031 的 DO-演算领地）。
原理与机制
为什么合并会翻转（数值最小示例）：
| 处理A 成功/总数 | 处理B 成功/总数 | |
|---|---|---|
| 组1 | 20/30 (67%) | 90/120 (75%) |
| 组2 | 3/10 (30%) | 2/80 (2.5%) |
| 合并 | 23/40 (57.5%) | 92/200 (46%) |
组 1、2 内 A 都胜；合并后 B 反超——组 2（基线极低）里 B 占了压倒性样本。每格都真实，结论取决于看哪一层的权重。
条件化决策树（实用版）：
- 分组变量是否影响"谁接受处理"？（混杂/选择偏差 → 分层/回归控制）；
- 分组变量是否只是"处理的结果通道"？（中介 → 分层会切断部分效应，聚合更代表总效应）；
- 有因果图（DAG）吗？——现代答案：画出因果图，让图决定控制谁（kp-031 的 do-calculus 预告）。
与kp-010的接口：辛普森悖论=条件分布与边缘分布矛盾的制度化命名；kp-010 说过"条件化没有必然传递"——本条给出它最危险的商业/医学形态。
图示
分组内: A 优于 B (两组皆然)
合并后: B 优于 A ← 权重被分组基数绑架
混杂: 分组变量 G → 影响处理分配 T 与结果 Y
决策: G是混杂 → 分层/控制 ; G是中介 → 看总效应
伯克利: 院系混杂 → 女生集中难系 → 聚合误判歧视方向直观类比
两家餐厅对比好评率：A 家在美食城（难讨好）拿 60% 好评、B 家在景区（好讨好）拿 80%；合并后 B 反超——因为 B 的客流量是 A 的十倍。"在同样苛刻的环境下谁更优秀"（分层）与"总盘子里谁好评多"（聚合）是两个问题；选哪个取决于你要回答的是"手艺"还是"选址"。
实例或案例
- 伯克利录取（1975）：Bickel 的经典研究——总体偏差 vs 院系公平的著名反转。
- 肾结石治疗（医学标准案例）：小结石手术 A 优、大结石手术 B 优，合并后 B 优——医生把重病人分给了 B，条件化才反映疗效。
- AB 测试平台混杂：新版本在 iOS 上更好、Android 更差，但 iOS 流量占比变化导致合并结论反转——按平台分层分析是数据团队的求生技能。
常见误区
- 误区一："总有一层是'对'的"。分层与聚合回答不同问题；对错由因果结构决定，不由数学决定——没有因果图就下结论是把直觉冒充答案。
- 误区二："数据大了悖论会消失"。样本量放大不改变权重结构；伯克利样本上万人悖论照演。
- 误区三："发现悖论=数据有假"。每格数字完全真实；它揭示的是"条件化选择"的信息含量，不是计算故障。
与其他知识点的关系
自测题
- 用上表验证合并反转（算出 57.5% vs 46%）。
答：A: (20+3)/(30+10)=23/40=57.5%；B: (90+2)/(120+80)=92/200=46%——分层 A 双胜、合并 B 胜。
- 伯克利案例中"院系"是混杂还是中介？
答：混杂——院系申请偏好影响性别分配（谁申哪个系）且影响录取率；控制院系后才能评估录取公平性。
- 什么情况下聚合结论反而是对的？
答：当分组变量是处理的结果（中介）或不可干预的纯机制时——目标若是"总体效应"（含路径），聚合才代表它（因果图裁决 kp-031）。
延伸阅读
- Bickel 等, "Sex Bias in Graduate Admissions"（Science 1975，伯克利原案）。
- Pearl, Mackenzie《The Book of Why》（因果之梯与辛普森的终局解答）。
-《赤裸裸的统计学》辛普森悖论章（大众向案例集）。