协方差与相关系数：线性关系的度量
本文基于模型知识整理（生成时未联网核对），相关系数的性质建议对照 Blitzstein & Hwang 第 7 章复核。
一句话定义
协方差 $\text{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E[XY]-E[X]E[Y]$ 度量两变量线性同向/反向的联动；相关系数 $\rho=\frac{\text{Cov}}{\sigma_X\sigma_Y}\in[-1,1]$ 把它标准化——±1=完全线性关系，0=无线性相关；相关不为 0 推不出因果，相关为 0 也推不出独立。
为什么重要
它是方差的拼图（$\text{Var}(X+Y)=\text{Var}X+\text{Var}Y+2\text{Cov}$——组合风险/抽样精度的关键项）、多元统计与回归的地基（协方差矩阵 kp-023、相关驱动的特征选择）、以及"相关≠因果"统计素养的数学出处（kp-031）。
前置知识
核心概念
- 协方差：$E[XY]-E[X]E[Y]$（计算式）；正=同向、负=反向、0=无线性联动。
- 相关系数：标准化协方差；无量纲、∈[−1,1]（柯西-施瓦茨）；|ρ|=1 当且仅当严格线性关系 $Y=aX+b$。
- 核心性质：
- $\text{Cov}(X,X)=\text{Var}(X)$；对称； - 双线性 $\text{Cov}(aX+b,cY+d)=ac\,\text{Cov}(X,Y)$； - 独立 ⇒ Cov=0（逆命题不成立！）； - $\text{Var}(X±Y)=\text{Var}X+\text{Var}Y±2\text{Cov}$。
- 线性性的证据：反例 $X\sim U(-1,1)$，$Y=X^2$——完全函数关系但 Cov=0（对称性把二次关系抹平）；ρ 只"看见"直线。
- 协方差矩阵：多元变量的两两协方差排成对称半正定矩阵（kp-023 多元正态的参数；PCA kp-030 姊妹篇的对象）。
原理与机制
为什么独立推出不相关：独立 ⇒ $E[XY]=E[X]E[Y]$（联合=边缘积的期望分解）⇒ Cov=0。逆不成立的原因：Cov 只探测一阶乘积的线性联动——$Y=X^2$ 的信息完全在二阶以上的关联里，线性探针测不到。"不相关"是弱得多的独立性。
为什么 ±1 意味着严格线性：柯西-施瓦茨取等的条件是 $Y-aX$ 退化（方差为零）——相关系数满档 ⟺ 两变量（概率 1）落在一条直线上。0.9 的 ρ 已说明"散点被拉成细长椭圆"（kp-023 的协方差椭圆）。
组合方差的金融直觉：两资产组合方差 $w_1^2\sigma_1^2+w_2^2\sigma_2^2+2w_1w_2\rho\sigma_1\sigma_2$——ρ<1 就能分散风险、ρ=−1 完全对冲；"不要把鸡蛋放一个篮子"的数学形态。
公式或模型
- $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)+2\text{Cov}(X,Y)$
- $\rho=\frac{\text{Cov}(X,Y)}{\sigma_X\sigma_Y}\in[-1,1]$
- $|\rho|=1 \Leftrightarrow Y=aX+b$（a≠0，概率 1）
直观类比
协方差像"双人舞的同步度"：一起向左向右（正）、你进我退（负）、各跳各的（零）。相关系数把同步度除以两人"各自的舞步幅度"标准化——这样辣妹与街舞大爷的同步度可以公平比较。但"同步"只数"同向直线步伐"——你转圈我蹲起（曲线关系）同步度计为零。
实例或案例
- 组合投资：两股票相关 0.3 的组合波动 < 单股波动——分散化的数学来源。
- 冰淇淋销量与溺水人数 ρ 高：共同原因"气温"驱动两者——相关≠因果的教科书对（kp-031 的因果话题）。
- 特征工程：高相关特征对（|ρ|>0.95）冗余——建模前相关矩阵筛查的日常操作。
常见误区
- 误区一："ρ=0 ⇒ 独立"。只对（二元）正态成立；U 形反例（Y=X²）必备。
- 误区二："ρ 高 ⇒ X 导致 Y"。相关无方向、无机制；可能是共同原因、反向或选择偏差（辛普森 kp-028）。
- 误区三："协方差大小可比"。Cov 有量纲（X·Y 的单位）；跨对比较必须标准化（ρ）。
与其他知识点的关系
自测题
- X、Y 独立同 U(0,1)：Cov(X,Y)=？Var(X+Y)=？
答：0（独立⇒不相关）；1/6。
- 证明 Y=X²（X~U(−1,1)）满足 Cov=0 但不独立。
答：$E[X^3]=0$（对称）且 E[X]=0 ⇒ Cov=E[X³]−0=0；但 Y 完全由 X 决定（不独立）。
- Var(X)=4、Var(Y)=9、ρ=0.5：Var(X+Y)？
答：4+9+2×0.5×2×3=19。
延伸阅读
- Blitzstein & Hwang 第 7 章（协方差与相关）。
- Wasserman《All of Statistics》§3.7、§7（相关与回归的接口）。
- Anscombe 四重奏（相同 ρ 不同散点形态——"ρ 之外请先画图"的名案例）。