因果推断

辛普森悖论

例子 1

如图：

图中横轴为运动量纵轴为胆固醇含量，每个圈是特定年龄段的人的运动量和胆固醇含量的主要分布情况。

可以知道年龄相同，运动量越多胆固醇越少，但如果没有年龄数据，会得到运动量越多胆固醇越多的结论。

产生这种情况的原因是，年龄同时是运动量和胆固醇含量的因变量：

此时关注分类数据（按年龄分开）更为合理。

例子 2

图中 trt. 意思是吃某种药，recovered 意思是恢复。将男性吃药、不吃药恢复率（恢复人数除以总人数）分别记为 $\text{①}$ 和 $\text{②}$，女性的记为 $\text{③}$ 和 $\text{④}$，总体的（各人数分别相加）记为 $A$ 和 $B$。

“悖论”的地方在于，图中虽然 $\text{①}>\text{②}$，$\text{③}>\text{④}$，但是 $A<B$。

我们用概率论来分析这个问题。设三个二值的随机变量 $\mathrm{g},\mathrm{r},\mathrm{t}\in \{0,1\}$，分别代表是否是男生、是否恢复以及是否吃药。得到：

$$\begin{gathered} \text{①}=p(\mathrm{r}=1\mid \mathrm{g}=1,\mathrm{t}=1) \\ \text{②}=p(\mathrm{r}=1\mid \mathrm{g}=1,\mathrm{t}=0) \\ \text{③}=p(\mathrm{r}=1\mid \mathrm{g}=0,\mathrm{t}=1) \\ \text{④}=p(\mathrm{r}=1\mid \mathrm{g}=0,\mathrm{t}=0) \end{gathered}$$

用边缘概率公式展开 $A$、$B$：

$$\begin{array}{rl}{\displaystyle A}& {\displaystyle =p(\mathrm{r}=1\mid \mathrm{t}=1)}\\ {\displaystyle }& {\displaystyle =p(\mathrm{r}=1\mid \mathrm{t}=1,\mathrm{g}=0)p(\mathrm{g}=0\mid \mathrm{t}=1)}\\ {\displaystyle }& {\displaystyle +p(\mathrm{r}=1\mid \mathrm{t}=1,\mathrm{g}=1)p(\mathrm{g}=1\mid \mathrm{t}=1)}\\ {\displaystyle B}& {\displaystyle =\dots }\end{array}$$

设 $p(\mathrm{g}=1\mid \mathrm{t}=1)$ 为 $r$，$p(\mathrm{g}=1\mid \mathrm{t}=0)$ 为 $s$，得到：

$$\begin{gathered} A=r\text{①}+(1-r)\text{③} \\ B=s\text{②}+(1-s)\text{④} \end{gathered}$$

由于 $r$ 和 $s$ 可以在 0 到 1 内任意取值，所以即使 $\text{①}>\text{②}$，$\text{③}>\text{④}$，还是有可能有 $A<B$（比如令 $\text{③}<\text{②}$，$r\approx 0$，$s\approx 1$）。

这里的因果关系和胆固醇那个例子结构一样：

例子 3

这里吃的药会对人体有点毒性（图里的 toxic effect）从而减小恢复概率，但同时会降低血压，以增大恢复概率。

此时看分类数据 $p(\cdots \mid \text{低血压})$，由于此时样本的血压差不多，所以药物通过血压对恢复起的积极作用就被剔除了，导致结论是吃药的恢复率不如不吃药的。

所以这里应该看总体数据。

总结

这三个例子都只有三个变量，但我们用传统的概率论知识来分析还是有点费劲。因果推断有系统的方法解决这些问题。

统计相关性和因果性

统计相关性不意味着因果性，而因果性大部分情况都代表着统计相关性。

有因果性但没相关性的例子：人体有 A、B 两种疾病，它们要么同时出现要么同时不出现。A 会生成某种东西导致癌症，而 B 能消解 A 的效应防止癌症。那么这样 A 确实会导致癌症（因果性），但由于 B 的存在，A 的存在和患癌没有统计相关性。

基本结构

链式结构

因果图：

$$\mathrm{x}\to \mathrm{y}\to \mathrm{z}$$

这里其实并不是完整的图，我们还假设每个随机变量都有一个额外的父节点，这些节点称为噪声（外生噪声），所有噪声联合独立。

这里有条件独立：$\mathrm{x}\perp \mathrm{z}\mid \mathrm{y}$。

阻断的解释

可以根据因果图来解释：由于 $\mathrm{x}$ 只能通过 $\mathrm{y}$ 来影响 $\mathrm{z}$，而现在 $\mathrm{y}$ 已经固定（观测到），无法改变，所以说路径 $\mathrm{y}\to \mathrm{z}$ 就被阻断了，于是独立。

注意这里观测到 $\mathrm{y}$ 时，

或者这样解释：$\mathrm{y}$ 被固定后，$\mathrm{y}$ 给出了 $\mathrm{z}$ 对于 $\mathrm{x}$ 需要的所有信息。

独立性证明（去掉噪声）

设三个变量对应的噪声分别是 ${\mathrm{u}}^{\mathrm{x}}$、${\mathrm{u}}^{\mathrm{y}}$、${\mathrm{u}}^{\mathrm{z}}$。

我们需要用 SCM（结构因果模型）的定义：每个随机变量就是噪声的取值和父节点的取值输入进某个函数得到。

比如这里有：

我们又说所有噪声联合独立，那么 ${\mathrm{u}}^{\mathrm{z}}\perp \{{\mathrm{u}}^{\mathrm{x}},{\mathrm{u}}^{\mathrm{y}}\}$。

待补充：完整证明。

这里还可以推导出下面贝叶斯网络的联合分布分解。

有多个 $\mathrm{y}$ 的情况：

这里有 $\mathrm{X}\perp \mathrm{Z}\mid \{{\mathrm{Y}}_1,{\mathrm{Y}}_2,{\mathrm{Y}}_3,\dots \}$。

例子

回顾辛普森悖论的例子 3，如果固定血压，那么血药促进的恢复效果 $\text{Blood Pressure}\to \text{Recovered}$ 就被阻塞，于是只剩下药物本身对恢复的抑制作用。

分叉结构

$$\mathrm{y}\leftarrow \mathrm{x}\to \mathrm{z}$$

有 $\mathrm{y}\perp \mathrm{z}\mid \mathrm{x}$，两条路径都被阻断。

再来看辛普森悖论的例子 1，这里年龄同时影响了胆固醇和运动量，为了去掉它的影响，我们固定年龄，这样就只有运动量到胆固醇这条边了。$\text{Exercise}\leftarrow \text{Age}\to \text{Cholesterol}$ 这条边并没因果性，我们固定年龄，可以去掉这条通路产生的相关性，这样就更为客观。

或者这样，如果我们并不知道运动量和胆固醇含量有没有因果性，但是知道运动量会同时控制两者，这样显然先切断我们知道的这个相关性更合理。

对撞结构

$$\mathrm{x}\to \mathrm{z}\leftarrow \mathrm{y}$$

这里有 $\mathrm{x}\perp \mathrm{y}$ 以及 $\mathrm{x}\perp ̸\mathrm{y}\mid \mathrm{z}$。

比如：

$$\begin{gathered} \mathrm{x}={\mathrm{u}}^{\mathrm{x}} \\ \mathrm{y}={\mathrm{u}}^{\mathrm{y}} \\ \mathrm{z}=\mathrm{x}+\mathrm{y}+{\mathrm{u}}^{\mathrm{z}} \end{gathered}$$

当观测到 $\mathrm{z}=C$ 后，剩下的两个需要满足约束 $\mathrm{x}+\mathrm{y}=C-{\mathrm{u}}^{\mathrm{z}}$，于是条件不独立（不一定相关，之前有说反例）。