跳转至

《为什么:因果关系的新科学》第六章读书笔记

一、章节概述与背景

本章以"悖论大全!"(Paradoxes Galore!)为题,系统探讨了概率统计领域中一系列令人困惑的悖论现象。作者Judea Pearl指出,这些悖论的根源在于因果关系与统计关联之间的张力:人类直觉遵循因果逻辑运作,而数据则符合概率与比例的逻辑。当我们将从一个领域学到的规则误用于另一个领域时,悖论便应运而生。

本章详细分析了四个经典悖论:

  1. 蒙特霍尔悖论(Monty Hall Problem):三门问题中换门策略的合理性
  2. 伯克森悖论(Berkson's Paradox):医院样本中的虚假相关性
  3. 辛普森悖论(Simpson's Paradox):分层数据与聚合数据的逆转现象
  4. 洛德悖论(Lord's Paradox):关于饮食与体重变化的统计争议

Pearl强调,研究悖论不仅因为其趣味性,更重要的是它们揭示了人类大脑的工作方式、思维捷径以及认知冲突的模式。因果悖论聚焦于与概率统计逻辑相冲突的直觉因果推理模式。


二、关键问题与研究动机

本章围绕以下核心问题展开:

2.1 核心问题

问题一:为什么看似合理的数据分析会导致悖论?

当数据聚合与分层分析给出相反结论时,哪个才是正确的?例如,在蒙特霍尔问题中,10,000多封读者来信反对Marilyn vos Savant的正确答案,其中包括众多博士学位持有者。

问题二:为什么人类直觉在概率推理中经常出错?

Pearl指出:"Our brains are just not wired to do probability problems very well"(我们的大脑根本不擅长处理概率问题),但更根本的原因是"they are wired to do causal problems"(它们生来是为了处理因果问题)。

问题三:辛普森悖论中的"坏-坏-好"(BBG)药物是否可能存在?

直觉告诉我们:一种对男性有害、对女性有害的药物,不可能对整体人群有益。这一"确定性原则"(Sure-Thing Principle)的直觉基础是什么?

2.2 研究动机

  1. 揭示认知缺陷:通过分析悖论,找出人类直觉因果推理中的系统性错误
  2. 建立统一框架:用因果图模型统一处理各类悖论
  3. 指导实际决策:帮助研究者在实际数据分析中避免陷阱

三、公式推导与理论框架

3.1 蒙特霍尔问题的概率分析

基本设定: - 三扇门:门1(你的选择)、门2、门3 - 一辆车随机藏在某一门后 - 主持人知道车在哪里,必须打开一扇有山羊的门

关键洞察:在"Let’s Make a Deal"游戏中,换门获胜概率为 \(\frac{2}{3}\),不换门为 \(\frac{1}{3}\)

表6.1分析(假设选择门1):

排列 车位置 换门结果 不换结果
1 门1
2 门2
3 门3

换门获胜概率:\(P(\text{换门赢}) = \frac{2}{3}\) 不换门获胜概率:\(P(\text{不换赢}) = \frac{1}{3}\)

关键公式

在" Let's Fake a Deal"(主持人随机选择)中: $\(P(\text{车在门}j | \text{门被打开}) = \frac{1}{2}, \quad j \in \{1,2\}\)$

而在"Let’s Make a Deal"中: $\(P(\text{车在门}2 | \text{选择门}1, \text{门}3\text{打开}) = \frac{2}{3}\)$

因果图分析(图6.1):

[你的选择] → [打开的门] ← [车位置]

"打开的门"是一个碰撞器(Collider)。对碰撞器条件化会创造其父节点之间的虚假依赖。

3.2 伯克森悖论

核心机制:当对碰撞器进行条件化时,会产生虚假关联。

因果图(图6.3):

[疾病1] → [住院] ← [疾病2]

在医院样本中,\(P(\text{疾病}1 | \text{疾病}2, \text{住院}) \neq P(\text{疾病}1 | \text{住院})\)

即使两种疾病在总体人群中相互独立,在医院样本中它们也会呈现相关性。

** Sackett的数据示例**:

人群 骨骼疾病率
普通人群 7.5%
住院的呼吸疾病患者 25%

3.3 辛普森悖论

表6.4数据分析

性别 药物组 对照组
女性 7.5% (3/40) 5% (1/20)
男性 40% (8/20) 30% (12/40)
总体 18% (11/60) 22% (13/60)

数值不等式

\[\frac{3}{40} > \frac{1}{20} \quad \text{(女性)}$$ $$\frac{8}{20} > \frac{12}{40} \quad \text{(男性)}$$ $$\frac{3+8}{40+20} < \frac{1+12}{20+40} \quad \text{(总体)}\]

辛普森逆转的条件

\(A/B > a/b\)\(C/D > c/d\),则 \((A+C)/(B+D) > (a+c)/(b+d)\) 不一定成立

因果图分析(图6.4):

[性别] → [药物选择]
   ↓         ↓
[心脏病] ← [药物D]

性别是药物与心脏病之间的混杂变量(Confounder)

调整后估计(假设男女各占一半):

无药物心脏病率:\((0.05 + 0.30)/2 = 0.175\) 有药物心脏病率:\((0.075 + 0.40)/2 = 0.2375\)

结论:药物D是 BBB(对女性有害、对男性有害、对整体人群有害)。

3.4 修正的确定性原则

Savage原版:如果动作A在事件C发生和不发生两种情况下都比动作B好,则无论C是否发生,都应选择A。

Pearl修正版(加入因果约束):

一个动作,如果在假设事件C发生或不发生的条件下都增加了某结果的概率,那么在不知道C是否发生时,它也会增加该结果的概率……前提是动作不改变C的概率

数学表达: $\(P(Y | do(A), C) > P(Y | do(B), C) \quad \text{且} \quad P(Y | do(A), \neg C) > P(Y | do(B), \neg C)\)$ $\(\Downarrow\)$ $\(P(Y | do(A)) > P(Y | do(B)) \quad \text{当且仅当} \quad do\text{-计算允许此推导}\)$

关键洞察:这一定理不来自经典逻辑,需要使用引入do算子的因果微积分。

3.5 洛德悖论

因果图分析(图6.8):

[性别(S)] → [初始体重(WI)] → [最终体重(WF)]
                ↓
            [体重增长(Y)]

其中 \(Y = W_F - W_I\)

第一位统计学家的估计:\(E[Y | S=\text{男}] - E[Y | S=\text{女}] = 0\)(无效果)

第二位统计学家控制初始体重,估计直接效应。

关键区别:当处理变量影响各层分布时,聚合数据的"平均"不再是各层效应的简单平均。


四、算法方法与实践应用

4.1 识别碰撞器的算法

定义:碰撞器(Collider)是一种节点,其两个或多个父节点有指向该节点的箭头,但父节点之间没有箭头。

识别规则

对于路径 $X \rightarrow Z \leftarrow Y$:
- 如果对Z进行条件化(观察Z的值)
- 则X和Y之间会产生虚假关联

4.2 处理悖论的步骤

处理蒙特霍尔类问题的算法

  1. 绘制因果图,标注所有已知变量
  2. 识别信息流动的碰撞器
  3. 确定条件化对概率的影响
  4. 使用贝叶斯网络信念传播计算后验概率

处理辛普森悖论的算法

  1. 识别可能的混杂变量
  2. 绘制包含所有变量的因果图
  3. 应用后门准则(Back-Door Criterion)判断是否需要调整
  4. 若需要调整,使用分层分析或公式计算调整后的效应

后门准则公式

若变量集Z满足: - Z阻塞X和Y之间的所有后门路径 - Z不包含X的后代节点

则: $\(P(Y | do(X)) = \sum_{z} P(Y | X, z) P(z)\)$

4.3 实际应用案例

案例一:肾结石手术研究 - 开放手术在大小结石上都优于内镜手术 - 但总体而言内镜手术成功率更高 - 原因:结石大小是混杂变量(影响手术选择和预后)

案例二:吸烟与生存率研究 - 整体数据:吸烟者生存率更高(76% vs 69%) - 分层数据:非吸烟者在6/7个年龄组生存率更高 - 原因:年龄是混杂变量(吸烟者平均年龄更年轻)

4.4 硬币翻转实验

实验设计: - 同时抛两枚硬币100次 - 仅记录至少一枚正面朝上的结果 - 观察两枚硬币结果的相关性

结果:观察到的数据中,两枚硬币结果高度相关(这是一种伯克森偏倚

数学解释:通过条件化(删除双背面),我们创造了一个碰撞器结构: $\(P(H_1 | H_2) \neq P(H_1)\)$


五、主要结论与核心洞见

5.1 核心洞见一:数据生成过程至关重要

"The way that we obtain information is no less important than the information itself."

(获取信息的方式与信息本身同等重要。)

在蒙特霍尔问题中,相同的可见数据(主持人打开门3)可能对应不同的数据生成过程,导致完全不同的概率结论。

5.2 核心洞见二:碰撞器创造虚假关联

Reichenbach的"无相关无因果"原则过于绝对

原始陈述:"No correlation without causation"(无相关无因果)

反例:硬币实验证明,即使没有因果联系,在条件化碰撞器后也会产生相关。

修正原则:相关可能来自: 1. 因果关系 2. 共同原因 3. 选择偏倚(通过碰撞器条件化)

5.3 核心洞见三:聚合与分层的选择取决于因果结构

场景 第三变量角色 正确方法
药物D vs 心脏病 混杂变量(性别) 分层分析
药物B vs 心脏病 中介变量(血压) 聚合数据

5.4 核心洞见四:BBG药物不可能存在

修正的确定性原则证明了:一种对每个子群体都有负面影响的药物,不可能在整体人群中产生正面效应。

\[P(Y | do(A), X_1) < P(Y | do(B), X_1) \quad \text{且} \quad P(Y | do(A), X_2) < P(Y | do(B), X_2)$$ $$\Downarrow$$ $$P(Y | do(A)) < P(Y | do(B))\]

5.5 核心洞见五:时间顺序不是判断标准

错误规则:"在治疗之后的变量应该控制,之前的不应该"

反例:M偏倚中,变量B可以在A之前,但我们仍不应对其进行条件化。

正确方法:始终咨询因果结构,而非时间信息。


六、挑战与开放问题

6.1 统计学家群体的认知阻力

尽管因果图方法在学术界已广泛认可,但:

  • 历史惯性:许多统计学家仍然抵制因果语言的使用
  • 概念缺失:直到2000年代,部分统计学家仍认为因果概念"没有良好定义"
  • 实践滞后:Lindley在1981年写道无法协调因果与统计的观点,但他2009年承认若早读到Pearl的书就不会这样写

6.2 悖论识别的困难

现实挑战

  1. 隐蔽性:研究者可能意识不到自己正在对碰撞器进行条件化
  2. 选择性偏倚:研究便利性导致的样本选择(如只研究住院患者)
  3. 多层混杂:现实世界中的因果结构远比教科书示例复杂

6.3 未解决的哲学问题

  1. 相关性的本体论地位:碰撞器产生的"相关"是否与因果相关本质相同?
  2. 自由意志与因果:如果人的选择可以影响事件(如确定性原则中的商业决策),传统的因果分析框架是否需要修正?
  3. 悖论的普遍性:是否存在所有统计悖论都适用的统一处理框架?

6.4 实际研究中的注意事项

  1. 数据收集阶段的偏倚往往比分析阶段更难发现
  2. Simpson逆转是一个警告信号,表明存在混杂,但可能不是唯一的问题
  3. 聚合估计大于每个分层估计同样可能表明混杂控制不当

七、个人反思与批判性分析

7.1 对Pearl方法的评价

优势

  1. 统一性:因果图提供了一致的框架来理解所有这些看似不同的悖论
  2. 直观性:图形表示比公式更易于理解和交流
  3. 可操作性:后门准则等算法化的判断标准便于实践应用

局限

  1. 假设依赖:方法的有效性取决于正确指定因果图
  2. 无法处理未观测混杂:在存在未测量混杂的情况下,即使完美的分析方法也可能失败
  3. 复杂性:当变量众多时,因果图的绘制和分析变得极其复杂

7.2 对"确定性原则"的深入思考

Savage的确定性原则建立在行为不影响事件发生的前提上。但Pearl的修正引入了更微妙的问题:

如果动作确实影响混杂变量的概率,会怎样?

例如:某药物可能通过某种未知机制影响性别分布...这在生物学上不太可能,但在社会学情境中可能需要更谨慎的处理。

7.3 对教育意义的思考

当前统计学教育的问题

  1. 过度强调数据 reduction(Fisher 1922年的主张)
  2. 忽视数据生成过程
  3. 将因果推理视为"非科学"而回避

改革的必要性

Pearl的核心观点——"something might be amiss with viewing the world without a causal lens"——值得每一位统计学教育者深思。如果专业人员都会在Simpson悖论上犯错,公众又该如何自处?

7.4 关于"悖论"本质的哲学反思

悖论之所以令人困惑,是因为它们挑战了我们隐含的形而上学假设

  1. 整体等于部分之和:辛普森悖论表明这在概率情境中不成立
  2. 相关性意味着因果或共同原因:碰撞器悖论颠覆了这一直觉
  3. 观察与干预等价:do算子揭示了这种等价的虚假性

7.5 实践建议

基于本章内容,我提出以下实践建议:

  1. 永远先画因果图:在任何统计分析之前,尝试绘制变量之间的关系图
  2. 质疑数据来源:了解数据是如何生成的,而非仅关注数字本身
  3. 警惕聚合数据:特别是当不同子群体的分布可能不同时
  4. 使用多种方法:如果不同方法给出矛盾结论,这本身就是一个重要信号
  5. 拥抱不确定性:承认我们可能无法从给定数据中回答某些问题,而非强行给出答案

公式汇总表

概率基础公式

公式名称 表达式 应用场景
贝叶斯定理 \(P(A \| B) = \frac{P(B \| A) P(A)}{P(B)}\) 概率更新
乘法法则 \(P(A \cap B) = P(A \| B) P(B)\) 联合概率

因果推断核心公式

公式名称 表达式 适用条件
后门调整 \(P(Y \| do(X)) = \sum_{z} P(Y \| X, z) P(z)\) 阻塞所有后门路径
前门调整 \(P(Y \| do(X)) = \sum_{z} P(Z \| X) \sum_{x'} P(Y \| Z, x') P(x')\) 存在前门路径
do-算子定义 \(P(Y \| do(X)) = \sum_{\omega} P(Y \| X, \omega) P(\omega)\) 干预操作

悖论分析公式

悖论类型 关键不等式 逆转条件
Simpson逆转 \(\frac{A}{B} > \frac{a}{b}\)\(\frac{C}{D} > \frac{c}{d}\)\(\frac{A+C}{B+D} < \frac{a+c}{b+d}\) 各层权重分布不均匀
Berkson相关 \(P(D_1 \| D_2, H) \neq P(D_1 \| H)\) 条件化住院(碰撞器)

蒙特霍尔问题概率

策略 获胜概率
换门 \(\frac{2}{3}\)
不换门 \(\frac{1}{3}\)
Let's Fake a Deal换门 \(\frac{1}{2}\)

本章总结:第六章通过四个经典悖论的深入分析,揭示了因果推理与统计关联之间的根本差异。Pearl以因果图为核心工具,统一解释了这些悖论的成因,并给出了在实践中避免陷阱的具体指导。本章的核心信息是:数据本身不说话——我们需要因果图来理解数据告诉我们的内容


读书笔记完成日期:2026年5月10日 字数:约4,500字