《为什么:因果关系的新科学》第六章读书笔记
一、章节概述与背景
本章以"悖论大全!"(Paradoxes Galore!)为题,系统探讨了概率统计领域中一系列令人困惑的悖论现象。作者Judea Pearl指出,这些悖论的根源在于因果关系与统计关联之间的张力:人类直觉遵循因果逻辑运作,而数据则符合概率与比例的逻辑。当我们将从一个领域学到的规则误用于另一个领域时,悖论便应运而生。
本章详细分析了四个经典悖论:
- 蒙特霍尔悖论(Monty Hall Problem):三门问题中换门策略的合理性
- 伯克森悖论(Berkson's Paradox):医院样本中的虚假相关性
- 辛普森悖论(Simpson's Paradox):分层数据与聚合数据的逆转现象
- 洛德悖论(Lord's Paradox):关于饮食与体重变化的统计争议
Pearl强调,研究悖论不仅因为其趣味性,更重要的是它们揭示了人类大脑的工作方式、思维捷径以及认知冲突的模式。因果悖论聚焦于与概率统计逻辑相冲突的直觉因果推理模式。
二、关键问题与研究动机
本章围绕以下核心问题展开:
2.1 核心问题
问题一:为什么看似合理的数据分析会导致悖论?
当数据聚合与分层分析给出相反结论时,哪个才是正确的?例如,在蒙特霍尔问题中,10,000多封读者来信反对Marilyn vos Savant的正确答案,其中包括众多博士学位持有者。
问题二:为什么人类直觉在概率推理中经常出错?
Pearl指出:"Our brains are just not wired to do probability problems very well"(我们的大脑根本不擅长处理概率问题),但更根本的原因是"they are wired to do causal problems"(它们生来是为了处理因果问题)。
问题三:辛普森悖论中的"坏-坏-好"(BBG)药物是否可能存在?
直觉告诉我们:一种对男性有害、对女性有害的药物,不可能对整体人群有益。这一"确定性原则"(Sure-Thing Principle)的直觉基础是什么?
2.2 研究动机
- 揭示认知缺陷:通过分析悖论,找出人类直觉因果推理中的系统性错误
- 建立统一框架:用因果图模型统一处理各类悖论
- 指导实际决策:帮助研究者在实际数据分析中避免陷阱
三、公式推导与理论框架
3.1 蒙特霍尔问题的概率分析
基本设定: - 三扇门:门1(你的选择)、门2、门3 - 一辆车随机藏在某一门后 - 主持人知道车在哪里,必须打开一扇有山羊的门
关键洞察:在"Let’s Make a Deal"游戏中,换门获胜概率为 \(\frac{2}{3}\),不换门为 \(\frac{1}{3}\)。
表6.1分析(假设选择门1):
| 排列 | 车位置 | 换门结果 | 不换结果 |
|---|---|---|---|
| 1 | 门1 | 输 | 赢 |
| 2 | 门2 | 赢 | 输 |
| 3 | 门3 | 输 | 赢 |
换门获胜概率:\(P(\text{换门赢}) = \frac{2}{3}\) 不换门获胜概率:\(P(\text{不换赢}) = \frac{1}{3}\)
关键公式:
在" Let's Fake a Deal"(主持人随机选择)中: $\(P(\text{车在门}j | \text{门被打开}) = \frac{1}{2}, \quad j \in \{1,2\}\)$
而在"Let’s Make a Deal"中: $\(P(\text{车在门}2 | \text{选择门}1, \text{门}3\text{打开}) = \frac{2}{3}\)$
因果图分析(图6.1):
[你的选择] → [打开的门] ← [车位置]
"打开的门"是一个碰撞器(Collider)。对碰撞器条件化会创造其父节点之间的虚假依赖。
3.2 伯克森悖论
核心机制:当对碰撞器进行条件化时,会产生虚假关联。
因果图(图6.3):
[疾病1] → [住院] ← [疾病2]
在医院样本中,\(P(\text{疾病}1 | \text{疾病}2, \text{住院}) \neq P(\text{疾病}1 | \text{住院})\)
即使两种疾病在总体人群中相互独立,在医院样本中它们也会呈现相关性。
** Sackett的数据示例**:
| 人群 | 骨骼疾病率 |
|---|---|
| 普通人群 | 7.5% |
| 住院的呼吸疾病患者 | 25% |
3.3 辛普森悖论
表6.4数据分析:
| 性别 | 药物组 | 对照组 |
|---|---|---|
| 女性 | 7.5% (3/40) | 5% (1/20) |
| 男性 | 40% (8/20) | 30% (12/40) |
| 总体 | 18% (11/60) | 22% (13/60) |
数值不等式:
辛普森逆转的条件:
若 \(A/B > a/b\) 且 \(C/D > c/d\),则 \((A+C)/(B+D) > (a+c)/(b+d)\) 不一定成立。
因果图分析(图6.4):
[性别] → [药物选择]
↓ ↓
[心脏病] ← [药物D]
性别是药物与心脏病之间的混杂变量(Confounder)。
调整后估计(假设男女各占一半):
无药物心脏病率:\((0.05 + 0.30)/2 = 0.175\) 有药物心脏病率:\((0.075 + 0.40)/2 = 0.2375\)
结论:药物D是 BBB(对女性有害、对男性有害、对整体人群有害)。
3.4 修正的确定性原则
Savage原版:如果动作A在事件C发生和不发生两种情况下都比动作B好,则无论C是否发生,都应选择A。
Pearl修正版(加入因果约束):
一个动作,如果在假设事件C发生或不发生的条件下都增加了某结果的概率,那么在不知道C是否发生时,它也会增加该结果的概率……前提是动作不改变C的概率。
数学表达: $\(P(Y | do(A), C) > P(Y | do(B), C) \quad \text{且} \quad P(Y | do(A), \neg C) > P(Y | do(B), \neg C)\)$ $\(\Downarrow\)$ $\(P(Y | do(A)) > P(Y | do(B)) \quad \text{当且仅当} \quad do\text{-计算允许此推导}\)$
关键洞察:这一定理不来自经典逻辑,需要使用引入do算子的因果微积分。
3.5 洛德悖论
因果图分析(图6.8):
[性别(S)] → [初始体重(WI)] → [最终体重(WF)]
↓
[体重增长(Y)]
其中 \(Y = W_F - W_I\)
第一位统计学家的估计:\(E[Y | S=\text{男}] - E[Y | S=\text{女}] = 0\)(无效果)
第二位统计学家控制初始体重,估计直接效应。
关键区别:当处理变量影响各层分布时,聚合数据的"平均"不再是各层效应的简单平均。
四、算法方法与实践应用
4.1 识别碰撞器的算法
定义:碰撞器(Collider)是一种节点,其两个或多个父节点有指向该节点的箭头,但父节点之间没有箭头。
识别规则:
对于路径 $X \rightarrow Z \leftarrow Y$:
- 如果对Z进行条件化(观察Z的值)
- 则X和Y之间会产生虚假关联
4.2 处理悖论的步骤
处理蒙特霍尔类问题的算法:
- 绘制因果图,标注所有已知变量
- 识别信息流动的碰撞器
- 确定条件化对概率的影响
- 使用贝叶斯网络信念传播计算后验概率
处理辛普森悖论的算法:
- 识别可能的混杂变量
- 绘制包含所有变量的因果图
- 应用后门准则(Back-Door Criterion)判断是否需要调整
- 若需要调整,使用分层分析或公式计算调整后的效应
后门准则公式:
若变量集Z满足: - Z阻塞X和Y之间的所有后门路径 - Z不包含X的后代节点
则: $\(P(Y | do(X)) = \sum_{z} P(Y | X, z) P(z)\)$
4.3 实际应用案例
案例一:肾结石手术研究 - 开放手术在大小结石上都优于内镜手术 - 但总体而言内镜手术成功率更高 - 原因:结石大小是混杂变量(影响手术选择和预后)
案例二:吸烟与生存率研究 - 整体数据:吸烟者生存率更高(76% vs 69%) - 分层数据:非吸烟者在6/7个年龄组生存率更高 - 原因:年龄是混杂变量(吸烟者平均年龄更年轻)
4.4 硬币翻转实验
实验设计: - 同时抛两枚硬币100次 - 仅记录至少一枚正面朝上的结果 - 观察两枚硬币结果的相关性
结果:观察到的数据中,两枚硬币结果高度相关(这是一种伯克森偏倚)
数学解释:通过条件化(删除双背面),我们创造了一个碰撞器结构: $\(P(H_1 | H_2) \neq P(H_1)\)$
五、主要结论与核心洞见
5.1 核心洞见一:数据生成过程至关重要
"The way that we obtain information is no less important than the information itself."
(获取信息的方式与信息本身同等重要。)
在蒙特霍尔问题中,相同的可见数据(主持人打开门3)可能对应不同的数据生成过程,导致完全不同的概率结论。
5.2 核心洞见二:碰撞器创造虚假关联
Reichenbach的"无相关无因果"原则过于绝对:
原始陈述:"No correlation without causation"(无相关无因果)
反例:硬币实验证明,即使没有因果联系,在条件化碰撞器后也会产生相关。
修正原则:相关可能来自: 1. 因果关系 2. 共同原因 3. 选择偏倚(通过碰撞器条件化)
5.3 核心洞见三:聚合与分层的选择取决于因果结构
| 场景 | 第三变量角色 | 正确方法 |
|---|---|---|
| 药物D vs 心脏病 | 混杂变量(性别) | 分层分析 |
| 药物B vs 心脏病 | 中介变量(血压) | 聚合数据 |
5.4 核心洞见四:BBG药物不可能存在
修正的确定性原则证明了:一种对每个子群体都有负面影响的药物,不可能在整体人群中产生正面效应。
5.5 核心洞见五:时间顺序不是判断标准
错误规则:"在治疗之后的变量应该控制,之前的不应该"
反例:M偏倚中,变量B可以在A之前,但我们仍不应对其进行条件化。
正确方法:始终咨询因果结构,而非时间信息。
六、挑战与开放问题
6.1 统计学家群体的认知阻力
尽管因果图方法在学术界已广泛认可,但:
- 历史惯性:许多统计学家仍然抵制因果语言的使用
- 概念缺失:直到2000年代,部分统计学家仍认为因果概念"没有良好定义"
- 实践滞后:Lindley在1981年写道无法协调因果与统计的观点,但他2009年承认若早读到Pearl的书就不会这样写
6.2 悖论识别的困难
现实挑战:
- 隐蔽性:研究者可能意识不到自己正在对碰撞器进行条件化
- 选择性偏倚:研究便利性导致的样本选择(如只研究住院患者)
- 多层混杂:现实世界中的因果结构远比教科书示例复杂
6.3 未解决的哲学问题
- 相关性的本体论地位:碰撞器产生的"相关"是否与因果相关本质相同?
- 自由意志与因果:如果人的选择可以影响事件(如确定性原则中的商业决策),传统的因果分析框架是否需要修正?
- 悖论的普遍性:是否存在所有统计悖论都适用的统一处理框架?
6.4 实际研究中的注意事项
- 数据收集阶段的偏倚往往比分析阶段更难发现
- Simpson逆转是一个警告信号,表明存在混杂,但可能不是唯一的问题
- 聚合估计大于每个分层估计同样可能表明混杂控制不当
七、个人反思与批判性分析
7.1 对Pearl方法的评价
优势:
- 统一性:因果图提供了一致的框架来理解所有这些看似不同的悖论
- 直观性:图形表示比公式更易于理解和交流
- 可操作性:后门准则等算法化的判断标准便于实践应用
局限:
- 假设依赖:方法的有效性取决于正确指定因果图
- 无法处理未观测混杂:在存在未测量混杂的情况下,即使完美的分析方法也可能失败
- 复杂性:当变量众多时,因果图的绘制和分析变得极其复杂
7.2 对"确定性原则"的深入思考
Savage的确定性原则建立在行为不影响事件发生的前提上。但Pearl的修正引入了更微妙的问题:
如果动作确实影响混杂变量的概率,会怎样?
例如:某药物可能通过某种未知机制影响性别分布...这在生物学上不太可能,但在社会学情境中可能需要更谨慎的处理。
7.3 对教育意义的思考
当前统计学教育的问题:
- 过度强调数据 reduction(Fisher 1922年的主张)
- 忽视数据生成过程
- 将因果推理视为"非科学"而回避
改革的必要性:
Pearl的核心观点——"something might be amiss with viewing the world without a causal lens"——值得每一位统计学教育者深思。如果专业人员都会在Simpson悖论上犯错,公众又该如何自处?
7.4 关于"悖论"本质的哲学反思
悖论之所以令人困惑,是因为它们挑战了我们隐含的形而上学假设:
- 整体等于部分之和:辛普森悖论表明这在概率情境中不成立
- 相关性意味着因果或共同原因:碰撞器悖论颠覆了这一直觉
- 观察与干预等价:do算子揭示了这种等价的虚假性
7.5 实践建议
基于本章内容,我提出以下实践建议:
- 永远先画因果图:在任何统计分析之前,尝试绘制变量之间的关系图
- 质疑数据来源:了解数据是如何生成的,而非仅关注数字本身
- 警惕聚合数据:特别是当不同子群体的分布可能不同时
- 使用多种方法:如果不同方法给出矛盾结论,这本身就是一个重要信号
- 拥抱不确定性:承认我们可能无法从给定数据中回答某些问题,而非强行给出答案
公式汇总表
概率基础公式
| 公式名称 | 表达式 | 应用场景 |
|---|---|---|
| 贝叶斯定理 | \(P(A \| B) = \frac{P(B \| A) P(A)}{P(B)}\) | 概率更新 |
| 乘法法则 | \(P(A \cap B) = P(A \| B) P(B)\) | 联合概率 |
因果推断核心公式
| 公式名称 | 表达式 | 适用条件 |
|---|---|---|
| 后门调整 | \(P(Y \| do(X)) = \sum_{z} P(Y \| X, z) P(z)\) | 阻塞所有后门路径 |
| 前门调整 | \(P(Y \| do(X)) = \sum_{z} P(Z \| X) \sum_{x'} P(Y \| Z, x') P(x')\) | 存在前门路径 |
| do-算子定义 | \(P(Y \| do(X)) = \sum_{\omega} P(Y \| X, \omega) P(\omega)\) | 干预操作 |
悖论分析公式
| 悖论类型 | 关键不等式 | 逆转条件 |
|---|---|---|
| Simpson逆转 | \(\frac{A}{B} > \frac{a}{b}\) 且 \(\frac{C}{D} > \frac{c}{d}\) 但 \(\frac{A+C}{B+D} < \frac{a+c}{b+d}\) | 各层权重分布不均匀 |
| Berkson相关 | \(P(D_1 \| D_2, H) \neq P(D_1 \| H)\) | 条件化住院(碰撞器) |
蒙特霍尔问题概率
| 策略 | 获胜概率 |
|---|---|
| 换门 | \(\frac{2}{3}\) |
| 不换门 | \(\frac{1}{3}\) |
| Let's Fake a Deal换门 | \(\frac{1}{2}\) |
本章总结:第六章通过四个经典悖论的深入分析,揭示了因果推理与统计关联之间的根本差异。Pearl以因果图为核心工具,统一解释了这些悖论的成因,并给出了在实践中避免陷阱的具体指导。本章的核心信息是:数据本身不说话——我们需要因果图来理解数据告诉我们的内容。
读书笔记完成日期:2026年5月10日 字数:约4,500字