第九章：中介——寻找机制

一、章节概述与背景

本章是《为什么》的第九章，主题为"中介"（Mediation），聚焦于因果推断的第二个核心问题——当我们已知某个原因与某个结果时，如何理解它们之间的传导机制。本章承接了前几章关于因果图与do算子的讨论，将分析层次从"是否存在因果关系"推进到"因果关系是如何实现的"。

中介分析在科学研究中具有基础性地位。以医学为例，我们不仅想知道药物是否有效，更想知道它通过什么途径生效——是通过降低血压，还是通过其他生化机制。这种区分在实际应用中至关重要，因为不同的作用机制意味着不同的干预策略。当环境条件发生变化时，理解中介变量能帮助我们预判因果效应是否会发生改变。

从历史角度看，中介分析的思想可以追溯到20世纪初。1926年，芭芭拉·伯克斯（Barbara Burks）在其斯坦福大学论文中首次明确使用路径图表示中介变量，这一工作与 Sewall Wright 的路径分析研究几乎同时进行但独立完成。然而，由于那个时代计算机尚未普及，这些深刻的思想未能转化为实用的统计方法。

本章的核心任务是建立一套严格的中介分析框架，能够在观测数据（非实验数据）条件下估计直接效应与间接效应。Pearl 的主要贡献在于推导出了"中介公式"（Mediation Formula），该公式可以在不进行随机对照实验的情况下，从第一层级的关联数据中识别自然效应。

二、关键问题与研究动机

2.1 核心科学问题

本章围绕以下几个关键问题展开：

问题一：如何精确定义直接效应与间接效应？ 传统的回归分析方法无法区分这两种效应。在线性模型中，直接效应与间接效应可以简单相加（总效应 = 直接效应 + 间接效应），但这种可加性在非线性模型中完全不成立。例如，当结果变量涉及阈值效应（如求职者只有当薪资超过某个临界值才接受工作）时，间接效应可能为零而总效应却不为零，反之亦然。

问题二：如何在观测数据中识别中介效应？ 随机控制实验（do操作）在实践中往往不可行或不符合伦理。我们能否仅从被动观测的数据中识别出因果效应？Pearl 证明，在特定因果图结构下，这是可能的——通过中介公式可以将do算子"消掉"，仅使用条件概率表示。

问题三：为什么历史上许多看似正确的中介分析最终被证明是错的？ 坏血病案例提供了极具说服力的例证。18世纪林德确认柑橘类水果可以预防坏血病，但一个世纪后，人们错误地认为有效成分是"酸性"，导致在极地探险中使用了错误的替代品，造成不必要的死亡。直到1932年维生素C被发现，真正的中介变量才被识别出来。

问题四：辛普森悖论与中介分析有什么关系？ 伯克利招生悖论揭示了一个违反直觉的现象：整体数据显示男性录取率高于女性，但按院系分析时每个院系都显示对女性的偏好更高。这不是因为存在某个混淆变量，而是因为条件化于中介变量（院系）会打开后门路径，改变因果效应的估计结果。

2.2 研究动机

中介分析的动机存在于多个层面：

科学理解层面：知道"是什么"（药物有效）固然重要，但理解"如何起效"（通过什么机制）才能指导我们在新情境下做出预测。如果一个效应通过血压传导，当患者的血压调节机制受损时，药物可能失效。

政策制定层面：不同的中介路径需要不同的干预策略。全民代数政策的案例表明，政策的直接效应（对成绩的正面影响）和间接效应（通过改变课堂环境带来的负面影响）可能方向相反，理解这种复杂性才能设计出更有效的教育政策。

法律定义层面：美国最高法院对歧视的法律定义使用反事实语言——"如果申请者是不同性别但其他一切相同，雇主是否会采取相同行动？"这正是直接效应的精确定义，说明中介分析已经渗透到法律实践中。

三、公式推导与理论框架

3.1 三类效应的定义

在因果图 X → M → Y 中，我们定义三类基本效应：

总效应（Total Effect, TE）：

总效应衡量的是X的变动对Y的总体影响，即不控制任何中介变量时的因果效应。在do操作框架下：

\[TE = P(Y_{X=1} = 1) - P(Y_{X=0} = 1)\]

或者用条件概率表示：

\[TE = P(Y=1 | do(X=1)) - P(Y=1 | do(X=0))\]

直接效应有两种定义方式：

受控直接效应（Controlled Direct Effect, CDE）将中介变量固定为一个特定值m：

\[CDE(m) = P(Y=1 | do(X=1), do(M=m)) - P(Y=1 | do(X=0), do(M=m))\]

问题在于，对于不同的m值，CDE可能给出完全不同的结果。

自然直接效应（Natural Direct Effect, NDE）让中介变量取其"自然值"——由个体特征和其他因素决定的本来的值：

\[NDE = P(Y_{M=M_0, X=1} = 1) - P(Y_{M=M_0, X=0} = 1)\]

这里 \(M_0\) 表示当X=0时M本会取的值（下标表示反事实状态）。

自然间接效应（Natural Indirect Effect, NIE）：

\[NIE = P(Y_{M=M_1, X=0} = 1) - P(Y_{M=M_0, X=0} = 1)\]

NIE表示不允许X变化，但让M取其在X=1时本会取的值（\(M_1\)），然后与M取其在X=0时本会取的值（\(M_0\)）进行比较。直观上，NIE衡量的是"中介变量被X改变后，对Y产生的额外影响"。

3.2 总效应与自然效应的关系

对于从X=0到X=1的变化，有如下精确关系：

\[TE = NDE - NIE\]

这一公式在线性和非线性情况下都成立，是中介分析的基础恒等式。它揭示了一个深刻的事实：在非线性情况下，我们不能再简单地将总效应分解为直接效应与间接效应之和；相反，总效应等于"调整后的"直接效应减去间接效应。

3.3 中介公式（Mediation Formula）

Pearl的核心贡献是推导出可以从观测数据估计自然效应的公式。考虑最简单的因果链 X → M → Y（无混杂）：

自然间接效应的中介公式：

\[NIE = \sum_m [P(M=m | X=1) - P(M=m | X=0)] \times P(Y=1 | X=0, M=m)\]

该公式的解读： - 第一项：X对M的效应（条件分布的差异） - 第二项：M对Y的效应（在X=0的基准水平下） - 求和遍历所有可能的中介变量值m

关键性质： 1. 公式中没有do运算符——消掉了！ 2. 没有反事实下标——只涉及观测值 3. 可以从第一层级（关联）的数据估计 4. 适用于任意非线性关系

3.4 线性模型中的特例

在线性模型中，路径分析给出熟悉的分解：

总效应 = 直接效应 + 间接效应

路径系数相乘即可得到间接效应。例如： - X → M：系数a - M → Y：系数b - X → Y：系数c

则间接效应 = a × b，总效应 = c + a × b

但这仅在线性可加模型中成立。当存在交互作用或非线性时，这种简单相加的分解失效。

3.5 非线性模型中的阈值效应

考虑一个非线性案例：工作申请者只有当薪资 > 10时才接受工作。

教育 → 技能（系数2）
技能 → 薪资（系数3）
教育 → 薪资（系数7）
薪资 → 工作接受（阈值10）

当教育从0增到1： - 总效应 = 1（薪资从7增到13，触发阈值） - NIE = 0（技能从0增到6，未触发阈值） - CDE(0) = 0，CDE(2) = 1

这一例子有力地说明了非线性情况下中介分析的复杂性。

四、算法方法与实践应用

4.1 因果图的条件化规则

中介分析的核心算法依赖于因果图的条件化规则：

规则一：条件化于中介变量M会阻断通过M的路径，但同时会打开从X到Y的后门路径（如果存在）。

规则二：需要同时控制中介变量和所有碰撞点（collider），才能正确识别直接效应。

在伯克利招生悖论中，性别通过部门影响录取，而居住州是性别和部门的碰撞点。条件化于部门会打开后门路径，需要同时控制居住州才能识别真正的歧视效应。

4.2 识别策略

对于一般的因果图，识别自然效应的算法步骤：

构建因果图：明确变量之间的因果关系
识别后门路径：找出所有连接X和Y的非因果路径
选择协变量：选择足以关闭所有后门路径的变量集
应用中介公式：使用识别出的协变量代入公式计算

4.3 实践案例一：全民代数政策

芝加哥公立学校1997年要求所有九年级学生必修代数。效果分解：

直接效应：+2.7分（正向）——课程内容本身的价值
间接效应：-2.3分（负向）——通过改变课堂环境实现

机制：低成就学生被放入混合能力班级后跟不上进度，产生负面情绪、逃课等行为问题。

政策含义：2003年的"双倍代数"政策允许低成就学生每天上两节代数课，既保证了课程内容（保留直接效应），又恢复了有利于他们的课堂环境（消除负面间接效应）。

4.4 实践案例二：吸烟基因研究

2008年发现的染色体15q25区域基因（rs16969968）编码尼古丁受体。Fisher曾假设存在同时导致吸烟和肺癌的基因。

VanderWeele的分析结果： - 间接效应（通过吸烟行为）：仅1-3% - 直接效应：显著且只针对吸烟者

政策含义：如果效应主要是直接的，高风险基因携带者应接受额外肺癌筛查；如果是间接的，则应重点干预吸烟行为。这一分析说明了中介分析如何直接影响医疗决策。

4.5 实践案例三：止血带研究

伊拉克战争中，John Kragh医生收集的止血带使用数据显示：使用止血带的患者存活率并不更高。

这似乎是止血带无效的证据，但实际上是中介谬误的完美例证：

研究只包括存活到医院的患者——这意味着研究条件化于中介变量（入院前存活），从而阻断了间接路径，只测量了直接效应（接近零）。

真正的问题：止血带的价值可能完全在于让更多士兵存活到达医院——这是间接效应，但研究设计无法测量。

4.6 Baron-Kenny方法的局限性

1986年，Baron和Kenny提出的中介检验方法（Sobel检验）被引用超过73000次，是心理学和精神病学领域引用最高的论文之一。

局限性： 1. 该方法只在线性模型中有效 2. 要求间接效应服从正态分布假设 3. 无法处理交互作用 4. 在非线性情况下给出误导性结果

正确的做法是使用本章介绍的中介公式，它可以处理任意非线性关系。

五、主要结论与核心洞见

5.1 核心洞见

洞见一：反事实是定义自然效应的必要工具

自然直接效应和自然间接效应的定义都需要反事实概念——"如果X没有变化，M会取什么值？"这种看似抽象的概念实际上是严格定义因果效应的基础。Pearl的核心贡献是证明了这些反事实量可以在特定的因果图结构下从观测数据中识别。

洞见二：条件化于中介变量 ≠ 固定中介变量

这是中介谬误的核心。控制中介变量（在回归中包含它）并不等同于将其中固定；前者会改变因果效应的解释，后者才是受控直接效应的定义。混淆这两者是中介分析中最常见的错误。

洞见三：线性可加性在非线性模型中不成立

在线性世界中，总效应可以分解为直接效应与间接效应之和。但在非线性世界中，阈值效应、交互作用等因素使得这种简单分解失效。唯一普适的恒等式是：TE = NDE - NIE。

洞见四：理解中介变量是科学进步的关键

坏血病案例深刻说明，错误识别中介变量可能导致整个科学知识体系的崩溃。柑橘类水果被错误地理解为通过"酸性"预防坏血病，实际机制是维生素C。这一教训在当代医学研究中仍然适用。

5.2 主要结论

中介分析帮助我们理解"如何"和"为什么"，是因果推断的核心工具
直接效应和间接效应需要使用do算子和反事实精确定义，不能简单通过回归系数相减获得
线性模型中的中介公式不能推广到非线性情况，需要使用中介公式的一般形式
中介谬误（条件化于中介变量而非固定之）是中介分析中最常见的错误
中介公式让我们能够从第一层级的观测数据中识别自然效应，无需进行随机对照实验
不同机制需要不同的政策干预，理解中介路径才能设计有效策略
因果图是中介分析的有力工具，能够清晰展示变量之间的关系并指导识别策略

六、挑战与开放问题

6.1 当前理论的主要挑战

挑战一：未测量的混杂变量

中介公式的识别依赖于正确的因果图结构。如果存在未测量的混杂变量同时影响中介变量和结果变量，估计将是有偏的。在实践中，我们很难确信已经包含了所有相关变量。

挑战二：多个中介变量的处理

现实世界中的因果机制通常涉及多个并行或串行的中介变量。如何在多个中介存在的情况下正确识别各个路径的效应，目前的理论框架尚未完全解决。

挑战三：时变中介变量

当中介变量随时间变化时（如药物在多次服用后的累积效应），静态的中介分析框架不再适用。需要发展动态中介模型来处理这类问题。

挑战四：交互作用的处理

当直接效应和间接效应存在交互作用时，传统的效应分解方法失效。如何在存在交互作用的情况下提供有意义的效应分解，是一个尚未完全解决的问题。

6.2 方法论层面的挑战

挑战五：效应异质性

个体之间可能存在效应异质性——相同的X变化对不同个体可能有不同程度的中介。这使得"平均因果效应"的概念复杂化。

挑战六：敏感性分析

在无法完全排除混杂的情况下，如何进行有意义敏感性分析，判断结论对潜在混杂的稳健性，目前缺乏统一的方法论框架。

挑战七：高维变量

当中介变量维度很高（如基因表达数据中的数千个基因）时，统计功效和计算效率都面临严峻挑战。

6.3 开放问题

因果发现与中介分析的结合：能否从数据中同时学习因果结构和中介效应？
机器学习与因果推断的融合：深度学习等方法能否帮助识别高维中介？
实验验证的必要性：在什么情况下观察性研究足以提供因果结论，何时必须进行实验验证？
跨学科应用框架：如何将中介分析的思想更系统地应用于流行病学、经济学、社会科学等领域？

七、个人反思与批判性分析

7.1 对Pearl方法的评价

Pearl在本书中展现了一种独特的因果推理美学：将反事实这一看似哲学的概念转化为严格的数学语言，并通过因果图这一可视化工具使其易于理解和应用。中介公式的推导尤其令人印象深刻——它展示了如何"消掉"do运算符，将深层的因果问题转化为纯粹的统计问题。

然而，这种方法论的优雅也带来了一定的代价。Pearl的框架要求研究者首先明确因果图的拓扑结构，这一步骤在实践中往往需要大量领域知识。当因果图不确定时，分析结果的可信度就会打折扣。

7.2 与传统方法的比较

Baron-Kenny方法在心理学和精神病学领域的流行（73000次引用）反映了传统统计方法在处理中介问题上的困难。然而，这些方法建立在线性假设的基础上，当数据不符合这些假设时可能给出误导性的结论。

Pearl的方法提供了更一般化的框架，但其应用门槛也更高——研究者需要理解do算子、反事实和因果图等概念。这可能是其在某些领域推广较慢的原因之一。

7.3 对坏血病案例的思考

坏血病案例不仅仅是历史上的一个趣闻，它深刻揭示了科学进步的路径依赖性。林德在1747年通过对照实验确认了柑橘类水果的功效，但近两个世纪后人们仍然对"为什么有效"的理解存在根本性错误。

这提醒我们：因果关系的发现（柑橘有效）和机制的理解（通过维生素C）之间可能存在巨大的时间差距。在等待机制被完全理解的过程中，我们仍需基于当时的最佳知识做出决策，同时保持对新证据的开放态度。

7.4 伦理维度的思考

中介分析的法律应用（如就业歧视认定）引发了深刻的伦理问题。当我们使用"如果申请者是不同性别"的反事实时，我们假设了某种理想化的公平基准。然而，什么构成"其他一切相同"的公平比较，在实践中往往充满争议。

此外，中介分析可能被用于为歧视性政策辩护——通过声称观察到的不平等是由于"自然"的直接效应而非系统性歧视。在解读分析结果时，需要谨慎考虑其社会和政治含义。

7.5 对未来研究的展望

我认为，中介分析的未来发展可能沿以下几个方向：

贝叶斯因果推断：将先验知识整合到因果图的构建中，更好地处理不确定性
动态中介模型：处理时变中介和纵向数据
因果发现算法：从数据中自动学习因果结构，减少主观假设的依赖
可解释AI：将中介分析的思想应用于黑箱模型的解释

Pearl的框架为这一领域奠定了坚实的理论基础，但要充分发挥其潜力，还需要在方法论、计算工具和跨学科应用方面做大量工作。

公式汇总表

编号	名称	公式	物理意义	类型
(9.1)	总效应（TE）	\(TE = P(Y_{X=1}=1) - P(Y_{X=0}=1)\)	X从0变到1对Y的整体影响	(T)
(9.2)	受控直接效应（CDE）	\(CDE(m) = P(Y=1\\|do(X=1),do(M=m)) - P(Y=1\\|do(X=0),do(M=m))\)	固定M=m时的直接效应	(T)
(9.3)	自然直接效应（NDE）	\(NDE = P(Y_{M=M_0,X=1}=1) - P(Y_{M=M_0,X=0}=1)\)	让M取其自然值时的直接效应	(T)
(9.4)	自然间接效应（NIE）	\(NIE = P(Y_{M=M_1,X=0}=1) - P(Y_{M=M_0,X=0}=1)\)	通过中介变量传递的间接效应	(T)
(9.5)	总效应与自然效应的关系	\(TE = NDE - NIE\)	总效应等于直接效应减间接效应	(T)
(9.6)	中介公式（自然间接效应）	\(NIE = \sum_m [P(M=m\\|X=1) - P(M=m\\|X=0)] \times P(Y=1\\|X=0,M=m)\)	可从观测数据识别的NIE公式	(T)
(9.7)	线性间接效应	\(IE = a \times b\)（其中\(X \to M\)系数为\(a\)，\(M \to Y\)系数为\(b\)）	线性模型中的间接效应计算	(T)
(9.8)	线性总效应分解	\(TE = c + a \times b\)（其中\(c\)为直接效应路径系数）	线性模型中总效应等于直接效应加间接效应	(T)

注：(T)=理论推导公式，(E)=经验公式

术语表

英文术语	中文	定义
Mediation	中介	解释因果效应如何传递的过程
Mediator	中介变量	位于因果链条中间、传递因果效应的变量
Direct Effect	直接效应	不通过中介变量的因果效应
Indirect Effect	间接效应	通过中介变量传递的因果效应
Total Effect	总效应	X对Y的完整影响，不控制任何变量
CDE (Controlled Direct Effect)	受控直接效应	固定中介变量时的直接效应
NDE (Natural Direct Effect)	自然直接效应	让中介变量取其自然值的直接效应
NIE (Natural Indirect Effect)	自然间接效应	通过改变中介变量至其反事实值计算的间接效应
Mediation Formula	中介公式	从观测数据估计自然效应的公式
Interaction	交互作用	一个变量的效应因另一个变量的值而变化
Collider	碰撞点	同时受两个变量影响的变量
Mediation Fallacy	中介谬误	条件化于中介变量而错误地认为固定了中介
Confounding	混杂	同时影响原因和结果的变量
Back-door Path	后门路径	连接X和Y的非因果路径