第 6 章 滤波问题(The Filtering Problem)
作者
Bernt Øksendal(奥斯陆大学)。本章回答 Ch 1 提出的 Problem 3:给定带噪观测 \(Z_t\) 估计隐状态 \(X_t\)。核心结论——Kalman-Bucy 滤波器——是 20 世纪应用数学最伟大的成果之一(Kalman 1960 + Kalman-Bucy 1961),从 NASA 阿波罗导航到金融信号处理无处不在。
本章是 Ch 2 (Doob-Dynkin) + Ch 3 (Itô 积分 + 鞅) + Ch 4 (Itô 公式 + 鞅表示) + Ch 5 (SDE 存在唯一性) 的综合应用。这是 SDE 理论"对应用问题"的胜利——把抽象的鞅表示定理用一次"反向求解"转化为可实现的递推滤波方程。
内容概述
本章的中心任务:给定"状态 SDE" \(dX = b\,dt + \sigma\,dU\) + "观测 SDE" \(dZ = c\,dt + \gamma\,dV\)(\(U, V\) 独立 BM),求 \(\hat X_t = E[X_t \mid \mathcal G_t]\)(\(\mathcal G_t = \sigma(Z_s: s \le t)\))的 SDE 形式。
主要内容: 1. 滤波问题的数学化(Ch 6.1): - 观测转积分:\(H_t = c + \gamma W_t \Rightarrow Z_t = \int_0^t H_s\,ds\) 把"白噪声观测"转为"积分观测"(不丢失信息,因为 \(H_s\) 可由 \(Z_s\) 还原)。 - 最优估计 = 条件期望 = \(L^2\) 投影(Lem 6.1.1, Thm 6.1.2):\(\hat X_t = E[X_t \mid \mathcal G_t] = P_{\mathcal K}(X_t)\)。 2. 1 维线性滤波(Ch 6.2): - 系统 \(dX_t = F(t) X_t dt + C(t) dU_t\)(线性 SDE) - 观测 \(dZ_t = G(t) X_t dt + D(t) dV_t\)(线性 SDE) - Step 1(Lem 6.2.2):Gauss 性下最佳线性估计 = 最佳可测估计。 - Step 2(Lem 6.2.5):创新过程 \(N_t = Z_t - \int_0^t G(s) \hat X_s ds\) 有正交增量 + Gauss + \(L(N,t) = L(Z,t)\)。 - Step 3(Lem 6.2.6):\(R_t = \int_0^t (1/D) dN\) 是 BM;\(\hat X_t = E[X_t] + \int_0^t f(s, t) dR_s\)。 - Step 4:用 integrating factor 解线性 SDE 得 \(X_t\) 显式 (6.2.16)。 - Step 5(Thm 6.2.8):Kalman-Bucy 滤波器:\(d\hat X_t = (F - G^2 S/D^2) \hat X_t dt + (GS/D^2) dZ_t\),\(S = E[(X - \hat X)^2]\) 满足 Riccati 方程 \(dS/dt = 2F S - G^2 S^2/D^2 + C^2\)。 3. 多维线性滤波(Ch 6.3, Thm 6.3.1):矩阵 Riccati 方程 \(dS/dt = FS + SF^T - SG^T(DD^T)^{-1}GS + CC^T\)。 4. 应用例子(Ch 6.2.9-6.2.13):常值估计、BM 观测下的 BM 估计、参数估计(MLE = Kalman)、指数增长观测。 5. 预测(Ex 6.5):\(E[X_T \mid \mathcal G_t] = e^{\int_t^T F ds} \hat X_t\)。 6. Stroock-Varadhan 支持定理(Ex 6.10):扩散的支撑集 = 用光滑函数 \(\phi\) 替代 \(\circ dB\) 后 ODE 解的闭包。
在全书中位置:应用章。Ch 6 是 Ch 1 Problem 3 的解。Kalman-Bucy 滤波器是 SDE 在工程上的"第一个杀手锏应用"(1960 阿波罗登月计划、航天器导航、雷达跟踪)。
前置知识:Ch 2(Doob-Dynkin 引理、\(L^2\) 投影 = 条件期望)+ Ch 3(Itô 积分、等距)+ Ch 4(Itô 公式、鞅表示)+ Ch 5(线性 SDE 显式解)。没有这 4 章,本章完全不可读——这是 Itô 理论第一次完整展示其工程威力。
核心方程与概念
本章是 Itô 理论在工程应用上的"集大成",是全书 12 章中工程价值最高的章节。下面列出最重要的 11 个对象。
6.1 滤波问题定义(Ch 6.1)
系统: $\(dX_t = b(t, X_t)\,dt + \sigma(t, X_t)\,dU_t, \quad X_0 \sim \mu_0 \text{ 独立于 } U, V.\)$
观测: $\(dZ_t = c(t, X_t)\,dt + \gamma(t, X_t)\,dV_t, \quad Z_0 = 0,\)$
其中 \(U, V\) 是独立 BM。
最优估计: $\(\hat X_t := E[X_t \mid \mathcal G_t] = \arg\inf_{Y \in L^2(\mathcal G_t)} E[\|X_t - Y\|^2].\)$
- 关键认识:最佳 \(L^2\) 估计 = 条件期望 = Hilbert 空间投影(Thm 6.1.2)。这是因为 \(L^2(P)\) 是 Hilbert 空间,\(\mathcal G_t\)-可测函数 \(Y\) 构成闭子空间,最小化 \(\|X - Y\|^2\) = 投影到子空间。
- Doob-Dynkin 引理 (Ch 2) 的关键应用:\(\hat X_t\) 是 \(\mathcal G_t\)-可测 → \(\hat X_t = g_t(\{Z_s: s \le t\})\)(Doob-Dynkin)→ 滤波器是"观测历史的函数"。
- 观测转积分 \(Z_t = \int_0^t H_s ds\) 的意义:把"白噪声"形式的观测 \(H_t = c + \gamma W_t\) 转为"BM 增量"形式 \(dZ = c dt + \gamma dV\)。这一步不丢失信息(\(H_s\) 可由 \(Z_s\) 还原),但使 SDE 框架(Itô 积分、鞅表示)可以应用。
6.2 条件期望 = Hilbert 投影(Lemma 6.1.1)
- 证明:\(\int_A E[X|\mathcal H]\,dP = \int_A X\,dP\) 对所有 \(A \in \mathcal H\)(条件期望定义) ⟺ \(E[(X - E[X|\mathcal H])Y] = 0\) 对所有 \(Y \in \mathcal N\)(投影正交性)。
- 意义:把概率论问题(条件期望)转化为线性代数问题(投影)。这是滤波理论能用 Itô 积分的关键。
6.3 线性 SDE 系统(Eq 6.2.3, 6.2.4)
其中 \(F, C, G, D\) 是确定性矩阵(标量函数 on 1 维情形)。\(X_0\) 独立于 \((U, V)\),\(X_0 \sim N(\mu_0, a^2)\),\(D(t)\) 在有界区间上远离 0。
- 线性结构是关键——使 \(\hat X_t\) 的 SDE 闭式(否则只能写出非线性滤波方程,无闭式解)。
- Gauss 性是关键——使 \(E[X_t \mid \mathcal G_t]\) 是 \(\mathcal G_t\) 的线性函数(最佳线性 = 最佳可测,Lem 6.2.2)。
6.4 创新过程(Innovation Process, Def 6.2.12)
核心性质(Lem 6.2.5): 1. 正交增量:\(E[(N_t - N_s)Y] = 0\) for \(Y \in L(Z, s)\) 2. 方差:\(E[N_t^2] = \int_0^t D^2(s) ds\) 3. 生成同一 \(\sigma\)-代数:\(L(N, t) = L(Z, t)\)(用 Volterra 方程论证) 4. Gauss 性:\(\{N_t\}\) 是 Gauss 过程
- 几何意义:\(N_t\) = \(Z_t\) 的"新息"——扣除已用观测信息后剩余的"未被解释的随机性"。这是信号处理中"innovation"概念的严格化(Kailath 1968 引入)。
- 关键作用:\(N_t\) 给出 \(\mathcal G_t\) 中的"正交基底"——把 \(\mathcal G_t\)-可测估计问题("投影到 \(L^2(\mathcal G_t)\)")转化为"投影到 \(L^2(N, t)\)"("\(\int f\,dN\)"形式)。
6.5 创新过程 = BM(Lemma 6.2.6)
\(R_t\) 是 1 维 BM: - 连续路径 - 正交增量(\(N\) 有) - Gauss - \(E[R_t] = 0, E[R_t R_s] = \min(s, t)\)
- 关键:\(R_t\) 既是 BM,又能"生成" \(L(Z, t)\)(因为 \(L(N, t) = L(Z, t)\))。这意味着 \(\hat X_t\) 既可写成 \(Z\)-积分、又可写成 \(R\)-积分。
- Ch 4 鞅表示的联系:Thm 4.3.4 给出"任何 \(\mathcal F_t\)-鞅 = \(\int g\,dB\)"。这里 \(\{N_t\}\) 是 \(\mathcal G_t\)-鞅(\(E[N_t - N_s \mid \mathcal G_s] = 0\)),但 \(N\) 不是 BM——\(R\) 才是。创新过程 \(R\) 的作用是把"\(\mathcal G_t\)-鞅 \(N\)" 转换为"\(\mathcal G_t\)-鞅 + BM \(R\)"。
6.6 滤波器的显式形式(Lemma 6.2.7)
- 推导:\(\hat X_t \in L(R, t) = \{c_0 + \int_0^t g(s) dR_s\}\),取 \(c_0 = E[\hat X_t] = E[X_t]\),\(g = f\) 由 \(L^2\) 正交性确定。
- 关键:\(f(s, t)\) 表达"在时刻 \(s\) 已知 \(R_s\) 时,对 \(X_t\) 估计的修正"。当 \(s \to t\) 时,\(f(t, t)\) 反映"最新观测 \(R_t\) 对估计的影响强度"。
- 后续推导:\(f(s, t) = G(s) e^{\int_s^t F(v) dv} S(s) / D(s)\),其中 \(S(s) = E[(\tilde X_s)^2]\) 是均方误差。
6.7 Riccati 方程(Eq 6.2.21)
其中 \(S(t) = E[(X_t - \hat X_t)^2]\) 是均方估计误差。
- 关键认识:Riccati 方程是确定性的(不依赖 BM!)——\(S(t)\) 是时间的纯函数。这是 Kalman 滤波能"实时"运行的关键。
- 渐近行为(Ex 6.1, 6.2):若 \(\int_0^\infty G^2(s)/D^2(s) ds = \infty\),则 \(S(t) \to 0\)(精确渐近估计)——观测信号足够丰富时估计误差趋于 0。
- 多维情形(Thm 6.3.1):\(\frac{dS}{dt} = FS + SF^T - S G^T (DD^T)^{-1} G S + CC^T\)(矩阵 Riccati)。
6.8 Kalman-Bucy 滤波器(Theorem 6.2.8)—— 1960 年代的数学瑰宝
- 结构分析:
- 漂移项:\(F(t) \hat X_t\)(来自系统的"自然演化")+ \(-G^2 S/D^2 \cdot \hat X_t\)(来自"修正 Kalman 增益 × 当前估计")。
- 扩散项:\(GS/D^2 \cdot dZ_t\)(来自"新观测的冲击")。系数 \(GS/D^2\) 称为 Kalman 增益——它控制"多大程度相信新观测"。
- 关键性质:
- 递推性:\(\hat X_t\) 由 \(\hat X_{t-dt}\) 和 \(dZ_t\) 决定——不需要历史所有数据。
- 最优性:在所有 \(\mathcal G_t\)-可测估计中均方误差最小。
- 线性性:\(\hat X_t\) 是 \(Z_s\) 的线性函数(Gauss 假设下)。
- Ch 12 联系:Kalman-Bucy 是 Black-Scholes 之前的"SDE 工程应用典范"——两者都用鞅表示 + Itô 公式 + 测度变换,但 Kalman 用于估计(信息论),Black-Scholes 用于定价(金融)。
6.9 多维 Kalman-Bucy(Theorem 6.3.1)
- 关键认识:\(S \in \mathbb R^{n \times n}\) 矩阵 Riccati,其元素 \(S_{ij}\) 编码"状态分量 \(i\) 和 \(j\) 的估计协方差"。
- 计算量:\(n \times n\) Riccati 求解 \(O(n^3)\) 步长——在 1960 年是巨大的工程突破(让阿波罗导航成为可能)。
- 数值稳定性:现代 Kalman 滤波实现用 "square root filter"(Bierman 1977)避免 \(S\) 的数值不稳定(\(S\) 必须正定)。
6.10 应用例 6.2.10(BM 的滤波)
观测 BM:\(dX_t = c\,dU_t\), \(dZ_t = X_t dt + m dV_t\)(带噪观测的 BM)。
- Riccati:\(dS/dt = -S^2/m^2 + c^2\), \(S(0) = a^2\) → \(S(t) = mc \tanh(ct/m + \text{const})\)。
- 滤波器:\(d\hat X_t = -\tanh(t) \hat X_t dt + \tanh(t) dZ_t\)(取 \(a = m = c = 1\))→ \(\hat X_t = \frac{1}{\cosh t} \int_0^t \sinh(s) dZ_s\)。
- 物理意义:\(\hat X_t\) 是"指数加权移动平均"——新观测的权重 \(\sinh(s)/\cosh(t)\) 对最近观测给更大权重。这是 1958 年 Holt 时间序列预测公式的连续版本。
6.11 Stroock-Varadhan 支持定理(Ex 6.10)
对 SDE \(dX_t = b\,dt + \sigma \circ dB\)(Stratonovich 形式),其支撑集(\(X\) 几乎必然到达的最小闭集)= \(\overline{\{X^{(\phi)}: \phi \text{ 光滑}\}}\),其中 \(X^{(\phi)}\) 是 ODE \(dX^{(\phi)}/dt = b + \sigma \phi'\) 的解。
- 应用:从 SDE 的"系数"直接读出 \(X\) 能否到达某区域——例如 Ch 5.1.4 单位圆 BM 的支撑集 = 单位圆。
- Ch 12 应用:障碍期权定价(\(S_t\) 是否触到 barrier 是 payoff 的条件)必须知道支撑集。
- 历史:Stroock-Varadhan 1969 证明,Ikeda-Watanabe 1989 标准参考。
关键结论
- 条件期望 = Hilbert 投影(Lem 6.1.1, Thm 6.1.2)——这是把滤波问题转化为线性代数的关键一步,让 SDE 框架(Itô 积分、鞅表示)可以应用。
- 创新过程是滤波理论的"金钥匙":通过引入 \(N_t = Z_t - \int G \hat X ds\)(扣除已用信息),把"在 \(\mathcal G_t\) 上做投影"转化为"在 \(L(N, t)\) 上做投影"——后者是 BM 驱动的 Itô 积分空间,所有工具(Itô 等距、鞅表示)直接可用。
- Gauss 性 → 最佳线性 = 最佳可测(Lem 6.2.2)——这是 Kalman-Bucy 滤波器只对线性 + Gauss 系统有闭式解的根本原因。非线性 / 非 Gauss 系统需要其他技术(粒子滤波、Ensemble Kalman、Extended Kalman)。
- Kalman-Bucy 滤波器是 SDE 的"工程凯旋":从 1960 年 Kalman 1960 离散版本 + 1961 Kalman-Bucy 连续版本开始,Kalman 滤波器成为阿波罗登月、GPS、雷达跟踪、金融信号处理、机器人定位的通用工具。这证明 Itô 理论不仅是"好数学",更是"有用数学"——直接回应了 Ch 1.2 的"应用数学不是坏数学"立场。
- Riccati 方程是确定性的(不依赖 BM)——这意味着可以提前(或实时)数值求解 \(S(t)\),然后代入 \(\hat X_t\) 的 SDE。是 Kalman 滤波器"实时"运行的关键。
- 多维 Kalman-Bucy 在形式上与 1 维完全平行(Thm 6.3.1)——所有 \(\mathbb R^{n \times n}\) 的矩阵化是"机械可推广的"。这是工程友好的特性。
- Stroock-Varadhan 支持定理(Ex 6.10)——从 SDE 系数直接读出扩散路径的几何约束,是 PDE–SDE 对偶的另一面(Ch 9 用类似思路证明 PDE 解的存在性)。
挑战和开放性问题
- 非线性滤波的闭式解:Kalman-Bucy 只对线性 Gauss 系统有 SDE 闭式解。非线性 / 非 Gauss 系统的最优滤波 \(\hat X_t = E[X_t \mid \mathcal G_t]\) 一般无闭式——只能写出 Zakai 方程(\(\hat X_t\) 的非线性偏微分方程)或 Kushner-Stratonovich 方程(\(\hat X_t\) 的随机偏微分方程)。数值解用粒子滤波、Ensemble Kalman、Extended Kalman Filter。
- 计算复杂度:\(n \times n\) Riccati 求解 \(O(n^3)\) 步长——对 \(n = 10^6\) 维状态(如天气预报、大气海洋耦合)不可行。降维方法(Ensemble Kalman, Proper Orthogonal Decomposition)是当前热门研究方向。
- 观测-状态耦合(Ex 6.5–6.8):多维 Kalman 假设 \(X, Z\) 线性耦合;现实中常非线性(如 \(Z = h(X)\) for \(h\) 非线性)——Extended Kalman 用 Taylor 展开近似,Unscented Kalman 用 sigma 点近似。
- 路径依赖滤波(Ex 6.6):要估计 \(\int_0^t f(X_s) ds\) 形式的状态——Riccati 方程扩展为更复杂的方程。
- Stroock-Varadhan 支持定理的"反问题":给定支撑集 \(F\),什么样的 SDE 系数 \(b, \sigma\) 产生这种支撑?目前没有完整分类——这是"扩散几何"的开放问题。
- 有限观测频率:理论假设连续观测 \(Z_t\);实际中观测是离散时间 \(Z_{t_n}\)——这是"离散 Kalman 滤波"问题,方程形式类似但 \(\mathcal G_t\) 是右连续阶梯。
- 观测噪声的"突发"行为:当 \(V_t\) 是 Lévy 过程(不是 BM)时,Riccati 方程失效——这是 Ch 8 之后的研究方向,连接到带跳滤波(jump-diffusion filter)。
- Kalman-Bucy 的"内生参数估计"(Ex 6.15-6.16):当 \(F, C, G, D\) 本身未知时,需要"自适应滤波"——把参数 \(F, C, G, D\) 当作额外的"状态",扩大系统维数,再用 Kalman-Bucy 估计。
- 协方差爆炸 / 滤波发散:数值实现中,\(S\) 矩阵的舍入误差可能使 \(S\) 不再正定,导致滤波器"爆炸"。Bierman 1977 的"square root filter"用 \(S = L L^T\)(\(L\) 下三角)保持正定性。
个人反思与批判性分析
Kalman-Bucy 滤波器是 Itô 理论的"工程名片"——它的工程价值(阿波罗登月 + GPS + 金融信号处理)远超 Itô 公式的纯数学价值。没有 Kalman 滤波,许多现代工程奇迹都不可能。
Kalman 滤波的成功揭示了"线性 + Gauss"模型的工程威力——许多看似复杂的问题(航天器姿态、雷达目标跟踪、金融波动率曲面拟合)都可以用"线性 Gauss 状态 + 观测"框架描述。但这种"线性化"假设在某些场景下会失败: - 强非线性(机器人抓取的接触动力学) - 非 Gauss 噪声(金融市场的"重尾") - 高维(\(10^6\) 维流体动力学) - 多模态(亚稳态化学反应)
对这些问题,需要粒子滤波(Gordon-Salmond 1993)、Ensemble Kalman(Evensen 1994)、Hamilton Monte Carlo(Duane 1987)等"非线性 / 高维"扩展。
Riccati 方程的"二阶非线性"是关键——注意 \(dS/dt = 2F S - G^2 S^2/D^2 + C^2\) 是 \(S\) 的二次方程。这给出 \(S(t)\) 的"对称性"——\(S\) 始终为正(如果初值正),且在某些条件下指数衰减到 0。这种"非线性 + 正性"组合在控制论中非常稀有——很多 Riccati 方程的解可能变负(这意味着"模型不稳定")。
Stroock-Varadhan 支持定理的"反问题"未被解——给定支撑集 \(F\),什么样的 SDE 能产生这种支撑?这是 PDE 边界可达性、Fokker-Planck 方程、几何控制论的交叉问题。Stroock-Varadhan 定理给出"必要条件"(支撑集 ⊂ SDE 系数允许的 ODE 解的闭包),但"充分条件"在退化情形下仍未完全解决。
多维 Kalman 的"耦合协方差"——多维情形下 \(S\) 矩阵的非对角元素 \(S_{ij}\) 编码"状态分量 \(i\) 和 \(j\) 的估计协方差"——这意味着估计一个分量会受其他分量的影响。这种耦合在实际中常被忽略(很多工程实现用"对角 \(S\) 近似")——丢失精度但提升计算速度。
对金融工程学习者的具体建议——Kalman 滤波在金融的核心应用是波动率估计: - Hull-White 利率模型用 Kalman 估计均值回归速度。 - Heston 随机波动率用 Kalman 估计 \(\sqrt{v_t}\)。 - GARCH 模型是非线性滤波的特例。
把本章的 \(\hat X_t\) 看作"已实现波动率的最佳估计",把 \(S(t)\) 看作"估计的不确定性"——这就把金融工程的"波动率曲面"和 Itô 理论连接起来。
与 Karatzas-Shreve (1998) 的比较——KS 没有 Ch 6(滤波),但 Ch 12 给出随机控制中的等价工具。Bensoussan 1992 给出滤波的完整理论。Øksendal 的 Ch 6 是滤波的"工程师友好"介绍——技术细节较简("technical, but does not require new ideas"),是读者进入滤波理论的入口。
重要参考文献
[X1] R. E. Kalman. A new approach to linear filtering and prediction problems. Transactions of the ASME, Journal of Basic Engineering 82 (Series D): 35–45, 1960. DOI: 10.1115/1.3662552. — Kalman 滤波的离散版本原始论文(本章引用)。
[X2] R. E. Kalman, R. S. Bucy. New results in linear filtering and prediction theory. Transactions of the ASME, Journal of Basic Engineering 83 (Series D): 95–108, 1961. DOI: 10.1115/1.3658902. — Kalman-Bucy 连续版本原始论文。
[X3] T. Kailath. An innovations approach to least-squares estimation — Part I: Linear filtering in additive white noise. IEEE Transactions on Automatic Control 13(6): 646–655, 1968. — "Innovation" 概念的严格化(Kailath 引入)。
[X4] R. S. Bucy, P. D. Joseph. Filtering for Stochastic Processes with Applications to Guidance. Wiley, 1968. ISBN 978-0470116850. — 滤波理论的经典工程教科书(Ch 6.3 引用)。
[X5] A. H. Jazwinski. Stochastic Processes and Filtering Theory. Academic Press, 1970. ISBN 978-0123815507. — 滤波理论数学化(与 KS 互补)。
[X6] A. Gelb (ed.). Applied Optimal Estimation. MIT Press, 1974. ISBN 978-0262570480. — Kalman 滤波的工程实践(Ch 6.3 引用)。
[X7] P. S. Maybeck. Stochastic Models, Estimation, and Control, Vol. 1–3. Academic Press, 1979. ISBN 978-0124807013. — Kalman 滤波的"百科全书"(Ch 6.3 引用)。
[X8] G. Kallianpur. Stochastic Filtering Theory. Springer, 1980. ISBN 978-0387904450. — 滤波理论的数学严格化(Ch 6.3 引用)。
[X9] A. Bensoussan. Stochastic Control of Partially Observable Systems. Cambridge University Press, 1992. ISBN 978-0521350709. — 非线性滤波 + Zakai 方程(Ch 6.3 引用)。
[X10] M. H. A. Davis. Linear Estimation and Stochastic Control. Chapman & Hall, 1977. ISBN 978-0412155605. — 滤波 + 控制 + 鞅论的综合(Ch 6.3 引用)。
[X11] D. W. Stroock, S. R. S. Varadhan. Multidimensional Diffusion Processes. Springer, 1979. ISBN 978-3540902983. — Stroock-Varadhan 支持定理的原始来源(Ex 6.10 引用)。
[X12] E. Pardoux. Stochastic partial differential equations and filtering of diffusion processes. Stochastics 3(2): 127–167, 1979. — 非线性滤波的 SPDE 形式(Zakai 方程、Pardoux 方程)。