第1章：引言（Introduction）
作者
本章的作者是 Mykel J. Kochenderfer，斯坦福大学航空航天系教授，也是 Stanford Intelligent Systems Laboratory（SISL）的核心成员，长期从事决策理论、空中交通管理、自主系统安全验证等方面的研究，并主持了 FAA 委托的 ACAS X（下一代空中避撞系统）研究项目。Kochenderfer 在不确定条件下的决策方法论领域具有深厚积累，本书的署名也包括其合作研究者 Amy M. H. G. Wheeler 和 Kyle H. Wray，但本章的写作主体由 Kochenderfer 承担。
本章是全书的绪论，承担两项核心任务：（1）建立"在不确定条件下设计决策代理"这一全书主题的概念框架；（2）通过两个贯穿全书的实际应用案例——机载空中交通预警与避撞系统（TCAS）以及多无人机持续监视系统——为后续的理论与应用章节提供具体的参照系。从全书结构来看，本章定位为"路线图"性质的章节：第 2–7 章构成理论部分，建立概率推断、决策理论、序贯决策模型（包含 MDP 与 POMDP）、模型不确定性以及强化学习的数学工具；第 8–12 章构成应用部分，将这些工具应用于视频监视、语音处理、空中避撞、无人机协同以及人机集成系统。本章作为开篇，其内容深度相对浅显，主要价值在于为后续章节的深入学习奠定概念基础。
内容概述
本章围绕"不确定条件下的决策制定"这一核心议题，从计算科学的角度系统性地探讨了如何设计能够应对复杂环境中不确定性的智能决策代理（decision agent）。本章首先引入了一个通用框架：智能代理（agent）通过观察（observation）与其所处环境（environment）进行交互，并基于观察结果选择动作（action）以实现其既定目标。这一观察-动作循环（observe-act cycle）构成了几乎所有智能决策系统的基础架构。代理可以是物理实体（如人类或机器人），也可以是纯软件实现的决策支持系统。
在引入基本框架之后，本章通过两个具体应用案例——空中交通预警与避撞系统（TCAS）以及无人机持续监视系统——来说明不确定条件下决策制定的实际挑战。TCAS 是一个已经成功部署数十年的机载避撞系统，它需要在雷达噪声、飞行员行为变异性以及飞机轨迹不确定性的共同作用下做出实时决策。无人机监视系统则涉及多代理协作、通信中继分配、燃料消耗随机性以及硬件故障处理等更为复杂的决策问题。
本章的另一个核心内容是对设计决策代理的五种主要方法进行概述：显式编程（Explicit Programming）、监督学习（Supervised Learning）、优化（Optimization）、规划（Planning）以及强化学习（Reinforcement Learning）。作者明确指出，本书的重点将放在规划与强化学习两种方法上，但也会涉及监督学习和优化中的相关技术。本章作为绪论，主要起到提纲挈领的作用，为后续各章的深入分析奠定概念基础。
核心方程与概念
代理-环境交互的基本框架
在时刻 \(t\)，代理与环境之间的交互可以表示为以下基本循环：
其中 \(o_t\) 表示时刻 \(t\) 的观察值，\(a_t\) 表示时刻 \(t\) 采取的动作。这一框架的数学表示将在后续章节（尤其是第 4 章 Markov 决策过程）中得到进一步的形式化。
TCAS 系统中的不确定性建模
TCAS 系统中的关键不确定量包括：
- 距离测量：\(r = r_{\text{true}} + \epsilon_r\)，其中 \(\epsilon_r\) 表示测量噪声
- 方位角测量：\(\theta = \theta_{\text{true}} + \epsilon_\theta\)
- 高度测量：\(h = h_{\text{true}} + \epsilon_h\)
- 飞行员响应变异性：不同飞行员对同一避撞通告的响应可能不同，这种变异性在系统设计时必须加以考虑
决策策略空间
设 \(\pi\) 表示一个决策策略（policy），则策略空间可以表示为：
在优化方法中，设计者的目标是找到：
其中 \(J(\pi)\) 是衡量策略 \(\pi\) 性能的期望效用函数。在仿真环境中，\(J(\pi)\) 通常通过多次仿真取平均得到：
其中 \(R(s_t, a_t)\) 是时刻 \(t\) 的奖励函数，\(\gamma \in [0, 1]\) 是折扣因子，\(T\) 可以是有限时间范围或无穷。
规划方法中的值函数
规划方法假设已知环境动力学模型 \(P(s_{t+1} | s_t, a_t)\)，在此假设下，最优值函数满足 Bellman 方程：
相应的最优策略为：
上述方程将在第 4 章中得到详细求解方法的讨论。
强化学习中的值函数估计
强化学习的核心特征是"无模型"——代理在学习过程中同时探索环境（exploration）和利用已有知识（exploitation）。其基本工具是时序差分（TD）学习：
其中 \(\alpha\) 是学习率，\(r_t + \gamma V(s_{t+1}) - V(s_t)\) 是 TD 误差。该公式将在第 7 章中得到详细的算法分析。
显式编程方法
显式编程是最直接的决策代理设计方法。设计者为所有可能遇到的场景预定义决策规则。其优点是简单直观、决策过程可解释性强；缺点是难以穷举所有场景、无法处理未知情况、规则维护成本随问题复杂度急剧增长。在 TCAS 的早期设计阶段，显式规则方法曾被广泛使用，但随着场景复杂度提升，这种方法的局限性日益明显。
监督学习方法
监督学习通过人类专家提供的标注数据进行训练，学习从观测到动作的映射关系。这一方法在计算机视觉、语音识别等领域取得了巨大成功。在决策代理设计中，这种方法又称行为克隆（behavioral cloning）。其核心假设是：专家在训练样本覆盖的各种情况下都知道最优动作。然而，当代理遇到训练分布之外的场景时，泛化性能无法保证——这正是行为克隆方法的根本性缺陷。
优化方法
优化方法将决策策略参数化，设计者定义策略空间和性能评估指标，优化算法在策略空间中搜索最优参数。其关键步骤包括：
- 策略参数化：将策略表示为 \(\pi_\theta(a|s)\)，其中 \(\theta\) 是待优化参数
- 性能评估：通过批量仿真 \(J(\theta) = \mathbb{E}[R(\theta)]\)
- 参数搜索：使用梯度下降、进化策略或贝叶斯优化等方法更新 \(\theta\)
在 TCAS 系统设计中，优化方法可用于调整报警阈值、选择 resolution advisories（避撞建议）的参数等。
规划方法
规划方法利用已知的系统动力学模型来指导决策。相较于无模型的优化方法，规划的优势在于可以利用模型信息进行前瞻性决策（lookahead）。动态规划（Dynamic Programming）是规划方法的基础理论工具，通过递归分解复杂问题：
当状态空间连续或规模巨大时，精确求解动态规划方程变得不可行，需要引入函数近似（function approximation）、离线近似（offline approximation）和在线近似（online approximation）等技术。
TCAS 实例中的方法选择考量
TCAS 系统对安全性有极高要求，且需要在毫秒级时间尺度内做出决策。这些约束使得纯机器学习方法（如强化学习）在此场景下目前尚不实用——因为在线学习方法缺乏安全性保证。TCAS 的设计综合运用了显式规则、离线优化和确定性规划方法，通过大量仿真验证确保系统在各种极端情况下都能给出安全的决策。
关键结论
本章的核心结论可以归纳为以下几点：
结论一：不确定性在决策制定中不可避免且必须严肃对待。 无论是传感器噪声、模型不精确还是人类行为的变异性，不确定性来源多样且对决策质量有显著影响。在 TCAS 这样的安全关键系统（safety-critical system）中，忽视任何一种不确定性都可能导致灾难性后果。
结论二：不存在"放之四海而皆准"的最优方法。 五种设计决策代理的方法各有其适用范围。显式编程在场景可穷举且规则固定的情况下简单有效；监督学习在有高质量专家数据时能快速构建可用系统；优化方法在策略空间可参数化且可仿真评估时具有优势；规划方法在环境模型已知且需要处理状态不确定性时表现出色；强化学习则在模型完全未知、必须通过交互学习的最具挑战性场景中具有独特价值。本书的重点——规划与强化学习——代表了处理复杂不确定决策问题的现代计算方法论的主流方向。
结论三：安全性和可操作性之间的平衡是实践中的核心挑战。 TCAS 系统数十年的设计经验表明，一个成功的决策支持系统不仅需要在技术上正确，还必须被操作人员和社会所接受。这意味着系统设计不能仅仅追求理论上的最优，而必须在安全性、可靠性、可解释性和用户接受度之间找到实际可行的平衡点。
结论四：决策制定是一个跨学科问题。 本章涉及的决策理论融合了概率论、控制理论、计算机科学和运筹学等多个学科的工具和方法。这种跨学科特征也反映在本书的组织结构上——理论部分提供数学基础，应用部分展示实际问题的建模与求解方法，两者相互呼应。
挑战和开放性问题
尽管本章并未深入展开，但作为绪论，它指出了全书将要面对的若干核心挑战：
挑战一：维度灾难（Curse of Dimensionality）。 当状态空间、动作空间或时间范围增大时，精确求解最优决策的计算复杂度通常呈指数增长。TCAS 需要在三维空间（水平距离、垂直距离和时间）中对多个入侵飞机进行实时决策，而无人机监视系统则涉及多代理的高维联合状态空间。如何设计近似方法在计算效率和解的质量之间取得良好平衡，是贯穿全书的核心计算挑战。
挑战二：安全关键系统的验证与确认（Verification and Validation）。 TCAS 系统已经部署了数十年，但每一次算法升级都需要经过严格的验证过程，以确保在所有可能场景下系统行为都符合安全要求。对于基于机器学习的决策系统，验证问题更加复杂——因为这类系统的行为难以通过传统测试方法完全覆盖。强化学习系统尤其如此，其策略可能在大规模部署前无法穷尽测试所有极端情况。
挑战三：部分可观测性（Partial Observability）。 本章假设代理可以观察到完整的状态，但在实际应用中（如无人机监视中的通信受限场景），代理往往只能获得关于环境状态的部分信息。如何在部分可观测条件下做出良好决策，是一个在理论上和实践上都具有相当难度的挑战。这正是第 6 章部分可观测 Markov 决策过程（POMDP）所要处理的问题。
挑战四：模型不完整性（Model Imperfection）。 规划方法假设已知环境动力学模型，但实际中模型往往是不完整的甚至可能是错误的。如何处理模型不确定性，在利用模型信息和避免因模型偏差导致错误决策之间取得平衡，是第 5 章模型不确定性要讨论的核心问题。
挑战五：人机协同中的信任校准（Trust Calibration）。 第 12 章将讨论的集成自动化与人类操作者问题涉及：如何在决策支持系统中建立操作者对系统的适当信任？如何设计人机交互界面使得系统的建议能够被正确理解和执行？这些问题的解决需要综合运用认知心理学、人因工程和人机交互等领域的研究成果。
开放问题： 在实际复杂系统中，多种不确定性来源往往同时存在且相互耦合，如何建立统一的理论框架来同时处理观测不确定性、动态不确定性、模型不确定性和通信不确定性，仍然是一个活跃的研究前沿。
个人反思与批判性分析
关于作者写作风格和方法论的思考
从本章的叙述方式来看，Kochenderfer 采用了从具体到抽象、从案例到理论的写作路径。这种"应用驱动"（application-driven）的写作风格在工程类教材中较为常见，其优势在于能够使抽象的理论概念与读者已有的经验建立联系，从而降低理解门槛。TCAS 和无人机监视两个案例的选择也很好地覆盖了不同复杂度的决策场景——前者是单代理、安全关键的实时系统，后者是多代理、协作型的长时间尺度任务。
然而，这种组织方式也隐含了一个潜在风险：如果读者对书中选择的案例领域不够熟悉，可能会影响对相关方法论的理解。这一风险在应用部分各章中尤为突出——第 10 章和第 11 章分别深度讨论了 TCAS 和无人机监视问题，读者若跳过这些章节则可能无法完全理解前面理论章节的实际意义。建议读者在阅读理论章节时对相关应用章节保持开放态度，在学习完理论工具后主动查阅对应的应用章节以巩固理解。
本书采用"理论-应用"两部分的组织方式有其内在逻辑：理论部分建立数学基础，应用部分展示如何将理论工具应用于实际问题。然而，这种组织方式也存在一个值得注意的问题：理论章节和应用章节之间的对应关系可能不够显式——例如，第 10 章关于 TCAS 的讨论与第 6 章关于 POMDP 的理论之间究竟有何对应关系，可能需要读者自行建立联系。阅读本书时，建议读者主动建立这种跨章节的关联。
从深度上看，本章作为绪论，对五种方法的介绍相对均衡但较为浅显。对于已有相关背景的读者，本章的信息密度可能偏低；但对于初入此领域的读者，这种鸟瞰式的介绍有助于建立整体认知。
关于五种设计方法的哲学思考
本章对五种方法的分类方式反映了决策系统设计领域的一个基本张力：设计的自动化程度与系统可解释性、安全可验证性之间的权衡。
显式编程代表完全由人类设计师掌控的极端：所有决策逻辑都是确定性的、可解释的，但扩展性差。监督学习将部分决策责任转移给算法，但仍然依赖人类专家提供"正确答案"。优化方法将设计问题转化为数学优化问题，在计算效率和最终性能之间寻求平衡，但解的质量受限于策略的参数化方式。规划方法则引入"前瞻"能力，使代理能够考虑动作的长期后果。强化学习代表了最高程度的自动化——代理通过与环境的交互自主发现最优策略，但这也意味着设计师对最终系统行为的控制力最弱。
从实践角度来看，这五种方法并非互斥的，而是可以互补使用的。例如，现代 TCAS 系统的设计中可能包含显式规则（用于处理最常见的场景）、优化方法（用于调整系统参数）和规划思想（用于处理复杂场景时的决策推理）。第 12 章关于人机集成的内容将进一步讨论混合系统的设计。
关于研究前沿的个人观察
作为读者，本章所讨论的内容在当前人工智能研究中具有重要地位。强化学习和规划方法的融合（所谓 "model-based RL"）是当前最活跃的研究方向之一——利用学习到的环境模型来进行规划，可以同时兼顾样本效率和最终性能。此外，安全强化学习（safe reinforcement learning）作为一个专门研究如何在学习过程中保证安全性的子领域，与 TCAS 系统的设计哲学有密切关系，尽管两者处理安全约束的方式有所不同。
值得进一步关注的是，本书出版于 2015 年，书中部分内容可能未能反映 2015 年以来的最新进展，尤其是深度强化学习（deep reinforcement learning）在各应用领域取得的突破性进展（如 AlphaGo、机器人控制等）。尽管如此，本书所建立的理论框架和基本概念仍然是理解这些后续发展的良好基础。
重要参考文献
本章为全书绪论，未列独立参考文献；Kochenderfer 等人关于决策理论的学术引用与 TCAS/ACAS X 项目背景，详见本书后续章节（如第 2、3、4 章及第 10 章应用篇）的参考文献条目。
公式汇总
| # | 名称 | 形式 | 物理意义 | 类型 |
|---|---|---|---|---|
| (1.1) | 代理-环境交互循环 | \(o_t \rightarrow a_t \rightarrow s_{t+1}\) | 决策代理的基本工作流程 | (T) |
| (1.2) | 策略优化目标 | \(\pi^* = \arg\max_{\pi \in \Pi} J(\pi)\) | 寻找使期望累积奖励最大化的策略 | (T) |
| (1.3) | 性能泛函 | \(J(\pi) = \mathbb{E}\left[\sum_{t=0}^{T} \gamma^t R(s_t, a_t)\right]\) | 折扣累积奖励的期望值 | (T) |
| (1.4) | Bellman 方程 | \(V^*(s) = \max_a \sum_{s'} P(s'\|s,a)[R(s,a) + \gamma V(s')]\) | 最优值函数满足的递归方程 | (T) |
| (1.5) | 时序差分更新 | \(V(s_t) \leftarrow V(s_t) + \alpha[r_t + \gamma V(s_{t+1}) - V(s_t)]\) | 强化学习中值函数的迭代更新 | (T) |
| (1.6) | 飞行员响应模型 | \(r = r_{\text{true}} + \epsilon_r\) | 含测量噪声的距离观测模型 | (E) |
注：(T)=理论推导，(E)=经验模型
术语表
| 英文术语 | 中文翻译 | 定义 |
|---|---|---|
| Agent | 代理/智能体 | 能基于环境观察做出动作的实体 |
| Environment | 环境 | 代理所处的外部系统，与代理交互并受代理动作影响 |
| Observation (\(o_t\)) | 观察 | 代理在时刻 \(t\) 获取的关于环境状态的信息 |
| Action (\(a_t\)) | 动作 | 代理在时刻 \(t\) 采取的决策行为 |
| Policy (\(\pi\)) | 策略 | 从观察到动作的映射关系 |
| Uncertainty | 不确定性 | 导致结果不可预测的各种因素 |
| TCAS | 空中交通预警与避撞系统 | 机载 collision avoidance 系统 |
| Behavioral Cloning | 行为克隆 | 通过监督学习从专家演示中学习策略 |
| Curse of Dimensionality | 维度灾难 | 问题复杂度随维度指数增长的现象 |
| Exploration-Exploitation Tradeoff | 探索-利用权衡 | 强化学习中平衡探索新动作与利用已知知识的挑战 |
| Dynamic Programming | 动态规划 | 利用最优子结构递归求解最优决策的方法 |
| Partially Observable MDP (POMDP) | 部分可观测马尔可夫决策过程 | 状态部分可观测条件下的序贯决策模型 |