跳转至

《深度学习》书籍总结

书籍元数据

  • 书名：Deep Learning
  • 作者：Ian Goodfellow, Yoshua Bengio, Aaron Courville
  • 出版社：MIT Press
  • 出版年份：2016年
  • ISBN：978-0262035613
  • 全书章节：20章
  • 三大部分：应用数学与机器学习基础（1-5章）、现代实用深度网络（6-12章）、深度学习研究（13-20章）

一、书籍主要论点与范围

《深度学习》是深度学习领域的里程碑式教科书，由三位该领域最具影响力的学者联合撰写。本书的核心论点可以概括为：深度学习通过构建层次化表示（hierarchical representation），能够从原始数据中自动学习出有用的特征表示，从而克服传统机器学习中特征工程的瓶颈问题。

本书的范围极为广泛，从基础的线性代数、概率论出发，逐步深入到深度学习的核心理论（反向传播、激活函数、损失函数）、主流架构（前馈网络、卷积网络、循环网络）、训练技术（正则化、优化算法）、再到前沿研究领域（自编码器、变分推断、生成对抗网络、蒙特卡罗方法等）。全书不仅系统介绍了各项技术的原理和公式推导，还深入讨论了不同方法之间的联系与区别，以及深度学习与其他机器学习范式（如概率图模型、核方法）的关联。

作者的核心哲学立场是："表示学习"是连接传统机器学习与人工智能的桥梁，而"深度"则是实现高效表示学习的关键途径。 这一立场贯穿全书，构成了解释一切技术选择的底层逻辑。

二、结构与组织逻辑

本书采用"三阶段递进式"结构，这一设计有其深刻的教学法考量。

第一部分：应用数学与机器学习基础（第1-5章）

这部分为全书奠定数学和概念基础。第1章引言从宏观视角厘清了人工智能、机器学习、表示学习与深度学习四者的关系，梳理了深度学习的三次发展浪潮（控制论、连接主义、深度学习）。第2章线性代数覆盖了向量空间、矩阵运算、特征分解等深度学习必备数学工具。第3章概率论介绍了概率分布、贝叶斯公式、采样方法等基础。第4章数值计算讲解了优化中的梯度下降、牛顿法、约束优化等算法。第5章机器学习基础则介绍了容量、过拟合、偏差方差权衡、估计量等核心概念。

这一部分的组织逻辑是：先修知识→概念框架→理论基础。作者假设读者具有微积分、线性代数和编程基础，但不要求机器学习背景。这种"从零开始"的安排使得本书在一定程度上具有自包含性，但考虑到篇幅限制，每章的深度相对有限，读者可能需要额外的参考资料。

第二部分：现代实用深度网络（第6-12章）

这部分聚焦于深度学习的核心技术栈。第6章深度前馈网络介绍了神经元模型、激活函数、输出单元设计、反向传播算法等基础知识。第7章正则化系统梳理了L1/L2正则化、Dropout、数据增强、批归一化等泛化技术。第8章优化方法深入讨论了SGD、动量法、Adam等优化算法及其理论基础。第9章卷积神经网络介绍了卷积运算、池化、经典架构（LeNet、AlexNet、VGG、ResNet）等。第10章循环网络讲解了RNN、BPTT、LSTM、GRU、注意力机制等序列建模技术。第11章实践方法论给出了超参数调优、训练调试、策略选择等工程建议。第12章应用概述了深度学习在计算机视觉、自然语言处理等领域的现状。

这一部分的组织逻辑是：核心概念→训练技术→主流架构→实践指南。各章之间存在紧密的依赖关系——第6章的神经网络基础是后续所有章节的前提，第8章的优化理论是理解训练过程的关键。

第三部分：深度学习研究（第13-20章）

这部分面向研究前沿，介绍尚未完全成熟的理论和技术。第13章线性因子模型讨论了PCA、因子分析、ICA、稀疏编码等基础生成模型。第14章自编码器介绍了欠完备自编码器、稀疏自编码器、去噪自编码器、变分自编码器等。第15章表示学习探讨了表示学习的一般理论、迁移学习、多任务学习等。第16章结构化概率模型系统介绍了图模型、有向与无向模型、变分推断、EM算法等。第17章蒙特卡罗方法讲解了MCMC采样、重要性采样等近似推理技术。第18章配分函数介绍了配分函数的近似计算方法。第19章近似推断讨论了变分推断、平均场、信念传播等。第20章深度生成模型全面介绍了玻尔兹曼机、DBN、GAN、VAE、自回归模型、流模型等。

这一部分的组织逻辑是：经典方法→现代发展→前沿探索。各章内容相对独立，读者可以根据兴趣选择阅读顺序，但第16-18章的图模型知识对理解第19-20章的变分推断和生成模型有重要辅助作用。

三、核心理论框架与统一方程

本书虽然涵盖内容广泛，但其核心理论框架可以概括为一个统一的学习范式：通过最小化经验风险来学习数据的层次化表示。

这一框架可以用以下数学形式统一描述：

前向传播过程（表示学习）： $$ \mathbf{h}^{(l)} = f^{(l)}\left(\mathbf{W}^{(l)}\mathbf{h}^{(l-1)} + \mathbf{b}^{(l)}\right) $$

其中 \(\mathbf{h}^{(l)}\) 是第 \(l\) 层的表示，\(f^{(l)}\) 是非线性激活函数，\(\mathbf{W}^{(l)}\) 和 \(\mathbf{b}^{(l)}\) 是该层的参数。

损失函数（目标函数）： $$ \mathcal{L}(\boldsymbol{\theta}) = \frac{1}{N}\sum_{i=1}^{N} \ell\left(f_{\boldsymbol{\theta}}(\mathbf{x}^{(i)}), \mathbf{y}^{(i)}\right) + \Omega(\boldsymbol{\theta}) $$

其中 \(\ell\) 是任务损失，\(\Omega\) 是正则化项，\(\boldsymbol{\theta} = \{\mathbf{W}^{(l)}, \mathbf{b}^{(l)}\}_{l=1}^{L}\) 是所有可学习参数。

反向传播（梯度计算）： $$ \frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(l)}} = \boldsymbol{\delta}^{(l)} \left(\mathbf{h}^{(l-1)}\right)^{\top} $$

其中 \(\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}}\) 是第 \(l\) 层的误差项，递归计算为： $$ \boldsymbol{\delta}^{(l)} = \left(\mathbf{W}^{(l+1)}\right)^{\top} \boldsymbol{\delta}^{(l+1)} \odot f^{(l)'}\left(\mathbf{z}^{(l)}\right) $$

这个框架之所以能统一全书，是因为：

  1. 它适用于所有深度学习模型：无论是卷积网络、循环网络还是自编码器，其核心都是层次化表示学习，只是网络拓扑结构和操作类型有所不同。

  2. 它体现了表示学习的核心思想：每一层都将前一层的表示转换为更抽象的表示，最终从原始数据中提取出对任务有用的特征。

  3. 它连接了优化与学习：通过反向传播算法，梯度信息能够有效地从输出层传递到输入层，使得深层网络的端到端训练成为可能。

  4. 它为正则化提供了统一视角：L2正则化、Dropout、批归一化等都可以理解为在上述框架中添加约束或修改操作，以改善泛化能力。

从更哲学的层面看，本书的核心洞察是：深度学习的"深"之所以重要，是因为它能够实现表示能力的指数级提升。 对于某些函数类，\(L\) 层网络可以用 \(O(n^L)\) 的参数复杂度表示，而浅层网络需要 \(O(n^L)\) 的参数——这是一个根本性的效率差异。

四、关键贡献

本书的多项关键贡献使其成为深度学习领域的权威参考：

1. 建立了深度学习的完整知识体系

本书首次将散落于学术论文中的深度学习知识整合为一部系统化的教科书。从基础的数学工具（线性代数、概率论、数值优化）到核心模型架构（前馈网络、卷积网络、循环网络），再到前沿研究（变分自编码器、生成对抗网络、蒙特卡罗方法），全书构成了一个自洽的知识生态系统。

2. 厘清了深度学习与其他机器学习范式的关系

作者并未将深度学习视为孤立的技术，而是将其置于更广阔的机器学习图景中加以审视。第16章的结构化概率模型、第13章的线性因子模型等章节，明确指出了深度学习与概率图模型、表示学习、生成模型之间的联系与区别。这种整合视角对于理解深度学习在整个AI领域的定位至关重要。

3. 提供了深度学习优化的系统性理论

第8章对优化算法的介绍远超一般教材的深度。从SGD的基本原理，到动量法、AdaGrad、RMSProp、Adam等自适应方法，再到牛顿法、共轭梯度法等二阶方法，以及批归一化、梯度裁剪等训练技巧，作者系统性地梳理了深度学习优化的理论脉络。这种系统性使得读者能够理解不同方法之间的内在联系，而非机械地记忆公式。

4. 深入分析了正则化与泛化问题

第7章对正则化的讨论涵盖了从经典范数惩罚（L1、L2）到现代技术（Dropout、批归一化、标签平滑）的广泛内容。作者不仅介绍了各种技术的原理，还深入分析了它们之间的联系——例如Dropout与Bagging的等价性、早期停止与L2正则化的隐式关系等。

5. 面向研究与实践的双重导向

本书的第二部分侧重工程实践，为从业者提供了可操作的建议；第三部分则聚焦研究前沿，为研究者提供了深入探索的入口。这种双重导向设计使本书能够服务于不同背景的读者。

五、优势与不足

优势：

  1. 内容全面，体系完整：全书20章覆盖了深度学习从入门到前沿的几乎所有重要主题，是目前最全面的深度学习教材之一。

  2. 数学推导严谨：作者注重从理论层面解释深度学习中的各种现象，例如通用近似定理、梯度消失/爆炸的机制、优化算法的收敛性分析等。

  3. 强调概念联系：书中频繁出现"这一技术与第X章的XXX有类似作用"的交叉引用，帮助读者建立知识网络而非孤立的知识点。

  4. 配套资源丰富：官网提供了习题、教学幻灯片、勘误表等辅助材料，便于教学使用。

  5. 作者权威性：三位作者均为深度学习领域的开创性贡献者，Goodfellow是GAN的发明者，Bengio是深度学习先驱，Courville在概率模型方面有深厚造诣。

不足：

  1. 出版时间与领域发展的错位：本书出版于2016年，距今已有近十年。深度学习领域发展迅猛，Transformer（2017）、BERT（2018）、GPT系列等重要模型均未在书中体现。对于想了解最新进展的读者，本书内容存在明显滞后。

  2. 第一部分深度有限：考虑到全书规模，作者对线性代数、概率论等基础知识的介绍相对简略。对于数学基础较弱的读者，可能需要额外的参考资料。

  3. 部分章节深度不均：第二部分的技术介绍较为详细，而第三部分某些章节（如第17、18章）的内容相对浓缩，可能难以满足深入研究的需求。

  4. 缺乏代码实现：本书是一本理论导向的教材，缺乏配套的代码实现。相比之下，某些其他深度学习教材（如fast.ai的课程）更注重实践。

  5. 部分内容略显过时：书中介绍的一些技术（如Batch Normalization的一些分析、某些优化策略）在后续研究中被证明不够准确或已被更好的方法取代。

六、目标读者

本书的主要目标读者包括：

1. 研究生和高级本科生：作为深度学习课程的教材或参考书，本书适合已经具备一定数学基础（微积分、线性代数、概率论）的学生。

2. 研究人员和工程师：对于希望系统性地理解深度学习理论的研究者，或希望深入理解模型原理的工程师，本书提供了丰富的理论内容和工程洞见。

3. 自学者：对于具有较强数学背景和自学能力的个人，本书可以作为深度学习的系统性学习资源。但需要注意的是，读者可能需要补充阅读其他资料（如补充线性代数、概率编程等）。

不适合的读者：完全没有数学背景的初学者、只需要快速上手深度学习框架的实践者、以及只关心最新SOTA模型的追踪者。

七与竞争书籍的比较

vs. 《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》（Aurélien Géron, 2019）

Géron的书更侧重实践，强调通过代码实现来理解深度学习。相比之下，本书更注重理论推导和概念理解。两书可以互补使用：先通过Géron的书建立直觉和编码能力，再通过本书深化理论理解。

vs. 《Neural Networks and Deep Learning》（Michael Nielsen, 2015）

Nielsen的书是一本在线免费书籍，内容相对基础，适合入门。本书的深度和广度远超Nielsen的书，更适合系统学习。

vs. 《Machine Learning Yearning》（Andrew Ng, 2018）

Ng的书专注于深度学习实践策略（如训练策略、超参数调优），内容精炼但覆盖面有限。本书的范围更广，涵盖了从理论到实践的完整知识体系。

vs. 《Pattern Recognition and Machine Learning》（Christopher Bishop, 2006）

Bishop的书侧重概率图模型和传统机器学习，与本书的深度学习导向不同。两书在图模型部分有一定重叠，读者可以根据兴趣选择。

vs. 《Elements of Statistical Learning》（Hastie, Tibshirani, Friedman, 2009）

ESL是统计学习领域的经典之作，侧重传统机器学习理论。本书则专注于深度学习，适合对深度学习有特定兴趣的读者。

总体而言，本书在深度学习教材领域的地位相当于ESL在传统机器学习领域的地位——是各自领域的权威参考书。

八、总体评分与推荐

评分：★★★★☆（4/5）

推荐理由：

  1. 本书是深度学习领域最系统、最全面的教材之一，内容经过精心组织和编写。

  2. 三位作者均为该领域的顶尖学者，内容的权威性无可置疑。

  3. 书中强调概念联系和方法比较，有助于读者建立完整的知识体系。

  4. 对于希望深入理解深度学习原理的读者，本书是不可替代的资源。

不推荐或保留意见的情况：

  1. 如果你只需要快速上手深度学习框架，本书的理论深度可能不必要。

  2. 如果你关注的是最新模型进展（如Transformer架构、大语言模型），本书的内容会显得过时。

  3. 如果你缺乏扎实的数学基础，阅读本书可能会遇到较大困难。

阅读建议：

  • 对于课堂学习：按顺序阅读，但可以跳过某些过于详细的推导。
  • 对于自学：建议配合代码实现（如PyTorch官方教程）一起学习。
  • 对于研究者：重点阅读第三部分（研究前沿）和第8章（优化理论）。
  • 对于工程师：重点阅读第二部分（实践技术）和第11章（方法论）。

九、跨章节联系

本书各章节之间存在丰富的内在联系，理解这些联系有助于建立完整的知识网络。以下是主要的几条跨章节脉络：

1. 正向传播↔反向传播↔优化（6→8→7）

第6章介绍的深度前馈网络的前向传播和反向传播算法构成了整个深度学习的计算基础。第8章的优化方法研究如何高效地计算和应用这些梯度来更新参数。第7章的正则化技术则讨论如何在优化过程中引入约束以改善泛化能力。这三章构成了"训练神经网络"的完整闭环：前向计算损失→反向传播梯度→优化器更新参数→正则化约束优化。

2. 线性因子模型→自编码器→变分自编码器（13→14→20）

第13章的线性因子模型（PPCA、因子分析、ICA、稀疏编码）展示了最简单的表示学习模型。第14章将这些思想扩展到非线性自编码器（欠完备、稀疏、去噪、收缩），并进一步引出变分自编码器。第20章的深度生成模型章节则系统介绍了VAE的完整理论，并与其他生成模型（GAN、自回归模型、流模型）进行比较。这一脉络展示了表示学习和生成模型从线性到非线性、从确定到随机的发展轨迹。

3. 结构化概率模型→蒙特卡罗方法→近似推断→深度生成模型（16→17→19→20）

第16章建立的结构化概率模型（图模型、贝叶斯网络、马尔可夫随机场）为后续章节提供了统一的概率框架。第17章的蒙特卡罗方法提供了从复杂分布中采样的技术。第19章的近似推断（变分推断、平均场、信念传播）则讨论如何近似计算难以后验分布。最后，第20章将这些技术应用于深度生成模型（VAE、GAN等），展示了概率框架与深度学习的深度融合。

4. 卷积网络↔循环网络→注意力机制（9→10→20）

第9章的卷积网络和第10章的循环网络分别处理空间数据和序列数据，两者都体现了"局部连接+参数共享"的设计原则。第10章末尾介绍的注意力机制打破了卷积和循环的界限，开启了Transformer架构的新纪元（虽然Transformer本身未在书中出现，但其思想萌芽已有体现）。第20章的自回归模型和生成模型部分进一步展示了这些架构在生成任务中的应用。

5. 正则化→优化→实践方法论（7→8→11）

第7章的各种正则化技术（Dropout、批归一化、数据增强）通过修改损失函数或网络结构来改善泛化。第8章的优化理论分析了不同优化算法的收敛性质和适用场景。第11章的实践方法论则将这些理论洞见转化为具体的工程建议（如何诊断训练问题、如何选择超参数等）。这条脉络体现了从理论到实践的完整链条。

6. 机器学习基础→表示学习→深度学习（5→15→1/6）

第5章的机器学习基础（偏差方差、过拟合、交叉验证）提供了评估和比较模型的基本框架。第15章的表示学习则专门讨论如何学习有用的数据表示，这是深度学习的核心优势。第1章引言和第6章的前馈网络则将这些思想具体化为深度学习的层次化表示范式。

7. 线性代数→概率论→数值计算→机器学习基础（2→3→4→5）

第一部分的四章形成了传统机器学习的理论根基。线性代数提供了表示数据的数学语言，概率论提供了不确定性建模的理论框架，数值计算提供了优化算法的实现基础，机器学习基础则整合前两者形成完整的学习范式。这四章是理解后续深度学习内容的必要前提。

十、术语表（English→中文→定义）

英文术语 中文术语 定义
Activation Function 激活函数 将神经元净输入转换为输出的非线性函数，如ReLU、Sigmoid、Tanh等，为网络引入非线性能力
Autoencoder 自编码器 一种无监督学习模型，由编码器和解码器组成，目标是将输入重构为输出，常用于降维和表示学习
Backpropagation 反向传播 利用链式法则计算神经网络损失函数对参数的梯度的算法，是深度学习训练的核心技术
Batch Normalization 批归一化 在每个mini-batch上对层的输入进行归一化的技术，可加速训练并提供正则化效果
Bayesian Network 贝叶斯网络 使用有向无环图表示随机变量条件独立性的概率图模型
Bias-Variance Tradeoff 偏差-方差权衡 模型复杂度增加时偏差减小但方差增大，两者此消彼长的关系
Boltzmann Machine 玻尔兹曼机 一种基于能量函数定义概率分布的无向图模型，是早期神经网络的重要变体
Convolutional Neural Network (CNN) 卷积神经网络 使用卷积运算处理网格状数据（如图像）的神经网络，通过局部连接和权重共享减少参数
Cross-Entropy 交叉熵 两个概率分布差异的度量，常作为分类问题的损失函数
D-Separation D-分离 有向图中判定条件独立性的图论方法
Deep Belief Network (DBN) 深度置信网络 由多个受限玻尔兹曼机堆叠而成的混合模型，使用贪心逐层预训练
Dropout Dropout 训练时随机丢弃部分神经元的正则化技术，可防止过拟合
ELBO 证据下界 变分推断中用于近似对数似然的目标函数
Embedding 嵌入 将离散符号映射为连续向量的表示学习方法
Expectation-Maximization (EM) 期望最大化 含隐变量模型参数估计的经典迭代算法
Feature Engineering 特征工程 人工设计数据特征的过程，深度学习旨在自动学习特征
Feedforward Neural Network 前馈神经网络 信息单向流动的网络架构，不含循环连接
Fisher Information Matrix Fisher信息矩阵 参数空间黎曼几何的核心度量，描述概率分布曲率
GAN (Generative Adversarial Network) 生成对抗网络 由生成器和判别器组成的对抗训练生成模型框架
Gated Recurrent Unit (GRU) 门控循环单元 一种简化的门控RNN变体，仅使用两个门
Gradient Clipping 梯度裁剪 防止梯度爆炸的技术，通过缩放超阈值梯度
Gradient Descent 梯度下降 利用梯度信息迭代更新参数以最小化目标函数的优化方法
Graphical Model 图模型 使用图表示变量条件独立性的概率模型
Hebbian Learning Hebbian学习 "一起放电的神经元会一起连接"的学习规则
Hidden Layer 隐藏层 输入层和输出层之间的中间层，用于学习表示
Hierarchical Representation 层次化表示 通过多层堆叠逐步提取更抽象特征的数据表示方式
Hyperparameter 超参数 在训练前设置的参数（如学习率、网络深度），不通过数据学习
Internal Covariate Shift 内部协变量偏移 深度网络中层输入分布随训练变化的现象
KL Divergence KL散度 两个概率分布差异的非对称度量
Learning Rate 学习率 梯度下降中参数更新的步长系数
Linear Factor Model 线性因子模型 假设数据由线性变换和噪声生成的潜变量模型
Long Short-Term Memory (LSTM) 长短期记忆网络 带门控机制的循环网络，可有效捕捉长期依赖
Loss Function 损失函数 衡量模型预测与真实值差距的函数，训练目标是最小化它
Markov Random Field (MRF) 马尔可夫随机场 无向图模型，使用势函数和配分函数定义概率分布
Maximum Likelihood Estimation 最大似然估计 寻找使观测数据概率最大的参数估计方法
Mean Field 平均场 变分推断中假设近似分布完全因式分解的方法
Monte Carlo Method 蒙特卡罗方法 通过随机采样近似计算难以精确求解的数学问题
Multi-Task Learning 多任务学习 同时学习多个相关任务以改善泛化能力的学习范式
Natural Gradient 自然梯度 在黎曼流形上考虑参数空间几何结构的梯度方向
Neural Network 神经网络 受生物神经元启发的由人工神经元组成的计算模型
Optimization 优化 寻找使目标函数最小化（或最大化）的参数配置
Overfitting 过拟合 模型在训练数据上表现良好但在新数据上泛化能力差的现象
Partition Function 配分函数 概率分布的归一化常数，计算往往是 intractable 的
Perceptron 感知机 最早的单层线性分类器，是神经网络的前身
Pooling 池化 对特征图进行空间降采样的操作，如最大池化、平均池化
Probabilistic PCA 概率PCA PCA的概率扩展，可处理缺失数据并进行贝叶斯推断
Reconstruction Error 重构误差 自编码器输出与输入之间的差异
Recurrent Neural Network (RNN) 循环神经网络 具有状态记忆能力的神经网络，可处理序列数据
Regularization 正则化 防止过拟合、提高泛化能力的技术总称
Representation Learning 表示学习 自动学习数据有效表示的学习范式
Residual Connection 残差连接 跨层 shortcut 连接，可缓解深层网络的梯度消失问题
Restricted Boltzmann Machine (RBM) 受限玻尔兹曼机 层内无连接的二分图玻尔兹曼机，训练相对高效
Softmax Softmax 将实数向量转换为概率分布的函数，常用于多分类输出
Sparse Coding 稀疏编码 假设数据可表示为少数原子的线性组合的模型
Stochastic Gradient Descent (SGD) 随机梯度下降 使用单个或少量样本估计梯度进行参数更新的优化方法
Structured Probabilistic Model 结构化概率模型 利用变量条件独立性简化概率分布表示的模型
Transfer Learning 迁移学习 将一个任务上学到的知识应用到另一个相关任务的技术
Undercomplete Autoencoder 欠完备自编码器 潜在维度小于输入维度的自编码器，强制学习压缩表示
Universal Approximation Theorem 通用近似定理 神经网络可以任意精度逼近任意连续函数的理论保证
VAE (Variational Autoencoder) 变分自编码器 结合变分推断和自编码器的生成模型
Variational Inference 变分推断 通过优化近似分布来推断后验分布的贝叶斯方法
Weight Decay 权重衰减 即L2正则化，通过惩罚大的权重防止过拟合

结语

《深度学习》是一部里程碑式的教科书，它系统性地整合了深度学习领域的知识体系，为研究者和学习者提供了不可替代的参考资源。尽管出版于2016年的它未能涵盖近年来的若干重大进展（如Transformer架构的崛起、大语言模型的革命），但其核心理论框架、概念体系和思维方法仍然具有持久的价值。

本书的阅读需要一定的数学基础和学习投入，但回报是建立一个完整的深度学习知识框架。对于希望在这一领域深入发展的读者，《深度学习》应当是不可绕过的重要读物。

本书总结基于《Deep Learning》(Ian Goodfellow, Yoshua Bengio, Aaron Courville, MIT Press, 2016) 编写，参考了同目录下全部20章的章节笔记。

附录：核心公式汇总

下表整理了《深度学习》一书中各章节最核心的公式，统一编号为书籍级别：

编号 名称 公式 物理意义 章节
(1.1) M-P神经元模型 \(y = f(\mathbf{w}^\top \mathbf{x} + b)\) 线性加权与非线性激活的组合 Ch1
(2.1) 矩阵乘法 \((\mathbf{A}\mathbf{B})_{ij} = \sum_k A_{ik}B_{kj}\) 线性变换的矩阵表示 Ch2
(3.1) 贝叶斯规则 $p(\mathbf{h} \mathbf{x}) = \frac{p(\mathbf{x} \mathbf{h})p(\mathbf{h})}{p(\mathbf{x})}$
(4.1) 梯度下降 \(\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \alpha \nabla L(\boldsymbol{\theta}_t)\) 沿负梯度方向迭代优化 Ch4
(5.1) 偏差-方差分解 \(\text{MSE} = \text{Bias}^2 + \text{Variance} + \sigma^2\) 期望误差的理论分解 Ch5
(6.1) Sigmoid激活 \(\sigma(x) = \frac{1}{1+e^{-x}}\) 将实数映射到(0,1)区间 Ch6
(7.1) L2正则化 \(L_{\text{reg}} = L + \frac{\lambda}{2}\|\boldsymbol{\theta}\|_2^2\) 权重衰减防止过拟合 Ch7
(8.1) Adam更新 \(\mathbf{m}_t = \beta_1 \mathbf{m}_{t-1}+(1-\beta_1)\mathbf{g}_t\) 自适应学习率估计 Ch8
(9.1) 卷积运算 \(y_{i,j} = \sum_m \sum_n x_{i+m,j+n} k_{m,n}\) 滤波器在特征图上的滑动加权 Ch9
(10.1) RNN前向传播 \(\mathbf{h}_t = f(\mathbf{W}\mathbf{h}_{t-1} + \mathbf{U}\mathbf{x}_t + \mathbf{b})\) 循环隐藏状态的递归更新 Ch10
(11.1) F1分数 \(F_1 = \frac{2PR}{P+R}\) 精确率与召回率的调和平均 Ch11
(13.1) 线性因子模型 $p(\mathbf{x} \mathbf{h}) = \mathcal{N}(\mathbf{W}\mathbf{h}+\mathbf{b},\sigma^2\mathbf{I})$ 隐变量生成模型的一般形式
(14.1) 自编码器重构损失 \(L = \|\mathbf{x} - D(E(\mathbf{x}))\|^2\) 输入与重构之间的误差 Ch14
(15.1) KL散度 \(D_{\text{KL}}(p\|q) = \sum_x p(x)\log\frac{p(x)}{q(x)}\) 两个分布的差异量度 Ch15
(16.1) 联合分布分解 $p(\mathbf{x}) = \prod_i p(x_i \text{Pa}(x_i))$ 有向图模型的因子分解
(17.1) 重要性采样权重 \(w^{(i)} = \frac{p(\mathbf{x}^{(i)})}{q(\mathbf{x}^{(i)})}\) 目标分布与提议分布的比率 Ch17
(18.1) 对比散度梯度 \(\nabla_\theta \log Z = \mathbb{E}_p[\nabla_\theta \tilde{p}] - \mathbb{E}_q[\nabla_\theta q]\) 配分函数梯度的近似估计 Ch18
(19.1) 证据下界(ELBO) $\mathcal{L} = \mathbb{E}_q[\log p(\mathbf{x} \mathbf{h})] - D_{\text{KL}}(q(\mathbf{h} \mathbf{x})|p(\mathbf{h}))$
(20.1) GAN对抗损失 $\min_G \max_D V(D,G) = \mathbb{E}{\mathbf{x}\sim p)))]}}}[\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z}\sim p_z}[\log(1-D(G(\mathbf{z 生成器与判别器的极小极大博弈 Ch20

注：（T）= 理论推导，（E）= 经验公式