第三章：概率与信息论
章节概述
本章是深度学习数学基础的重要章节，系统性地介绍了概率论与信息论的核心概念。概率论作为描述不确定性的数学语言，是现代机器学习和深度学习理论的基石；而信息论则提供了量化信息的统一框架，在模型压缩、变分推断、决策树等众多领域发挥关键作用。
本章首先从频率学派与贝叶斯学派两种视角出发，探讨概率的本质含义；随后引入随机变量的概念，分别讨论离散型和连续型随机变量；接着详细介绍各种重要的概率分布，包括伯努利分布、多努利分布（categorical分布）、高斯分布、指数分布、拉普拉斯分布和狄拉克分布；在此基础上，阐述边缘概率、条件概率、贝叶斯规则以及独立性等概率论核心概念；然后讨论随机变量的数字特征——期望、方差和协方差；最后引入信息论基础，包括香农熵、KL散度和交叉熵，并探讨这些概念与机器学习的深层联系。
本章内容为后续章节中涉及的模型正则化、概率图模型、变分自编码器、生成模型等主题提供了必要的数学基础。理解本章内容对于掌握深度学习的理论基础至关重要。
第一节：概率的两种诠释——频率学派与贝叶斯学派
1.1 概率的哲学基础
概率论的核心问题在于如何理解和解释"概率"这一概念。在科学史和哲学史上，关于概率本质的争论从未停止，最终形成了两种主要流派：频率学派（frequentist）和贝叶斯学派（Bayesian）。
频率学派认为，概率描述的是在大量重复试验中某事件发生的相对频率。以掷硬币为例，当我们说"硬币正面朝上的概率为0.5"，其含义是如果我们重复掷硬币无数次，正面朝上的次数将趋近于总次数的50%。在这种诠释下，概率是一个客观的物理量，反映了事物本身的内在属性。频率学派强调概率的客观性和可观测性，只有能够在重复实验中验证的事件才有概率可言。
贝叶斯学派则采取了截然不同的视角。他们认为概率本质上是人对某事件发生信念程度的主观度量。按照这种观点，"硬币正面朝上的概率为0.5"意味着我们对硬币下次掷出正面的信任程度是50%。贝叶斯学派强调概率的主观性和认知性，同一个事件在不同观察者眼中可能具有不同的概率。这种诠释使得概率论可以应用于那些无法重复的独特事件，如"明天北京下雨的概率"或"某个科学假说为真的概率"。
1.2 两种方法论的实践对比
在机器学习实践中，两种观点各有其适用场景和优势。频率学派方法通常具有更好的数学性质，其点估计具有一致性和渐近正态性，计算上也往往较为简单。最大似然估计（MLE）就是频率学派方法的典型代表，它通过最大化观测数据的似然函数来估计模型参数。频率学派方法在样本量较大时表现稳定，是统计学习理论的主要支柱。
贝叶斯学派方法则提供了更加完整的推理框架。通过为参数引入先验分布，并利用贝叶斯规则计算后验分布，贝叶斯方法能够自然地融合先验知识和观测数据。在小样本场景下，适当选择的先验分布可以有效防止过拟合。贝叶斯方法还能够提供参数的不确定性量化，这对于决策制定和模型解释具有重要价值。变分推断和贝叶斯神经网络正是贝叶斯思想在深度学习中的重要应用。
值得注意的是，在深度学习时代，两种方法的界限正在逐渐模糊。许多现代方法采用了一种务实的方法论：使用频率学派的最大似然估计或经验风险最小化进行参数学习，同时引入贝叶斯方法中的正则化技术（如权重衰减）来控制模型复杂度。这种混合策略既利用了频率学派方法的计算效率，又借鉴了贝叶斯思想的正则化优势。
第二节：随机变量——离散型与连续型
2.1 随机变量的定义
随机变量（random variable）是概率论的核心概念，它是从样本空间到实数集的映射。设有一个概率实验，其样本空间为 \(\Omega\)，则随机变量 \(X\) 是定义在 \(\Omega\) 上的实值函数：\(X: \Omega \rightarrow \mathbb{R}\)。随机变量将随机事件的结果数量化，使得我们能够使用微积分等数学工具来研究概率问题。
根据取值方式的不同，随机变量分为离散型和连续型两大类。这一分类方式在机器学习中具有重要意义，因为它直接决定了我们如何对数据进行建模。
2.2 离散型随机变量
离散型随机变量（discrete random variable）只能取有限个或可数无限个孤立的值。对于离散型随机变量，我们使用概率质量函数（Probability Mass Function，PMF）来描述其概率分布。设随机变量 \(X\) 的可能取值为 \(\\{x_1, x_2, x_3, \ldots\\}\)，则其概率质量函数 \(p(x)\) 满足以下性质：
- 对于所有可能的取值 \(x\)，有 \(p(x) \geq 0\)；
- 所有取值的概率之和等于1，即 \(\sum_x p(x) = 1\)。
常见的离散型分布包括伯努利分布、二项分布、泊松分布等。在机器学习中，离散型随机变量广泛用于描述分类问题中的类别标签、文本处理中的词频统计、以及强化学习中的离散动作等。
2.3 连续型随机变量
连续型随机变量（continuous random variable）可以在某个区间内取任意值。与离散型不同，连续型随机变量取任何一个特定值的概率均为零，因此我们使用概率密度函数（Probability Density Function，PDF）来描述其分布。概率密度函数 \(p(x)\) 满足以下性质：
- 对于所有 \(x\)，有 \(p(x) \geq 0\)；
- 概率密度函数在整个实数轴上的积分等于1，即 \(\int_{-\infty}^{+\infty} p(x) \, dx = 1\)。
需要特别强调的是，概率密度函数在某点的函数值并不代表该点的概率，而是表示概率在该点的"密集程度"。对于连续型随机变量 \(X\)，它落在区间 \([a, b]\) 的概率为 \(\int_a^b p(x) \, dx\)。
高斯分布、指数分布、拉普拉斯分布等都是连续型分布的典型代表。在深度学习中，神经网络的权重和偏置通常被建模为连续型随机变量，网络输出也往往假设为连续型分布。
第三节：重要概率分布详解
3.1 伯努利分布（Bernoulli Distribution）
伯努利分布是最简单的离散分布，描述单次只有两种可能结果的随机试验。设试验成功的概率为 \(\phi \in [0, 1]\)，则伯努利分布的概率质量函数为：
其中 \(x \in \\{0, 1\\}\)。伯努利分布的期望为 \(\mathbb{E}[X] = \phi\)，方差为 \(\text{Var}(X) = \phi(1-\phi)\)。当 \(\phi = 0.5\) 时，伯努利分布退化为对称分布，方差达到最大值0.25。
伯努利分布在机器学习中应用广泛：它可用于建模二元分类问题的标签分布、描述神经元的激活状态（激活或不激活）、以及作为更复杂分布的基本构建模块。
3.2 多努利分布（Multinoulli Distribution）
多努利分布（也称categorical分布或哑编码分布）是伯努利分布的自然推广，用于描述具有 \(k\) 个可能取值的离散型随机变量。设随机变量 \(X\) 可能取值为 \(\\{1, 2, \ldots, k\\}\)，对应的概率参数为 \(\boldsymbol{\phi} = (\phi_1, \phi_2, \ldots, \phi_k)\)，且满足 \(\phi_i \geq 0\) 和 \(\sum_{i=1}^k \phi_i = 1\)，则多努利分布的概率质量函数为：
其中 \(\mathbb{1}(\cdot)\) 是指示函数，当条件成立时取1，否则取0。
多努利分布在机器学习中极为重要：它直接对应于多分类问题中每个类别的预测概率、文本生成模型中词汇表上的词语分布、以及变分自编码器中离散潜在变量的先验分布。
3.3 高斯分布（Gaussian Distribution）
高斯分布（也称正态分布，Normal Distribution）是概率论中最重要的连续分布。在一维情况下，高斯分布的概率密度函数为：
其中 \(\mu\) 是均值参数，\(\sigma^2\) 是方差参数。高斯分布的期望为 \(\mathbb{E}[X] = \mu\)，方差为 \(\text{Var}(X) = \sigma^2\)。
高斯分布在理论和应用中都占据核心地位，这主要归因于以下几个原因：第一，中心极限定理表明，大量独立同分布随机变量的和近似服从高斯分布，这使得高斯分布在自然界和工程实践中普遍存在；第二，高斯分布具有数学上的便利性，其概率密度函数只涉及初等函数的组合，便于解析计算；第三，高斯分布是对给定均值和方差情况下熵最大的连续分布，这一最大熵性质使其成为最"自然"的先验选择。
在深度学习中，高斯分布被广泛用于权重初始化、回归问题的噪声建模、变分推断中的近似后验分布等场景。多维高斯分布的协方差矩阵还可以进一步参数化为对角矩阵或低秩矩阵，以平衡表达能力和计算效率。
3.4 指数分布（Exponential Distribution）
指数分布是描述事件间隔时间的经典分布，在可靠性分析和排队论中应用广泛。指数分布的概率密度函数为：
其中 \(\lambda > 0\) 是率参数（rate parameter）。指数分布的期望为 \(\mathbb{E}[X] = \frac{1}{\lambda}\)，方差为 \(\text{Var}(X) = \frac{1}{\lambda^2}\)。
指数分布具有无记忆性（memoryless property），即对于任意 \(s, t \geq 0\)，有 \(P(X > s + t \mid X > s) = P(X > t)\)。这一性质使得指数分布在建模"等待时间"类问题时特别有用。
在机器学习中，指数分布常用于构建非负值的先验分布，例如在稀疏编码中描述系数的先验、在强化学习中描述奖励的时间衰减等。
3.5 拉普拉斯分布（Laplace Distribution）
拉普拉斯分布（也称双指数分布）是一种细长尾分布，比高斯分布具有更重的尾部。其概率密度函数为：
其中 \(\mu\) 是位置参数（location parameter），\(\gamma > 0\) 是尺度参数（scale parameter）。拉普拉斯分布的期望为 \(\mathbb{E}[X] = \mu\)，方差为 \(\text{Var}(X) = 2\gamma^2\)。
拉普拉斯分布在深度学习中有重要应用：由于其稀疏性先验特性，它被用于构建稀疏回归模型和自编码器的正则项。相比于高斯先验，拉普拉斯先验更能产生稀疏解，这在大规模特征选择和压缩感知中具有重要价值。
3.6 狄拉克分布（Dirac Distribution）
狄拉克分布（也称退化分布）是一种极端的连续分布，其全部概率质量集中在一个点上。从数学上看，狄拉克分布可以视为一个概率密度函数：
其中 \(\delta(\cdot)\) 是狄拉克 delta 函数。狄拉克 delta 函数不是严格意义上的函数，而是一个广义函数，其定义为：对于任何光滑函数 \(f(x)\)，有 \(\int_{-\infty}^{+\infty} \delta(x) f(x) \, dx = f(0)\)。
狄拉克分布的期望为 \(\mathbb{E}[X] = \mu\)，方差为零。在机器学习中，狄拉克分布常用于确定性的点估计，如最大似然估计的结果就是参数的狄拉克分布。神经网络在训练完成后的权重，如果不再进行贝叶斯平均，就可以视为狄拉克分布的采样。
第四节：概率论基础运算——边缘概率、条件概率与贝叶斯规则
4.1 联合概率与边缘概率
在实际问题中，我们往往需要同时考虑多个随机变量。设有两个随机变量 \(X\) 和 \(Y\)，它们的联合概率分布（joint probability distribution）描述了两个变量同时取值的概率。对于离散型变量，联合概率质量函数满足 \(p(x, y) \geq 0\) 和 \(\sum_x \sum_y p(x, y) = 1\)；对于连续型变量，联合概率密度函数满足 \(p(x, y) \geq 0\) 和 \(\int \int p(x, y) \, dx \, dy = 1\)。
边缘概率（marginal probability）是从联合分布中"消去"某些变量后得到的概率分布。根据概率的加法规则（sum rule），我们有：
-
离散型变量的边缘概率： $$ p(x) = \sum_y p(x, y) $$
-
连续型变量的边缘概率： $$ p(x) = \int p(x, y) \, dy $$
边缘概率的命名源于历史：当将联合分布的表格中每行的概率相加时，这些和会写在表格的边缘位置。
4.2 条件概率
条件概率（conditional probability）描述了在已知某个事件发生的条件下，另一事件发生的概率。设 \(X\) 和 \(Y\) 是两个随机变量，在已知 \(Y = y\) 的条件下，\(X = x\) 的条件概率为：
前提是 \(P(Y = y) > 0\)。条件概率的质量函数或密度函数同样满足非负性和归一性。
条件概率在机器学习中具有核心地位：它构成了监督学习、因果推断和强化学习等众多方法的数学基础。例如，在分类问题中，我们建模的是条件概率分布 \(P(Y \mid X)\)，即给定输入特征 \(X\) 的条件下输出类别 \(Y\) 的分布。
4.3 贝叶斯规则
贝叶斯规则（Bayes' rule）是概率论中最重要的公式之一，它建立了先验概率和后验概率之间的桥梁：
其中：\(P(Y = y)\) 是先验概率（prior probability），反映了在观测到 \(X\) 之前我们对 \(Y\) 的信念；\(P(X = x \mid Y = y)\) 是似然函数（likelihood），描述了当 \(Y = y\) 时观察到 \(X = x\) 的概率；\(P(Y = y \mid X = x)\) 是后验概率（posterior probability），表示观测到 \(X\) 之后对 \(Y\) 的更新信念；\(P(X = x)\) 是证据（evidence），起到归一化常数的作用。
贝叶斯规则的分母可以展开为： $$ P(X = x) = \sum_y P(X = x \mid Y = y) P(Y = y) $$
在机器学习中，贝叶斯规则是贝叶斯推断的核心。无论是朴素贝叶斯分类器、贝叶斯神经网络还是变分自编码器，都建立在贝叶斯规则的基础之上。贝叶斯方法能够自然地融合先验知识和观测数据，并提供对不确定性的量化表示。
4.4 独立性
独立性（independence）是概率论中的另一个核心概念。如果两个随机变量 \(X\) 和 \(Y\) 满足：
则称 \(X\) 和 \(Y\) 是相互独立的。独立性意味着知道其中一个变量的取值不会改变对另一个变量分布的判断，即：
条件独立性（conditional independence）是独立性的自然推广。如果在给定 \(Z\) 的条件下，\(X\) 和 \(Y\) 满足：
则称 \(X\) 和 \(Y\) 在给定 \(Z\) 的条件下相互独立。条件独立性在概率图模型中具有重要作用，它使得复杂的高维分布可以分解为多个局部因子的乘积，从而大大简化了推理和学习的计算复杂度。
第五节：随机变量的数字特征——期望、方差与协方差
5.1 期望值
期望值（expectation）是随机变量最基本的数字特征，描述了随机变量的"平均水平"。对于离散型随机变量 \(X\)，其函数 \(f(X)\) 的期望定义为：
对于连续型随机变量 \(X\)，其函数 \(f(X)\) 的期望定义为：
期望算子具有线性性质：对于任意随机变量 \(X\) 和 \(Y\)，以及常数 \(a\) 和 \(b\)，有：
这一性质在机器学习的梯度计算中非常重要，因为它允许我们在某些条件下交换期望和求导的顺序。
5.2 方差
方差（variance）描述了随机变量围绕其期望的离散程度。对于随机变量 \(X\)，其方差定义为：
方差的平方根称为标准差（standard deviation），记为 \(\sigma = \sqrt{\text{Var}(X)}\)。标准差与随机变量本身具有相同的量纲，在实际应用中更为直观。
方差衡量的是随机变量取值的"波动大小"。在机器学习中，方差与模型的过拟合风险密切相关：方差较大的模型对训练数据的特定采样过于敏感，泛化能力较差。正则化技术（如权重衰减）的目的之一就是降低模型的方差。
5.3 协方差
协方差（covariance）描述了两个随机变量之间的线性相关性。对于两个随机变量 \(X\) 和 \(Y\)，它们的协方差定义为：
当 \(\text{Cov}(X, Y) > 0\) 时，两个变量倾向于同向变化；当 \(\text{Cov}(X, Y) < 0\) 时，两个变量倾向于反向变化；当 \(\text{Cov}(X, Y) = 0\) 时，两个变量之间不存在线性相关性（但可能存在非线性关系）。
需要注意的是，协方差为零不能推出两个变量相互独立，只能说明它们之间没有线性相关。只有当两个变量联合服从正态分布时，协方差为零才等价于独立性。
在深度学习中，协方差矩阵具有重要应用。对于 \(n\) 维随机向量 \(\mathbf{x} = (x_1, x_2, \ldots, x_n)^\top\)，其协方差矩阵 \(\Sigma\) 的第 \((i, j)\) 元素为 \(\text{Cov}(x_i, x_j)\)。协方差矩阵是对称半正定矩阵，其特征值分解在主成分分析（PCA）和线性判别分析（LDA）等降维方法中具有核心地位。
5.4 相关系数
相关系数（correlation coefficient）是协方差的归一化版本，消除了变量尺度的影响。对于两个随机变量 \(X\) 和 \(Y\)，它们的皮尔逊相关系数定义为：
相关系数 \(\rho\) 的取值范围为 \([-1, 1]\)。当 \(\rho = 1\) 时，两变量完全正相关；当 \(\rho = -1\) 时，两变量完全负相关；当 \(\rho = 0\) 时，两变量线性无关。相关系数只衡量变量之间的线性关系强度，对于非线性关系可能无法准确反映。
第六节：信息论基础——熵、KL散度与交叉熵
6.1 香农熵
香农熵（Shannon entropy）是信息论的核心概念，量化了随机变量不确定性的大小。对于离散型随机变量 \(X\)，其香农熵定义为：
约定 \(0 \log 0 = 0\)，因为 \(\lim_{p \to 0^+} p \log p = 0\)。对数的底数决定了熵的单位：当使用 \(\log_2\) 时，熵的单位为比特（bit）；当使用自然对数 \(\ln\) 时，熵的单位为奈特（nat）。在深度学习框架中，通常使用自然对数。
熵具有以下重要性质：第一，熵是非负的，\(H(X) \geq 0\)；第二，当 \(X\) 服从均匀分布时熵最大，即均匀分布是确定性最低的分布；第三，熵满足链式法则：\(H(X, Y) = H(X) + H(Y \mid X)\)，其中 \(H(Y \mid X) = \sum_x p(x) H(Y \mid X = x)\) 是条件熵。
从信息论的角度看，熵表示观察随机变量 \(X\) 的值所获得的平均信息量。不确定性越大的随机变量，其熵越高，包含的信息越多。这一观点为机器学习中的许多算法提供了理论基础：学习的目标就是减少不确定性，增加关于数据的信息。
6.2 KL散度
KL散度（Kullback-Leibler divergence，也称相对熵）衡量了两个概率分布之间的差异。对于两个概率分布 \(P(x)\) 和 \(Q(x)\)，它们的KL散度定义为：
KL散度不是真正的距离度量，因为它不满足对称性：\(D_{\text{KL}}(P \| Q) \neq D_{\text{KL}}(Q \| P)\)。尽管如此，KL散度仍然是非负的，当且仅当 \(P = Q\) 时为零。
在机器学习中，KL散度有广泛的应用。在变分自编码器（VAE）中，我们使用KL散度来正则化潜在变量的后验分布，使其接近先验分布；在强化学习中的策略优化，算法的目标通常涉及 KL 散度来限制策略更新的幅度；在贝叶斯推断中，KL散度用于度量近似后验与真实后验之间的差异。
6.3 交叉熵
交叉熵（cross-entropy）与KL散度密切相关，定义为：
其中 \(H(P)\) 是分布 \(P\) 的熵，\(D_{\text{KL}}(P \| Q)\) 是KL散度。
由于 \(H(P)\) 对于给定的 \(P\) 是常数，最小化交叉熵 \(H(P, Q)\) 等价于最小化KL散度 \(D_{\text{KL}}(P \| Q)\)。这一事实在机器学习中非常重要：许多学习算法（如逻辑回归、神经网络等）本质上都是在最小化经验数据分布与模型预测分布之间的交叉熵。
交叉熵损失函数（cross-entropy loss）在分类问题中广泛使用。相比于均方误差损失，交叉熵损失具有更好的梯度特性，能够避免梯度消失问题，加速模型训练。
6.4 信息论与机器学习的深层联系
信息论为机器学习提供了统一而深刻的理论框架。从信息论的角度看，机器学习的目标可以概括为：从数据中提取信息，建立对未知分布的认知。熵量化了数据中固有的不确定性；互信息（mutual information）\(I(X; Y) = H(X) - H(X \mid Y)\) 衡量了两个变量之间共享的信息量，在特征选择和变量筛选中具有重要应用；信息增益（information gain）在决策树算法中用于选择最优的分裂属性。
这些概念的引入使得我们能够从信息传输的角度理解学习过程：学习算法可以视为一个编码器，它将训练数据压缩为模型参数；当模型在新数据上进行预测时，相当于解码过程。这一视角为理解泛化误差、模型复杂度和数据效率之间的关系提供了有力工具。
第七节：个人思考与批判性分析
7.1 概率解释的哲学反思
关于概率的两种解释——频率学派和贝叶斯学派——这一争论远未结束，且在深度学习时代呈现出新的面向。
深度学习模型的参数通常非常庞大（可达数十亿甚至万亿），这种背景下，频率学派的大样本理论仍然适用，但小样本问题仍然存在挑战。与此同时，贝叶斯方法虽然提供了不确定性量化，但在处理超大规模参数时面临着计算可扩展性的根本困难。变分推断等近似贝叶斯方法虽然缓解了计算压力，但引入的近似误差需要谨慎评估。
笔者认为，在深度学习实践中采取务实的混合策略可能是更明智的选择。例如，使用频率学派的最大似然进行参数学习，同时通过集成方法或dropout技术近似贝叶斯后验，以获得对预测不确定性的合理估计。这种方法既保留了频率学派方法的计算效率，又借鉴了贝叶斯思想的不确定性量化能力。
7.2 分布选择与归纳偏置
在机器学习中，选择合适的概率分布是一种重要的归纳偏置（inductive bias）。不同的分布假设会引导算法学到不同类型的数据表示。
例如，在自编码器的设计中，如果假设数据的潜在表示服从拉普拉斯先验，会倾向于产生稀疏表示；如果假设服从高斯先验，则会倾向于产生紧凑的连续表示；如果假设服从狄拉克混合（Mixture of Gaussians），则可能发现数据的聚类结构。这些不同的先验假设本质上编码了不同的学习偏好。
深度生成模型（如变分自编码器、生成对抗网络、扩散模型）的发展表明，更复杂的先验分布能够捕捉数据中更丰富的信息。然而，这也带来了模型选择和超参数调优的挑战：如何在表达能力和可计算性之间取得平衡，仍然是值得深入研究的问题。
7.3 信息论视角的启示
将信息论引入机器学习理论是一个非常有价值的研究方向。信息瓶颈（Information Bottleneck）理论提出，深度神经网络在训练过程中会逐步遗忘输入中的噪声信息，同时保留与任务相关的信息。这一理论为理解深度学习的特征学习和表示压缩提供了新的视角。
此外，最小描述长度（Minimum Description Length，MDL）原则与奥卡姆剃刀原理有着深刻的联系：最好的模型是能够用最短代码描述数据的模型。这一原则为理解模型选择和正则化提供了理论依据，也有助于避免过拟合问题。
7.4 开放问题与未来方向
尽管概率论和信息论已经发展成熟，但它们在深度学习中的应用仍有许多开放问题值得探索。
第一，如何在超大规模参数空间中进行有效的贝叶斯推断？现有的变分推断和马尔可夫链蒙特卡洛方法在参数规模极大时面临严重的计算瓶颈。
第二，如何将因果推理与概率图模型更深入地结合？现有方法主要处理关联关系，而因果关系的识别需要干预和反事实推理，这超出了传统概率论的范围。
第三，信息论如何指导我们设计更好的学习算法？虽然熵和互信息等概念提供了理论框架，但如何将这些理论洞见转化为实用的算法设计原则，仍需要大量研究。
第四，在多模态学习和元学习中，如何建立统一的多模态概率框架？这涉及到如何表示和融合来自不同来源的信息，以及如何处理模态缺失等实际问题。
公式汇总表
| # | 名称 | 形式 | 物理/数学意义 | 类型 |
|---|---|---|---|---|
| (3.1) | 伯努利分布 | \(P(x) = \phi^x (1-\phi)^{1-x}\) | 单次二元试验的概率分布 | (T) |
| (3.2) | 多努利分布 | \(P(x) = \prod_{i=1}^k \phi_i^{\mathbb{1}(x=i)}\) | \(k\) 类离散变量的概率分布 | (T) |
| (3.3) | 高斯分布 | \(\mathcal{N}(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\) | 最常见连续分布，最大熵分布 | (T) |
| (3.4) | 指数分布 | \(p(x; \lambda) = \lambda \exp(-\lambda x), x \geq 0\) | 事件间隔时间的分布，无记忆性 | (T) |
| (3.5) | 拉普拉斯分布 | $p(x; \mu, \gamma) = \frac{1}{2\gamma} \exp\left(-\frac{ | x-\mu | }{\gamma}\right)$ |
| (3.6) | 贝叶斯规则 | \(P(Y\mid X) = \frac{P(X\mid Y)P(Y)}{P(X)}\) | 先验与后验概率的转换公式 | (T) |
| (3.7) | 期望 | \(\mathbb{E}[f(X)] = \sum_x f(x)p(x)\) 或 \(\int f(x)p(x)dx\) | 随机变量函数的平均值 | (T) |
| (3.8) | 方差 | \(\text{Var}(X) = \mathbb{E}[(X-\mathbb{E}[X])^2]\) | 随机变量围绕期望的离散程度 | (T) |
| (3.9) | 协方差 | \(\text{Cov}(X,Y) = \mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]\) | 两个随机变量之间的线性相关性 | (T) |
| (3.10) | 香农熵 | \(H(X) = -\sum_x p(x)\log p(x)\) | 随机变量不确定性的度量 | (T) |
| (3.11) | KL散度 | \(D_{\text{KL}}(P\|Q) = \sum_x P(x)\log\frac{P(x)}{Q(x)}\) | 两个概率分布的差异（不对称） | (T) |
| (3.12) | 交叉熵 | \(H(P,Q) = -\sum_x P(x)\log Q(x)\) | 与KL散度相关，\(H(P,Q) = H(P) + D_{\text{KL}}(P\|Q)\) | (T) |
| (3.13) | 相关系数 | \(\rho(X,Y) = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)}\sqrt{\text{Var}(Y)}}\) | 协方差的归一化，\([−1,1]\) 区间 | (T) |
注：(T)=理论推导公式，(E)=经验公式。本表所列均为理论公式。