第13章：人工智能用于磁共振成像的图像增强与重建（Artificial Intelligence for Image Enhancement and Reconstruction in Magnetic Resonance Imaging）
作者：Kerstin Hammernik、Mehmet Akçakaya
引言
本章讨论的核心理论前提是：磁共振成像（MRI）的物理采集过程本身相对其他医学影像模态就具有显著的"采集慢"特性，而心脏磁共振（cardiac MRI, CMR）又叠加了心跳与呼吸运动这两类额外的运动因素，使得扫描时长进一步被拉长。因此，加速 MRI 采集一直是一个活跃的研究领域，临床上有大量应用需要它。常规做法是减少采集数据量，即"亚采样"（subsampling），再利用图像重建或增强策略——这些策略会挖掘采集过程本身或目标图像中的冗余信息——从亚采样的原始数据中重建出高质量图像。
过去二十年里，研究者提出了大量加速 MRI 的方法，其中最具代表性的是并行成像（parallel imaging, PI）和压缩感知（compressed sensing, CS），两者都已广泛应用于 CMR。然而，近几年深度学习（deep learning, DL）方法因其卓越的图像质量获得了大量关注。本章系统综述面向 CMR 的、基于深度学习的图像增强与重建策略，重点聚焦快速成像和伪影抑制。
深度学习用于图像增强与重建的基础
深度学习的成功建立于三大支柱：模型架构的近期进展、大型训练数据库的可用性、以及高性能 GPU 的普及。本节向读者介绍构建强大重建网络所需的"基础工具"。本章涉及的多种重建网络类型概览在图 13.1 中给出，详见"用于 CMR 的图像/k-空间增强"与"在 CMR 重建中结合算法展开"两节。网络可以用监督、自监督、或非监督的方式进行训练，原因是 CMR 应用中往往难以获得完全采样的数据。下文将简要介绍重建网络的重要"积木"与基础架构，并对训练数据和网络训练给出概览。更深入的内容可参考综述论文 [21, 41, 49] 与专著章节 [27]。
网络类型
深度模型架构的基石是深度卷积神经网络（CNN）。CNN 是强大的特征提取器，通过卷积与非线性激活函数的串联操作实现。进一步的能力提升可以通过多尺度分析实现——正如 UNet 架构 [64] 所示。下采样由跨步卷积（strided convolution）、膨胀卷积（dilated convolution）和池化层完成；为避免训练中的梯度消失问题，使用跳跃连接（skip connection）；上采样则由转置卷积（transposed convolution）与插值方法完成。
卷积操作可以在任意维度上执行，但维度越高，所需的内存也越大。一个解决方案是可分离卷积（separable convolution）：它将一个高维卷积分解为多个低维卷积的组合（例如把 3D 卷积拆为 1D + 2D）。这种做法能显著降低内存与参数规模。另一个常用架构是循环神经网络（RNN），它通过循环连接捕捉序列中的时间依赖关系，在动态 CMR 应用中尤为重要。
数据一致性层（data consistency layer）是另一类核心组件，它把网络输出强制对齐到测量到的 k-空间数据上。它通常嵌入到算法展开框架中，将在"在 CMR 重建中结合算法展开"一节进一步讨论。
与已采集 k-空间数据的一致性
仅有网络架构还不够。要让 MRI 数据得到准确处理，"已采集的 k-空间数据"本身携带的丰富信息也必须被纳入考虑。一种做法是数据一致性（data consistency, DC）层，它在网络输出与测量值之间施加一致性约束，可以在训练阶段以损失函数形式施加，也可以在推理时通过 DC 层强制施加。一种更具原则性的做法是物理驱动的前向模型——它把 MRI 的物理采集过程（傅里叶变换 + 线圈灵敏度图 + 亚采样模板）作为前向算子显式嵌入到网络中。该前向算子的共轭（adjoint）作为可微模块参与训练，从而实现端到端的物理约束重建。
线圈灵敏度图（coil sensitivity maps）是该前向模型中的关键一环：在多通道并行采集中，每个接收线圈对同一解剖位置具有不同的空间灵敏度分布；正确估计并使用这些灵敏度图，是网络能够把多通道欠采样信号"对齐"到一致图像空间的前提。典型做法是使用 ESPIRiT 或 Walsh 等方法从校准扫描（calibration scan）中估计灵敏度图，再将其作为前向算子的一个固定部分参与训练与推理。线圈灵敏度的准确性直接影响重建图像在空间均匀性、伪影抑制和 SNR 上的表现。
将 k-空间一致性嵌入到网络中有多种粒度。最"轻"的做法是在训练损失中加入一项 k-空间 MSE/ℓ1 项，仅在标量层面惩罚"网络输出经前向算子后与测量数据不符"的程度；最"重"的做法是在每个"展开迭代"中都显式地施加一个 DC 子步骤——例如共轭梯度下降的若干步、或对每个线圈逐个进行闭式近端映射求解。前者实现简单但只起"软约束"作用，后者更接近传统迭代重建的数值行为并能保证严格一致性，但会显著增加计算与内存开销。两种粒度在 CMR 应用中都有成功先例。
训练数据
要训练神经网络，必须准备与所选任务相匹配的训练数据。对于 MRI 重建或增强，理想情况下应具备完全采样的 k-空间数据，虽然这可以事后做亚采样处理。对于某些静态 2D MRI 应用（例如膝关节成像 [42]）这种做法可行；但对大量 CMR 应用——包括静态和动态两类——要获取训练数据要困难得多。
对静态 CMR 扫描，尤其是高分辨率的情形——如全心冠状动脉 MRI 或晚期钆增强（LGE）成像——数据通过心电图（ECG）触发、按 k-空间分段方式采集于舒张期静息期（diastolic quiescence），后者持续约 100 ms。因此这些大型 3D 体素采集常常超出一次屏气的时长，必须采用自由呼吸采集，后者本身就将采集效率降低 2-3 倍。于是，一次完全采样的全心冠状动脉 MRI 需要约 20 分钟扫描时间，在此期间图像质量会因呼吸漂移（respiratory drift）而下降。另一方面，对于许多动态或定量 CMR 扫描——包括实时电影成像（real-time cine imaging）、灌注成像（perfusion imaging）、4D 流量成像和定量参数映射——要在覆盖范围、空间与时间分辨率之间做权衡，使得一开始就不可能完全采样数据。
在完全采样数据不可得的情况下，要定义合适的"真值"就更加困难。因此，常常用一个"代理重建"（surrogate reconstruction）作为参考数据——例如基于 PI 的较低加速率重建、或在相近加速率下的 CS 重建 [17, 20, 45, 71]。然而这本身就限制了 DL 方法的潜在收益，因为其性能上限被用于生成参考数据的传统代理方法所限制。
CMR 面临的另一项挑战是训练样本数量有限。对肌骨成像与神经成像，公开可用的原始数据集已超过数千例（如 fastMRI [42]）；而心脏成像只有小型数据库用于研究，这阻碍了可复现研究的进展和神经网络的有效性。最近 El-Rewaidy 等 [16] 发布了一个包含 101 例患者和 7 名健康受试者的径向电影 CMR 数据集，构成了第一个公开的心脏 MRI 原始数据集。处理有限训练数据可以借迁移学习或域适应（domain adaptation）[13, 32, 40, 85]。这在 2D 应用中相对可行——网络可以先在自然图像等大型数据集上预训练——但对高维应用而言，这类大型数据库几乎不可得。另一种增强网络鲁棒性的方法是在图像域做数据增强：对图像施加平移、旋转、缩放、剪切和非刚性形变等变换以生成多样化的训练集。但这些变换无法直接施加到原始 k-空间数据上，因而需要更"真实"的变换。Oksuz 等通过模拟运动引入了物理感知的数据增强 [55]；对抗式策略以更逼真的方式生成数据集，但目前仅在 CMR 分割中引入 [11]。
训练神经网络
在训练数据备齐、网络架构确定之后，网络的"可调参数"需要从数据库中学习。训练过程取决于两个主要组件：是否具备参考数据，以及评估网络输出质量所选的函数。若具备这样的数据，训练传统上以监督方式进行：网络输出与参考通过损失函数（loss function）做比较，训练中更新网络参数以减小该损失。
损失函数
损失函数（也称代价函数 cost function 或误差 error）度量神经网络基于其输入（一般是图像和/或 k-空间数据）预测出的重建结果有多好。文献中已使用过多种损失函数 [41]，包括像素级度量（pixel-wise measures）、块级度量（patch-based measures）以及对抗性损失（adversarial losses）。像素级度量只是简单的质量度量，包括均方误差（即 ℓ2 损失）和平均绝对误差（即 ℓ1 损失）。然而像素级度量无法反映人类视觉系统那种复杂的感知能力。块级损失——比如结构相似性指数（SSIM）[76, 84]——以及基于 VGG 网络所提取特征的感知损失（perceptual loss）[37, 47, 70]——能给损失函数注入更"逼真"的信息。然而这些损失总是与一个像素级损失函数组合使用，由后者稳定训练 [31, 37, 70, 84]。像素级和感知损失之上还会叠加对抗损失（adversarial loss），将图像质量向"逼真图像"方向推进 [24, 47, 70]。然而在医学影像领域，对抗性训练策略是否、如何扭曲真实图像内容，仍是一个开放问题。
监督学习
在监督学习情形下，神经网络的输出会与一个干净的、无伪影的参考图像 [28, 68] 或完全采样的 k-空间数据进行比较。对于许多 CMR 检查，完全采样数据难以采集，因此使用一个"代理重建"作为参考数据 [17, 20, 45, 71]。还存在混合损失函数，即在图像域和 k-空间域同时施加损失。这通常用于图像增强方法，其中数据一致性仅通过损失函数施加 [36]。
非监督与自监督学习
另一类训练方法统称为非监督学习（unsupervised learning），它考虑的是用未配对（unpaired）数据训练神经网络。也就是说既没有欠采样/完全采样的图像对，也不具备测量 k-空间的任何其他信息。自监督学习（self-supervised learning）通过让数据自身自动生成训练标签（training labels）来缓解"无参考数据"的问题，已在许多 AI 应用中找到用武之地。对于图像重建和增强，这种做法通常通过"掩蔽操作"实现：将 k-空间的一部分对网络隐藏，作为训练标签——由 Yaman 等 [77] 提出。然后训练网络去学习这些被隐藏的部分。研究显示该方法的性能可与监督学习相当、且无显著差异 [78]，已被应用于 CMR [79]。Ke 等提出了另一种用于 CMR 的半监督学习策略，依赖"视图共享"（view-sharing）方法，从时间交织（time-interleaved）样本中生成完全采样的参考 [38]。
用于 CMR 的图像/k-空间增强
图像/k-空间增强技术在 CMR 应用中很受欢迎。使用这类方法的动因之一是多通道 CMR 数据的体量很大，给"展开式网络"（unrolled NN）带来很大的内存负担，也使传统迭代方法的处理时间很长。此外，许多临床前 CMR 扫描使用非笛卡尔（non-Cartesian）轨迹，但编码算子在 DL 图像重建中实现代价高昂（当结合算法展开时），因而增强方法因其速度优势成为偏好选择。
在图像增强方法中，神经网络的输入由一个"初始重建"生成，例如多通道合并后的零填充（zero-filling）解。网络被设计与训练为：将该解增强到与某个参考解相似。但通常这类方法并未将采集物理纳入考虑。针对这一缺陷，已有若干策略被提出，包括：在增强之后强制数据一致性 [36]，以及在训练损失中包含一项 k-空间数据一致性项 [81]。图像增强方法的网络经常以残差（residual）形式训练，该残差可能包含噪声、混叠伪影（aliasing artifacts）和其他数据缺陷；然后从输入图像中减去该输出，得到最终结果。
在 k-空间增强中，网络的输入通常是零填充的 k-空间，目标与之相似——插值/增强该解以逼近"真解"。与图像增强类似，采集物理并未显式纳入训练，但由于使用了多通道 k-空间数据，网络可能隐式学习线圈之间的依赖关系。然而与图像增强不同的是，k-空间增强天然地保留了 k-空间一致性。
下文将概述若干已在 CMR 中使用的增强策略。
动态/定量 CMR 应用
图像加速对于大量动态和/或定量 CMR 扫描至关重要——这类扫描需要对同一解剖结构在时间维度上和/或不同对比权重下采集一系列图像。由于要在时间维度上采集多帧图像，这些方法的扫描时间很长，且常常不得不在时空分辨率和扫描覆盖范围之间做权衡。因此更优的重建方法对此类采集尤为关键，DL 方法在这里占有重要地位。另一个复杂性来自数据规模——这类扫描采集的数据量庞大，导致内存需求巨大。这对传统迭代技术和基于算法展开的 DL 方法而言都是挑战。因此基于 DL 的图像增强方法在此场景下获得了大量关注。
残差 CNN（residual CNN）已被用于去除电影成像（cine imaging）中的欠采样伪影。Hauptmann 等 [33] 用残差 UNet 架构对欠采样的微小金角径向（tiny golden angle radial）SSFP 数据进行重建。UNet 在"网格化重建/参考重建"对的幅度上训练，UNet 的核心由 3D 卷积构成。该 UNet 比传统 CS 方法重建速度快 5 倍；对双心室容积的评估显示 UNet 重建质量优于 CS。
时空可分离卷积用于动态数据
UNet 的一个缺点是网络参数量大，这使得在小训练数据集上训练网络成为挑战。Kofler 等提出了一种用于 2D 径向电影 MRI 的残差 UNet 架构 [44]。UNet 中的卷积被实现为 xt 与 yt 卷积的组合，即用 2D 卷积替代 3D 卷积。这大幅降低了网络参数量，使得在小训练数据集上训练更为可行。
虽然电影成像因有完全采样的参考数据集可用而成为基于 DL 的图像增强的"主战场"，但还有若干其他重要的动态和定量应用领域——它们常常不具备这样的真值数据。其中之一是灌注成像（perfusion imaging）：Fan 等提出了一种 2D+t UNet，用于重建多切片非笛卡尔心肌灌注 MRI [20]。以传统 CS 重建作为参考，使用 MSE 损失函数进行监督训练。结果显示该 UNet 将整个重建时间（含预处理与增强流水线）缩短了 14.4 倍，同时与 CS 重建在视觉上无差异。
另一类不具备真值数据的应用是实时电影成像（real-time cine imaging）。Shan 等 [71] 提出了一种感知复数神经网络（perceptual complex NN），用于加速 2D+t 非笛卡尔实时电影采集的重建时间。核心网络是带有复数构建模块（包括复数卷积层）的 UNet 架构。该复数 UNet 使用 MSE 损失与感知 VGG 损失的组合进行训练，以传统 CS 重建作为参考。它在单一切片 80 帧上实现了 24.5 s 的重建时间，其中预处理 23.7 s、神经网络计算仅 0.8 s。在图像质量和左心室功能参数方面未观察到显著差异。
结合时间基函数的预估计
对采用 CMR 多任务（multitasking）的动态定量采集 [12]，Chen 等提出了一种混合方法：沿用传统方式估计时间特征，并结合神经网络方法以内存高效的方式重建这些海量数据集 [10]。具体而言，他们用基于传统主成分分析（PCA）的方法估计时间特征，并将其与一个扩张式多层级密集连接神经网络（dilated multilevel densely connected NN）的应用相结合，在对应的空间特征空间内做增强。以传统 CS 型重建为参考，以 ℓ1 损失进行监督训练。该方法将计算时间从传统迭代方法的 20 分钟缩短到 0.4 秒，同时达到相近的图像质量。
超分辨率方法
增强的另一条使用路径是超分辨率（superresolution）。在该类应用中，不是采集欠采样数据集并尝试通过减少残余混叠伪影来增强图像，而是采集低分辨率数据集，再事后（retrospectively）增强其分辨率。在动态 CMR 的语境下，Oktay 等 [56] 提出了一种超分辨率方法：使用残差神经网络将一叠低分辨率短轴图像映射到高分辨率短轴图像。高分辨率体素的图像质量进一步通过在 Siamese 多图像超分辨率网络中嵌入额外的长轴（long-axis）扫描而得到提升。使用 CNN 后，超分辨率质量比线性和三次插值有了大幅提高。
超分辨率在电影成像中的另一项应用由 Masutani 等 [52] 探索。该工作同时使用了基于 SRNet 与 UNet 的单帧和多帧 CNN。训练数据通过"事后降低"（retrospectively downsampling）标准电影采集到较低分辨率生成——具体做法是从 DICOM 图像中保留 k-空间中心部分而不施加任何振铃滤波器（ringing filter）。使用 ℓ1 与 SSIM 损失的组合。CNN 优于零填充（zero padding）和双线性插值，且对最多 3 倍降采样，与全分辨率图像所测的左心室容积相当。
静态 CMR 应用（增强方法下）
图像与 k-空间增强方法在静态 CMR 应用中也得到了应用。与前述动态 CMR 应用类似，一个重点方向是：对大型体素数据集加速计算速度，同时匹配传统 CS 型方法的性能。沿着这条思路，El-Rewaidy 等 [17] 提出了一种用于欠采样 3D LGE 成像的复数 UNet。网络对 2D 切片工作，切片通过沿完全采样的频率编码（frequency-encoding）方向做反傅里叶变换得到。它以 CS 型重建为参考、以 MSE 损失函数进行训练。结果显示与传统重建相比取得了 300 倍加速，且图像质量未发生实质改变（如图 13.2 所示）。
另一条研究路径基于"鲁棒人工神经网络用于 k-空间插值"（RAKI），探索以"扫描专属"（scan-specific）方式使用 k-空间增强 [7]。这些方法利用校准数据训练一个卷积神经网络做 k-空间插值，扩展了传统并行成像方法中所用的线性卷积核。由于训练在"校准数据"上完成，这些方法不依赖于既有 CS 型算法的重建结果，也不依赖于"真值数据"的采集，因而提升了其对欠采样 CMR 数据集的适用性，并可能超越其传统并行成像对手。对于心肌 T1 mapping，Akçakay 等显示该方法在噪声抑制上优于基于同一数据集做校准的临床并行成像对手。该方法的一种扩展称为"自洽 RAKI"（self-consistent RAKI），由 Hosseini 等 [34] 提出；对冠状动脉 MRI 的研究表明它优于基于 SPIRiT 公式的传统对手。这些"扫描专属"方法的一个缺点是重建时间较长——因为每次扫描都需要重训。
超分辨率方法在全心 CMR 的语境下也被使用过 [72]。Steeden 等训练了一个 3D 残差 UNet，使用"合成降采样"——保留 50% 的切片分辨率和 50% 的相位分辨率。然后在使用三倍扫描时间节省的事前采集数据上，超分辨率图像显示比低分辨率或高分辨率图像有更好的边缘锐度，且 SNR 显著优于高分辨率数据。但用超分辨率方法测得的左冠状动脉近端直径被显著低估，其他节段的测量则未观察到显著差异。
在 CMR 重建中结合算法展开
图像/k-空间增强方法因其速度和较低的内存需求在 CMR 中已获得大量关注，但要进一步利用测量 k-空间数据中的更多信息，就需要更高级的重建策略。算法展开（algorithm unrolling）天然契合这一目标：强大的正则化网络与数据一致性层交替施加，使我们不仅能利用原始测量数据中的可用信息，还能利用不同域中的冗余信息。下面将概述在静态和动态 CMR 中的若干应用。
静态 CMR 应用（算法展开下）
"学习展开优化"（learned unrolled optimization）方案在多种静态 CMR 重建方法中已显示出优势。Fuin 等 [22] 提出了一种多尺度变分网络（multi-scale variational network），采用"多尺度专家场"（multi-scale fields-of-experts）正则化 [28, 65]，由不同尺寸的滤波器核实现，用于冠状动脉磁共振血管造影（CMRA）。此外，在幅度和相位图像上施加激活函数进一步改善了重建结果。多尺度变分网络的整体重建时间约 14 秒，而 CS 方法约为 5 分钟。该多尺度变分网络允许最高 9 倍加速采集（2 分 34 秒），图像质量与完全采样参考扫描（采集时间 18 分 55 秒）相当。
Malave 等 [51] 提出了一种带近端映射（proximal mapping）步骤作为数据一致性层的 CNN，用于在 CMRA 序列中重建 3D 图像导航器（iNAV）。该重建出的 3D iNAV 可支持快速的非刚性运动估计，且与 ℓ1 ESPIRiT 相比无质量损失。在 NVIDIA Titan RTX 显卡上，每 3D iNAV 的平均重建时间报告为：所提网络（含数据一致性）0.53 秒、ℓ1 ESPIRiT 1.55 秒。
自监督学习
由于动态心脏应用的训练数据难以获取，自监督学习（self-supervised learning）方法在 CMR 重建领域获得了关注。Yaman 等 [79] 提出了一种面向 CMR 中晚期钆增强（late gadolinium enhancement）的物理引导自监督学习方法。自监督的核心是采样掩蔽（sampling masks）：使用两个掩蔽将已采集的 k-空间位置划分为训练集和"数据一致性使用集"，并嵌入到一个展开式重建算法中。该方法用于 6 倍欠采样时优于临床使用的 CS（3 倍加速）[4]，如图 13.3 所示。
Ke 等 [38] 中使用一种特定的时间交织采样策略作为半监督学习的训练数据。训练数据通过使用相邻时间帧的已采集 k-空间数据生成。网络由 ADMM-Net-III 架构和数据一致性层构成，以逐个线圈（coil-by-coil）方式重建图像；其后一个 CNN 模块将各单线圈图像合并形成最终重建。
动态/定量 CMR 应用（算法展开下）
2018 年由 Schlemper 等 [68] 提出的方法是首批用于加速动态单线圈电影重建的展开式重建方法之一。该"数据一致性 CNN"（DC-CNN）刻画了一个近端梯度方案（proximal gradient scheme）：数据一致性的近端映射以闭式解求解，5 层 CNN 用作图像正则化网络。在 NVIDIA GeForce GTX 1080 上，平均重建时间为 8 秒；相比之下，字典学习（Dictionary Learning）在 CPU 上每例需 6.6 小时。
基于该工作 [68]，Qin 等提出了一种循环卷积神经网络（CRNN）方法，以利用两类循环性：一是双向卷积循环单元（bidirectional convolutional recurrent unit），用于沿时间传播信息；二是迭代循环性，用于沿展开迭代传播信息。网络参数大幅减少（约 1/3）的同时，图像质量相较 DC-CNN [68] 有所提升；此外重建时间从 8 秒（DC-CNN）缩短至 6 秒（CRNN）。
Biswas 等 [9] 研究了面向非门控（ungated）心脏多通道 MRI 和自由呼吸的机器学习方法。所提的 MoDL-StoRM 网络在去噪 CNN 与基于流形的光滑性正则化（smoothness regularization on manifolds）之间交替，并通过共轭梯度（conjugate gradient）算法求解多通道 MRI 的近端映射 [3]。光滑性正则化的流形由导航信号估计 [59]。
高维电影重建与可分离卷积
深度神经网络的学习受限于数据与资源的可用性，这使得处理高维数据颇具挑战。Kuestner 等提出了 CINENet，用于 3D+t 数据的重建 [45]。展开优化使用一个多通道数据一致性层，并以复数 UNet 作为图像先验网络。为处理 3D+t 数据，卷积被拆分为 3D 空间卷积后接 1D 时间卷积。单次屏气 CINENet 与传统多次屏气 2D+t CINE 采集的比较结果见图 13.4。CINENet 支持单次屏气采集，这不仅减少了采集时间，还减少了切片失对准（slice misalignment）和呼吸运动的影响。
可分离卷积不仅减少了参数量，还相比 3D 卷积带来更好的性能。这一点在 Kofler 等 [43]（用于图像增强）和 Hammernik 等 [30]（使用近端梯度变分网络做非笛卡尔电影重建）的工作中进一步得到证明。
Sandino 等 [66] 显示：对 DL-ESPIRiT，使用可分离 2D+t 卷积比 3D 卷积产生更高的图像质量度量。此外，该网络使用一组扩展的线圈灵敏度图（coil sensitivity maps）以克服有限视野问题；线圈灵敏度图嵌入在梯度下降数据一致性层中。数据一致性层与 2D+t 卷积单元被迭代地施加。所提 DL-ESPIRiT 网络不仅产生更好的图像质量度量，还给出更准确的心功能参数，如左心室舒张末期容积、收缩末期容积、每搏量与射血分数。此外，对 3D 方案（3.89 秒）和 2D+t 方案（4.89 秒）相较 ℓ1 ESPIRiT（5.36 秒）单切片重建时间也有所缩短。
利用互补域
大多数方法在图像域中训练神经网络。然而混合方法在 k-空间插值与图像域伪影抑制两方面均使用神经网络 [19]。El-Rewaidy 等使用复数子网络（complex-valued subnetworks），分别作用于 k-空间和图像域，对径向动态心脏 MRI 数据进行重建 [18]。重新网格化的 k-空间由一个 k-空间网络处理以插值缺失的 k-空间数据并利用不同时间帧之间的冗余；在逆傅里叶变换之后，图像域网络被用以去除残留的混叠伪影并利用多个线圈和不同时间帧的信息以得到最终重建帧。网络本身由复数运算、径向批归一化（radial batch normalization）和复数 ReLU（XReLU）构成。
空间、时间、频率域之间强相关性的利用见 [62, 63]。受 k-t 重建启发，kt-NEXT [62] 在 x-f 域中恢复信号，并结合一个图像域网络和数据一致性层。互补的时频域网络 [63] 分别使用双向和单向 CNN 在 x-t 空间与 x-f 空间中传播信息。多通道信息通过变量分裂方案（variable splitting scheme）高效处理。结果显示：对从高度欠采样的心脏 MRI 数据中重建高质量图像，施加结构并利用所有可用信息和冗余都是有益的——如图 13.5 所示。
高级主题与局限
除了前述用于处理欠采样数据的增强和重建方法之外，深度学习还有若干其他可使 CMR 更快、更鲁棒的途径。我们将概述运动校正（motion correction）这一新方向上的进展，同时讨论基于 DL 的 CMR 重建与增强所面临的挑战与未来方向。
用于 CMR 运动校正的深度学习
运动伪影（motion-related artifacts）以使图像变得无法用于分析的方式扭曲图像。运动伪影可能源于：患者在检查中移动，或心电图（ECG）触发失误（mis-triggering）。下文概述若干使用机器学习来校正 CMR 中运动伪影的方法。
Zhang 等 [83] 提出使用对抗式训练来校正 CMR 运动伪影。生成的运动伪影作为训练数据。一个生成器网络（generator network）采用残差架构建模，尝试在图像域校正运动。该网络使用 Wasserstein 损失、内容损失（content loss）和边缘损失（edge loss）的组合进行训练，以有效去除图像模糊。
Ghodrati 等 [23] 中，变分自编码器（VAE）被用于自由呼吸电影 MRI 中的回顾性呼吸运动校正。VAE 在健康志愿者与疑似心血管疾病患者的未配对数据上训练。编码-解码结构通过对自由呼吸图像学习恒等映射来保留其总体结构，鉴别器网络（discriminator network）引导编码器去除伪影。
Oksuz 等 [54] 直接从 k-空间处理 MR 运动校正。一个受 Automap [85] 启发的生成器网络将 k-空间直接变换到图像空间。该网络以对抗式训练策略，在合成受损的 k-空间数据与未受损图像对上训练。所提网络能够校正运动伪影，但纹理信息会丢失。
Oksuz 等 [55] 中，神经网络被用于检测和校正心脏 MRI 运动伪影。一个检测网络（detection network）用以识别受损的 k-空间线。经运动校正后的预测采样掩蔽被输入到数据一致性层。一个额外的 CRNN 用于处理图像域中的伪影。训练中，将重建损失（即均方误差）与检测损失（由二元掩蔽的交叉熵和"该线未被污染"的预测概率定义）组合。该网络显著优于 Automap-GAN [54]。
Kuestner 等 [46] 在躯干 4D MRI 的端到端图像重建与运动校正网络中提出了一种方法。一个局部全通网络（local all-pass network, LAP）被部署以估计运动分辨 k-空间上的非刚性形变场（nonrigid deformation fields）。这些形变场直接馈入数据一致性层用于重建。LAP 网络与重建网络以最小化"组合均方误差 + 端点误差"（end-point error）为损失函数联合训练。
Huang 等 [35] 中，运动补偿被作为动态 MRI 的后处理步骤施加。重建分三步进行：首先用"门控循环单元卷积"（ConvGRUs）解决动态 MRI 重建，再接数据一致性层；之后用基于"卷积 UNet"架构骨干的 FlowNet 做运动估计；最后将估计的运动用于精细化重建后的帧。该方法优于 DC-CNN [68] 与经典方法如 kt-SLR [48]。
Seegolam 等 [69] 将运动估计直接嵌入到一个级联重建方法中。使用一个 UNet 架构估计运动场。提出了一种新颖的"数据一致性运动增强电影"（DC-MAC）层，它将一张图像使用估计的运动场"包裹"到下一相邻帧，以服务于数据一致性。由于所有帧被连续处理，信息沿整个时间轴被传递。该方法对极高加速数据的重建非常有效。
挑战与未来方向
本章综述了机器学习在心脏 MRI 重建和增强方面的最新进展。虽然所介绍的方法前景广阔，但仍有若干具有挑战性的开放问题需要进一步研究。
在静态 CMR 检查中，研究者常常关注细微解剖变化的检测——例如冠状动脉 MRI 中的狭窄（stenoses）。类似地，在动态 CMR 检查中，时间维度上的动态特性至关重要。因此在 CMR 中，对正则化重建方法而言，经常存在关于时空模糊伪影（spatiotemporal blurring artifacts）程度的问题。虽然 DL 方法在正则化重建方面倾向于优于压缩感知方法（图 13.5 上下文），但仍需要更多临床研究以确认正则化并未引入伪影。DL 方法还面临一项额外挑战：它们是在大型数据库上训练的。因此还需要进一步研究这些方法在训练数据库中并不突出的罕见病理（如心律失常）或不利条件下如何泛化。
若干当代 CMR 扫描本质上具有多维特性，常结合解剖、动态、定量信息。虽然算法展开在 DL 重建中已被证明非常成功，但其应用于多维数据可能颇具挑战。由于这些方法需要强制与已采集 k-空间数据一致，并对正则化使用多维神经网络，典型 GPU 训练下的内存需求可能难以承受。因此可能需要面向高效训练 [39] 与多维 CMR 数据部署策略的替代方法。
CMR 扫描常以欠采样方式采集。这要么是因为采集约束使得完全采样不可能，要么是临床工作流的时间约束所限。然而对大多数 CMR 扫描而言，要获取完全采样的真值数据是困难甚至不可能的。该领域的早期工作通过使用"代理重建"解决这一挑战 [17, 20, 45, 71]，而后续工作则聚焦于使用欠采样数据集的自监督 [77]，以释放 DL 方法的完整潜力。然而这些技术倾向于依赖像素级 k-空间损失，而后者易于产生模糊伪影。如何将更先进的损失函数（如更贴合视觉评估的感知损失）纳入此类学习策略，是一个开放的研究问题。
一个非常重要、但研究相对较少的领域是心脏 MRI 中的运动补偿（motion compensation）。现有方案在将运动纳入重建过程后改善图像重建方面前景可观。然而仍需要在临床环境中所用的多通道 MRI 数据上、并在灌注（perfusion）和实时成像等应用中进一步研究。
最后，尽管肌骨 MRI 重建存在大量公开数据，但公开可用的心脏数据集仍在发展中，仅有一个例子 [16]。更大训练数据库的共享将有助于 CMR 重建与增强研究的进展。
本章个人批注
本章是 De Cecco 2022 中关于 CMR 重建方法最系统的一章，作者 Hammernik 与 Akçakaya 本身就是该领域的代表性研究者（Hammernik 的 variational network、Akçakaya 的 RAKI 都是该方向被广泛引用的奠基性工作）。本章的组织很有"教科书感"：先在"基础"层给出损失函数、训练数据、网络架构的积木式介绍，再按"图像增强"和"算法展开"两条技术路线分头展开，最后以"运动校正"作为前沿主题、以"挑战与未来方向"作为收束。对一个想入门 CMR 深度学习重建的读者，这一章的覆盖面与引用密度都很合适。
我注意到两条值得自己记住的判断：第一，作者明确指出"完全采样参考数据在 CMR 中几乎不可得"，由此引出了从"代理重建"到"自监督"的演化路径——这是把 SSIM/感知损失、对抗损失和掩蔽自监督这几种看似零散的技术串起来的"问题-驱动"叙述，而不是技术堆砌。第二，2D+t / 3D+t 可分离卷积这条主线反复出现（Kofler、Kuestner/Sandino、Hammernik 等），其动机不是"参数少"本身，而是"高维数据 + 有限 GPU 内存"这一具体约束——对未来的工程实现很有借鉴意义。
相比第 14 章（Qin & Rueckert 撰写，更偏"问题形式化与三类方法框架"），本章更接近一份"近期工作综述 + 工程师实践笔记"，风格不同但互补——这也是 De Cecco 2022 作为编辑型专著的典型特征。
与上下章的衔接
本章在书中承担的角色是"图像增强与重建"这一大主题下偏向 MRI 模态的一份方法学综述：第 14 章（Qin & Rueckert）紧随其后、以更紧凑的篇幅给出 CMR 重建的"问题形式化 + 三类方法框架"，可视为本章的方法学总结版；前面的章节（第 7–12 章）已铺垫了数据准备、存储、统计与扫描准备等内容，为本章讨论"训练数据从何而来"提供了上游背景。本章末尾的"挑战与未来方向"列出的四项开放问题（正则化伪影的临床验证、罕见病理泛化、多维数据内存、自监督中的损失函数）与第 14 章结尾会再次呼应——两条主线在收束处自然汇合。读者若按章节顺序读完，到本章时应已具备从"数据-模型-训练-部署"全链条的语境，对随后第 14 章以"逆问题形式化"为切入的更抽象表述会更容易接收。