第14章：基于人工智能的心脏磁共振图像重建（Artificial Intelligence-Based Image Reconstruction in Cardiac Magnetic Resonance）

作者：Chen Qin、Daniel Rueckert

概述：展开式优化的两大支线

承接上一章把传统优化算法"展开"为深度网络的整体思路，本章继续讨论这种"unrolled"框架在心脏磁共振（cardiac magnetic resonance, CMR）重建中的具体形式。通用做法是把图像去混叠（de-aliasing）子步骤与数据一致性（data consistency, DC）子步骤在固定迭代次数内交替进行——这是目前 DL-based CMR 重建最常用的方案。其它类型的 model-driven 方法（包括不限于 CMR 的应用）可参考文献 [17]。在"用深度网络学习正则项先验"这一维度上，本章把这类 unrolled DL 方法按正则化所在空间分为两类：图像域正则化（image-domain regularisation）与互补域正则化（complementary regularisation）。下面对这两类在心脏成像中的具体网络架构与适用场景分别展开。

展开式卷积神经网络（Unrolled CNNs）

构造式 14.5a 的一种典型做法是在图像域用卷积神经网络（convolutional neural network, CNN）作为正则化算子。当前最先进的方法如 DC-CNN [49, 50] 与 MoDL [1, 4]，均采用 5 层 CNN 配合残差连接、迭代 10 次。为了利用 CMR 数据中的时空冗余，Schlemper 等 [50] 在 3D (x−y−t) CNN cascade 网络中引入数据共享（data sharing, DS）层，使得 k-空间中相邻采样点的相似信息能够被同时利用。该方法在回顾性欠采样的单线圈心脏电影 MR 图像上做了验证——单线圈条件下式 14.4b 的解可以被解析地写成一个精确的 DC 更新步骤。对于多线圈采集，Hammernik 等的 variational network（VN）[16] 把 PI 与 CS 联合重建嵌入到基于 DL 的展开式梯度下降框架中；其扩展版本进一步通过学习对应于时空全变分正则化的复数时空卷积，用于动态电影 CMR [18]。除了 2D 动态电影 CMR，Fuin 等 [12] 把 VN 扩展成多尺度 VN 架构，用于运动补偿下自由呼吸的全心 3D (x−y−z) 冠脉 MR 血管成像（CMRA）的快速重建；CINENet [27] 则通过级联的复数 (3+1)D 空间-时间卷积挖掘时空冗余，专门处理高度前瞻性欠采样的 3D Cartesian 心脏电影数据。

展开式卷积循环神经网络（Unrolled CRNNs）

学习式 14.5a 中深度先验的另一类代表性做法是循环架构。循环神经网络（recurrent neural network, RNN）以内部状态作为"记忆"来处理序列信息，因此被广泛用于建模迭代式重建步骤 [21, 43, 55, 62]。作为这一方向的早期工作之一，CRNN-MRI [43] 把迭代优化框架（式 14.4a, b）嵌入到一个循环网络结构中，并在每两个迭代步骤之间建立隐藏到隐藏的连接，从而让信息在迭代之间高效传播、避免冗余计算。为了充分利用时空冗余，研究者还设计了双向 RNN，同时沿时间轴建模序列依赖、并在迭代维度上做循环。图 14.2 给出了该模型的整体结构示意（每个层的展开形态也展示在图中）。该方法在回顾性欠采样的单线圈心脏电影 MRI 上做了验证，相比 CNN 架构以更少的网络参数取得了更好且更高效的结果。

运动补偿的动态 CMR 重建

由于动态 CMR 采集中存在运动模式，把运动估计与运动补偿与 model-driven DL 重建相结合也得到研究。端到端运动补偿重建框架 [21, 22, 51] 通常包含基于 DL 的运动估计组件 [41]：估计欠采样 MRI 序列中各帧之间的运动 [51]，或相对于全采样参考帧的运动 [21]。估计得到的运动信息既可以用于生成运动补偿后的图像、再融入重建过程 [21, 22]，也可以沿整个时间动态通过数据一致性传播 k-空间数据 [51]，从而提升重建质量。这些方法已在单线圈 2D 心脏电影 MRI 回顾性欠采样数据上得到验证，结果表明把运动信息融入重建过程，对高加速倍数下的数据重建是有效的。

互补正则化下的展开式优化

与传统的 CS 方法类似，model-driven DL 的 CMR 重建也可以用互补正则化来学习。典型的 k−t 方法 [23, 31, 37] 利用信号稀疏性，在空间-时间联合的 Fourier 域（x−f 域）对动态 CMR 重建做正则化；这一思路同样可以通过 DL 来实现，即在图像域与 x−f 域同时学习深度先验。Qin 等 [44] 沿此方向提出了 k−t NEXT 方法，在迭代过程中交替地在图像域与 x−f 域施加学习得到的 DL 正则化，用于单线圈动态 CMR 重建。图 14.3 给出 k−t NEXT 与其它 model-driven DL 方法、以及 CS 类方法的对比结果，可以看到利用互补域知识能取得比单一图像域重建更好的表现——细小结构与锐利边缘的保留都更优。该思路的一个扩展针对多线圈动态 CMR 数据，在 PI 设定下使用基于变量分离（variable splitting）技术的互补时-频域网络 [42]。除 x−f 正则化外，MoDL-SToRM [4] 把 MoDL 重建 [1] 与另一种互补的图像正则化惩罚——即流形上的平滑性（smoothness regularisation on manifolds, SToRM）先验 [39]——结合起来，用于恢复自由呼吸的心脏电影 MR 图像。该框架同样在多通道测量下交替进行基于 CNN 的图像正则化、解析定义的 SToRM 先验、以及共轭梯度 DC 步骤。此外，互补信息也可以同时在 k-空间与图像空间中被利用：[56] 把频域网络与图像域网络组合起来、并用多监督（multi-supervised）训练技术联合训练，用于单线圈 2D 心脏电影 MR 图像重建。上述方法都展示了结合互补正则化相对于单一图像域方法的优势。

基于 k-空间的 DL CMR 重建

另一类 MRI 重建技术基于 k-空间插值。其代表是 GRAPPA（generalised autocalibrating partially parallel acquisitions）[15]，对每个被试估计自动校准信号（autocalibrating signal, ACS），直接在 k-空间中恢复缺失数据。类似地，也有基于 CNN 的方法被提出，用以改进 PI-based MRI 重建中的 k-空间插值。RAKI（robust artificial-neural-networks for k-space interpolation）方法 [2] 利用 CNN 在 ACS 数据上训练后对多线圈数据进行非线性 k-空间插值估计。该方法已应用于回顾性欠采样的心肌 2D T1 mapping 数据重建，对噪声具有更好的鲁棒性。值得注意的是，RAKI 是一种 scan-specific、database-free 的 DL 重建方法，不需要大型训练数据集，但需要在每次扫描中基于 ACS 数据独立训练一个 CNN。

网络学习（损失函数）

总体而言，前面提到的多数监督式 DL 方法都依赖大型训练数据库来学习基于群体的先验信息、以及"欠采样数据—参考 MRI 扫描"之间的映射。由于完全采样数据有限，大多数方法在训练时都从全采样的原始 k-空间数据中回顾性地模拟欠采样，再把模拟数据作为 DL 模型的输入、参考图像作为目标。为了训练这些监督模型，需要在重建图像 x 与参考图像 x_ref 之间定义相似度度量作为损失函数。最常用的是均方误差（mean-squared error, MSE），它度量训练集 Ω 中 x 与 x_ref 之间的 L2 距离（式 14.6）：这里 θ 是网络参数，n_Ω 是训练样本数。MSE 损失虽然易于优化，但常常因为平均效应而产生模糊的重建。为弥补这一缺陷，研究者通常改用 L1 距离或结构相似度指标（structural similarity index measure, SSIM）作为损失以提升结构锐度（式 14.7）。

对抗性损失（adversarial loss）[14] 也在 MRI 重建中获得关注，用于生成具有更好感知质量的图像 [47, 52, 58]。对抗学习的核心是训练一个判别器，去区分"来自重建网络（生成器）的样本"与"来自参考分布的样本"。对抗损失相比 MSE 能生成纹理更锐利、细节更丰富的图像，但已知存在训练不稳定、且容易"幻觉"出不真实伪影的缺点——这对 MRI 重建中保持数据保真度与解剖结构是致命的。因此，对抗损失通常与 MSE、L1 等内容损失联合使用，以同时保证图像内容与感知质量。另一种在数据保真度与感知质量之间折中的方式是 deep network interpolation [45]，通过一个插值系数在参数空间内对两种效果进行权衡。最后，perceptual loss [28] 也被引入用以提升重建细节，它基于 VGG 网络 [53] 的特征表示，并已应用于 CMR 重建 [52]。

讨论：当前 DL-based CMR 重建的若干挑战

本章综述的研究大多展示了 AI 重建算法在心脏成像中的良好进展。这些进展主要源于其强大的高质量图像恢复能力与快速的重建速度——这进一步提升了加速采集的潜力。当前的 DL 方法、特别是学习 unrolled 优化的模型 [4, 12, 27, 43, 50, 56]，已证明在 CMR 重建中优于传统 CS 方法；它们在 PI 中的应用也显示出在快速单次屏气 2D 心脏电影成像方面的潜力。尽管近期发展取得了可喜成果，要把它们真正用于临床，仍有以下挑战需要解决。

临床验证不足：目前大多数 CMR 重建研究在临床实践中的验证非常有限。多数 DL 工作都聚焦在回顾性欠采样、且基于模拟欠采样数据训练得到的模型上做重建。虽然这种回顾性研究能为方法提供初步验证与洞察，但模型在前瞻性欠采样（更贴近临床实际）数据上的表现究竟如何，目前仍不清楚。

多线圈与多维度的真实场景：当前多数针对动态 CMR 重建的 DL 研究仍基于模拟的单线圈采集；只有少数工作开始处理更贴近实际、更常用的多线圈采集。这主要源于多线圈数据带来的额外计算与模型复杂度、以及时间维度的加入。因此，针对 PI-based 动态 CMR 重建的高效 DL 模型仍然非常需要。

采样模式的局限：多数工作研究的是 Cartesian 欠采样模式，而对非均匀欠采样策略——如径向采样（radial sampling）与黄金角采样（golden angle sampling）——的研究仍待加强；这些采样策略在实际的 2D 心脏 MR 加速采集中被广泛使用。

泛化能力：当遇到与训练数据分布明显不同的数据时，DL-based CMR 重建方法的泛化能力是另一个问题。现有研究尚未系统评估：当训练数据来自特定 MR 扫描仪、脉冲序列、成像分辨率或加速倍数时，DL 模型能否泛化到不同采集参数的扫描上。此外，模型在未见过的病理类型上的泛化能力仍待细致研究。例如，在健康队列上训练的模型能否忠实地恢复心血管疾病患者的病理结构？尽管近期有研究 [42] 已经开始向此方向努力、并显示了 DL 方法的泛化潜力，但仍需要更系统、更彻底的评估——包括放射科医生的主观评价——来推动向临床的转化。

训练数据规模：相比传统的优化式 CS 方法，训练 DL 模型通常需要大型训练数据库。然而，对大多数 CMR 图像重建研究来说，这样的训练数据库并不存在；目前多数工作只能依赖小规模训练集、并辅以大量数据增强来弥补。虽然这种策略已被证明有效，但仍可能限制 DL 模型的性能潜力与验证充分性。FastMRI 数据集 [25] 提供了膝部（约 1000 例）与脑部（约 7000 例）MR 图像的大型数据库及其对应的 k-空间数据，为用 AI 加速 MR 成像带来了很好的机会。然而在心脏成像领域，这样的大规模图像与原始 k-空间数据归档仍然缺失——构建大型 CMR 数据库的工作将有助于进一步推动 AI 在该领域的发展。

超越监督学习：自监督学习、无监督学习等超越监督学习的方法，也值得探索，以减少对全采样参考数据的需求；迁移学习与领域自适应中的模型也可被研究，以有效利用其它领域的大规模数据来辅助 CMR 重建。

结论

得益于近年来 AI 技术的进展，心脏图像重建领域也见证了 AI 算法近年来令人振奋的发展。本章以现有的主流 DL-based CMR 重建方法与当前挑战为重点，对这些进展进行了系统综述。尽管面向 CMR 图像重建的 DL 方法尚未达到临床应用的标准、且仍需更彻底的评估，但它们已经显示出在 CMR 图像采集与重建工作流的加速与改进上的巨大潜力。

本章个人批注

本章与第 13 章是连续写作的——13 章给出"用 DL 做图像增强与重建"的通用框架与基础组件（CNN、RNN、UNet、DC 层、前向模型、损失函数等），14 章则把同一个框架聚焦到 CMR 这个具体器官模态上做展开。两者合起来看相当于"通用工具 → 具体应用"的两段式叙述。读完 14 章我有两点最深的印象：第一，作者把 unrolled optimization 按"正则化所在空间"做了一次非常干净的分类——图像域正则化 vs. 互补域正则化，再把图像域正则化内部按"前馈 CNN / 循环 RNN / 运动补偿"做二次切分，最后单独把 k-空间插值这条线拎出来——这种分类是教科书式的，值得在读后续章节（如 33 章 Functional Cardiac MR、34 章 4D Flow）时反复回看，看其它心脏成像任务是不是也能套进这个分类。第二，作者的 Discussion 部分给出的"DL 临床转化障碍"清单（验证不足 / 多线圈欠成熟 / 采样模式单一 / 跨扫描仪泛化 / 病理泛化 / 训练数据规模 / 监督学习依赖）几乎可以原样套到本书的其它 DL 章节上——这或许说明心脏成像 DL 研究的"成熟度断层"是结构性的，不是某一类任务独有的。

需要留意的一个细节是：本章的 k−t NEXT 在第 13 章里也出现过（同一作者 Qin），14 章里给出了与 CS-based k−t FOCUSS、CRNN-MRI、DS+3DCNN 的对比图 14.3——这说明作者团队的研究在两个章节之间是有连续的"性能对照表"在推进的，而不是简单重复叙述。

与上下章的衔接（一段话）

第 13 章给出"DL 用于 MRI 图像增强与重建"的通用框架与基础组件（CNN / RNN / UNet / DC 层 / 前向模型 / 损失函数等），第 14 章则把这一框架聚焦到 CMR 这一具体器官模态，并按"unrolled 优化的正则化空间"做分类（图像域 vs. 互补域），给出 DC-CNN / MoDL / VN / CRNN-MRI / k−t NEXT / MoDL-SToRM / RAKI 等代表性方法的架构与适用场景；第 13 章相当于"通用工具箱"，第 14 章相当于"工具箱在心脏上的具体部署"。第 15 章（Homes & Pourmorteza）把同样的"图像增强 / 图像重建"二分框架换到 CT 模态，对照阅读 14、15 两章能更清楚地看到 DL 重建策略在不同物理采集过程（k-空间 vs. 投影数据）下的共同点与差异。