跳转至

第15章:基于人工智能的 CT 图像增强与重建(AI-Based Image Enhancement and Reconstruction in Computed Tomography Imaging)

Material Decomposition(材料分解)

本节先界定材料分解这一任务在 x 射线 CT 中的含义:基于能谱 CT 图像去估计每个体素对应的元素结构与组成 [5, 6]。能谱 CT 利用了不同材料线性衰减系数对光子能量的依赖性 [7];通过引入 k-edge 信息(高 Z 元素线性衰减系数上的尖锐不连续点),可以把能谱图像分解成更多的材料分布图。k-edge 通常出现在对比剂中,如钆、碘、金、铋。除了定位与刻画对比剂,材料分解还可以定量钙及其他体内元素,用于评估骨密度、肾结石、肝铁浓度、血流灌注、冠状动脉钙化与斑块,以及乳腺癌 [8]。这是后续 AI 用于材料分解的物理与临床基础。

作者随后给出两个具体网络实现作为示例。Lyu 等人利用双能 CT(DECT)低能和高能图像之间的冗余信息,提出用一连串神经网络只以低能图像加一张高能投影作为输入去重建 DECT 图像,目的是降低患者辐射剂量并让常规单能 CT 也能产出 DECT [7]。CNN 学到了复杂非线性映射能力是材料分解(图 15.7)能在不同高能图像上正确分配材料的关键。Absacal 等人则提出只用骨与软组织两种材料的分解方法,同时利用重建图像和各个投影的能谱分量来做分解 [8],分解之后再单独重建出材料分布图;网络预测图与真实图之间的差异图像展示在图 15.8 中,其中基于图像的 U-Net-I 重建表现更好。

Image Denoising(图像去噪)

CT 中噪声不可避免但可降低。噪声被定义为原本均匀图像像素值上不期望的变化,分两类:量子噪声(光子产生、衰减及探测过程,服从泊松分布)与探测器噪声(电子元件热涨落,服从高斯分布)[9]。噪声水平由探测到的光子数决定,受患者体型、层厚、管电流、管电压以及球管设计等参数影响。增加光子数能降噪但代价是剂量增加;临床上常需要在可接受的剂量下获得噪声尽可能低的图像,当剂量优先级压过图像噪声时,去噪算法就成了弥补手段。

作者列出三种典型去噪思路。Leuschner 等人展示了典型的后处理式去噪流程——把噪声图作为输入,把降噪图作为输出 [9];这种做法能改善整体评估指标,但会在结果图里引入伪影(图 15.9),表现为细节丢失与边缘模糊,可能反而妨碍临床判读。Kang 等人把方向性小波引入神经网络 [10]:假设网络能捕捉噪声的方向分量,然后对每个方向施加相应的变换以去除该方向上的噪声;预处理后图像进入网络,方向小波变换实际把网络切成若干小段,每段专门调谐某一方向的噪声(图 15.10)。作者报告,相较没有小波分解的同类网络,该方法在降噪上有改进。Choe 等人则训练网络输出噪声(或残差)图像,再用它从原始噪声图中减去,得到降噪图;该方案在相似重建核上有效,但局限是无法跨核(soft 到 sharp kernel)通用。

Image Quality Assessment(图像质量评估)

图像质量是指成像系统能在多大程度上无失真地捕捉被数字化的真实物体,其测量分两类:主观的人眼评估与客观的算法/机器评估,后者可以调节成模仿人眼主观感受,这正是 AI 适合的场景。本节与前一节形成对照——前面章节的 NN 都是在输入/输出图像对上训练的,本节介绍的 NN 是被设计为评估输入图像质量并输出质量图、质量指标或置信度。这类方法此前已在非医学的照片和视频上应用,近期被迁移到医学 CT 上。

Patwari 等人把 CNN 用于 CT 重建算法输出图像的自动质量评估(图 15.11):CNN 学习参考图像与含大量量子噪声重建图像之间的相似度分数,把这个相似度作为噪声图像的质量参考分 [12]。Li 等人提出无参考方法,用常见的 AlexNet 对模拟不同采集剂量与噪声水平的图像做质量评估(图 15.12),其方法明确使用整图而非图块,理由是图像质量评估是整体概念,分块无法提供充分表征 [13];结果显示网络能给出可靠评估,但作者也提醒单张图像质量指标未必能替代图像本身的诊断价值。

Image Reconstruction(图像重建总论)

x 射线 CT 图像重建本质上就是把从不同角度采集到的同一物体多个投影拼成一张二维断层图像 [14]。CT 检查量增加意味着群体辐射暴露增加,对年轻患者尤其成问题 [15]。因此剂量降低技术被开发出来,包括按体型与器官自动调节管电流的自动曝光控制、可调的光子束整形滤片,以及面向患者与任务的采集参数优化。

重建技术分两大类:滤波反投影(FBP)和迭代重建(IR)。图像重建的演进史已被多篇文献回顾 [14, 15],其中一种较新的、并不总是落在 FBP 或 IR 之内的方法使用了 AI。所有重建方法都不是精确解,而是要在精度与计算时间之间取折中。无论是否基于 AI,重建算法都不应损害 CT 采集的诊断性能,因为重建图直接决定了临床判读能力 [16]。把 AI 用于 CT 重建的独特机会在于:它有望以远低于 IR 算法的计算时间产出图像。

作者接着发出重要的方法论警告:任何非 FBP 重建算法都引入了某种先验知识或对输出图像的假设;IR 算法的假设较易理解,而 NN 算法引入的假设和先验则较难解释,所以对 NN 类算法应保持高度谨慎。AI 图像重建在照片修复(in-painting)任务中很有吸引力——损坏区域被 AI 凭"应该是这样"补上;但同样的"补全"在 CT 上却很危险——把被极端噪声或金属伪影污染的区域用 AI 假设填充会损害诊断。可惜市面上已经有不少 AI CT 重建与伪影削减算法正在做这种补全。作者明确表态:本章不收录这类算法。他们主张一个 AI 重建算法应当附带一张"置信度图",告诉用户图中每个体素有多少信息来自实测投影、多少来自 AI 对"图像应该长什么样"的先验;好的重建算法应当对那些网络无法可靠估计真实值的体素输出"我不知道"。本章后续把用于 CT 重建的 NN 分成四大类:图像域、投影域、混合域,以及 AI 驱动的迭代正则化。

Image-Domain Reconstruction(图像域重建)

图像域机器学习重建通常用于辅助降噪或削减伪影,也可以用于生成新图像或基于先验进一步精修图像。这一过程复杂之处在于:新 x 射线图像数据的生成涉及非线性成像模型,覆盖了光子能量相关相互作用造成的多种损失与变化;AI 技术能够建模大量非线性映射特征,从而近似一个不同物理模型下的成像结果。

Cong 等人设计了一种图像域重建,学习一个非线性变换,把多能 CT 图像映射到预设能量水平的单能 sinogram [17],从单一多能图像重建出能量依赖的衰减图。这可以理解为一种高级的束硬化校正图:把多能图像数据集转成指定能量的虚拟单能图像(VMI)数据集 [17]。VMI 通常由双能 CT(DECT)或光子计数 CT(PCCT)生成,对材料沿光子衰减曲线多次采样得到一系列 VMI;VMI 能降低束硬化和小金属伪影,同时提高对比剂的可分离度。当临床机构只有传统 CT、没有 DECT 或 PCCT 时,这个 NN 就有用。其限制在于每个单能 sinogram 都需要一个独立的 NN 来训练与验证。

另一种图像域重建与改良的 DECT 思路结合,用于降低患者整体辐射暴露。其核心假设是:单个融合图像可由半扫描范围生成,其中低能与高能投影各来自非重叠的四分之一扫描,两个四分之一投影合起来做限角度重建,再融合成一张 CT 图像 [18](图 15.13)。融合图随后被送入一个双分支 U-Net 网络,输入是单图,输出是两个能量依赖的图像——一个高能 CT 图像与一个低能 CT 图像,网络结构见图 15.14。该思路与实现都很有趣,但训练周期长、对算力与显存需求大,并且要求训练与测试时高低管电压保持一致,还依赖于融合 CT 图像的成功生成。如果融合图本身质量差、含有部分扫描带来的重建伪影,那么 NN 对低能与高能图像的预测也会被各种伪影污染。

Projection-Domain Reconstruction(投影域重建)

投影域 AI 重建直接利用 x 射线 CT 采集产生的 sinogram。FBP 在投影采集条件最优时是数学上精确的重建算法。这里的 NN 采用一种数据驱动的斜坡滤波思路,目标是最小化图像域内的损失;其设计目标是模仿 FBP 在理想条件下能生成的图像重建结果,但适用于非理想条件。这类重建 NN 的一个典型应用场景就是稀疏与截断投影数据。稀疏视角采集与全视角 CT 的对比见图 15.15,其中投影数减少非常直观 [19]。这类数据集也叫压缩感知,可作为降低患者辐射剂量的手段。

Podgorsak 等人训练了一个网络,用截断的投影数据作为输入、用完整数据集重建出的图像作为目标去做缺失数据的"in-painting" [20]。如果直接把截断数据丢给 FBP,重建图像会因投影域采样不全而带伪影;网络被设计成生成缺失投影并输出修正后的 sinogram,再用 FBP 做重建。训练时同时使用完整采样与不完整投影数据,帮助网络识别缺失数据需要恢复的位置。这种方法有意思之处在于:NN 自身并不完成重建,而是为后续重建算法生成更干净的输入,从而获得质量更高、伪影更少的图像。

Lossau 等人 [21] 在投影空间引入另一条削减伪影的管线,使用三个 NN 的流水线来处理起搏器植入物带来的金属伪影以及心脏引入的运动伪影(图 15.16)。第一个 NN 在原始投影图上分割金属阴影;第二个 NN 拿到金属分割 mask 后,对受金属影响的投影图做"in-painting",填入预测的线积分;第三个 NN 基于分割出的金属 mask 在图像域中确定金属物体的位置。为训练该网络,作者准备了两套临床数据:第一套来自装了起搏器的患者,从中提取金属导线的位置与走线;第二套来自没有起搏器的患者;把第一套的导线叠加到第二套上作为网络输入,没有导线的数据作为网络目标。作者认为,这种复杂问题如果只用单个 NN,多半做不出来。

Wei 等人 [22] 构建了一个 NN,能在治疗中近乎实时跟踪肿瘤,使用来自规划阶段的全 CT 图像,然后基于单张投影生成更新后的图像(图 15.17);该方法用规划期 4D CT cine 图像中的肿瘤 mask 把网络注意力集中到相关像素上。训练完成后,新投影图与已知投影角度一起送入网络,输出更新后的 CT 图像。因为网络纳入了时序图像,它能预测并补偿呼吸与心跳运动。这种应用很有价值:治疗过程中准确定位肿瘤很重要,减少投影数则可以同时降低患者与周围医务人员的剂量。一个限制因素是每位患者都需要单独训练和验证一个 NN,因为肿瘤与其他解剖结构的位置因人而异,治疗不同阶段肿瘤大小和组成也会变。作者提示:使用之前成功网络权重的迁移学习可能是加速训练、稳定结果的途径。

Hybrid-Domain Reconstruction(混合域重建)

混合域重建技术把来自其他方法的图像域先验与投影域 sinogram 一起纳入系统,让系统在利用投影数据改善图像质量的同时对重建图像有一个先验预期。这种方式的优势在于可以同时利用图像域或投影域中各自领域特异的信息,使两个域的信息互为补充。

Hu 等人 [23] 给出了一个混合域稀疏视角投影数据的应用。整个流程分几步:首先用 NN 对缺失投影数据做"in-painting",生成近似的全视角投影数据;然后用这些近似数据做一次初步重建,得到一个带较少条纹伪影的初始重建图;最后把这个初始重建作为下一个网络的输入,进一步改善细节特征。整体做法是:在投影域补齐缺失数据,然后在图像域做特征保持。所用的 U-Net 与整体流程见图 15.18。作者指出该混合方法的一个问题是没有反馈机制去强制重建图像与原始投影数据之间的一致性。

Zhang 等人 [24] 针对有限角度(limited-angle)数据进行处理。这种数据会有显著的条纹伪影——实际问题中 CT 数据采集角度受物体尺寸、x 射线穿透能力以及扫描系统灵活性限制,如乳腺摄影和大螺距螺旋 CT 都是典型场景。其解决方案由三部分组成:作用于 sinogram 数据的 NN、域变换操作,以及作用于图像域的 NN(图 15.19)。sinogram 数据分支的 NN 学习一个加权滤波后的 sinogram 以生成缺失投影;域变换操作是用于投影与图像域之间数据互换的解析算法;图像域分支的 NN 负责削减重建与条纹伪影。这种方法有前景,但当 CT 系统几何参数发生变化时网络需要重训。

AI-Driven Iterative Regularization Reconstruction(AI 驱动的迭代正则化重建)

迭代重建(IR)基于更完整的成像系统模型,以递归方式纳入成像与传感器物理以及噪声统计信息去生成最佳图像。它常被称为模型基图像重建(MBIR)或统计图像重建(SIR),算法里有一个反馈环节,根据代价函数与一组惩罚项(即"正则项")的最小化去更新对物体的先验信息。这类迭代方法通常假设图像重建参数落在线性流形内,而医学图像实际表现出高度非线性 [25]。这种数学模型与各物理因素之间不可避免的失配源自探测器响应的非线性、光子散射事件、电子噪声等 [26]。为了处理代价函数与惩罚项的非线性,已经发展出 AI 重建方法,用以更准确地调整驱动正则项的参数。

Chen 等人 [27] 把 AI 用于评估与更新稀疏数据 CT 采集下的迭代重建:把欠采样的投影域数据不经预处理直接喂入 NN,正则项与平衡参数在迭代间相互依赖。这种迭代依赖很重要,因为按作者的设计,迭代次数被固定——理由是他们认为 NN 本身并非黑箱,而是依据物理、数学与应用相关知识挑选出来的 [27]。网络整体结构见图 15.20,每个迭代块由一个独立的三层 CNN 构成。其优势在于有限迭代次数可以缩短计算时间,但若输入投影数据与训练图像差异过大,重建出的图像质量也可能较差。

Shen 等人 [28] 给出更具灵活性的做法,让 AI 在迭代重建算法输出基础上再调参数:使用全变分(TV)迭代重建做实际重建,再用网络分析输出图像块以提升重建性能。NN 的"动作选择"采用强化学习策略,让算法基于图像块与期望目标自行决策以获得奖励 [28]。网络结构见图 15.21,输入是图像块,输出是 TV 重建在下一次迭代中要执行的动作。该方法的一个关键约束是 NN 必须在迭代过程结束后才能调整参数,这降低了整体工作流效率并增加了计算时间。

He 等人把模型基迭代重建用于低剂量投影数据集,并引入 AI:用 NN 构造关于投影数据与重建图像的先验假设以辅助 MBIR。这些 NN 也在每次迭代时更新以辅助整体重建任务,采用了图 15.22 所示的残差型 CNN 块结构。本质上,NN 在把 sinogram 送入 MBIR 算法之前先对其去噪、改善图像质量。NN 生成的先验是 MBIR 的重要因素,但要实现成功重建还需考虑其他迭代参数 [29]。作者指出,用于生成先验信息的残差 CNN 块数量必须在重建前确定,这个数量与数据和噪声水平直接相关,但块数过多会带来过拟合风险。

Conclusion(结论)

AI 在 CT 成像中的应用继续展示其多样性与实用性,这一点清晰反映在为不同医学 CT 成像任务开发的 NN 类型与思路的多样性上。作者把本章讨论的方法按 NN 输入与输出分成两大类:图像增强与图像重建。基于 NN 的图像增强指那些从当前图像中提取已有信息并产生更有意义结果的技术;而基于 AI 的图像重建则关注从一系列图像出发生成更有意义的图像。无论属于哪一类应用、解决哪一项具体任务,前提都是对作为 NN 输入的初始信息以及对期望输出有充足的先验知识。作者发出警示:即便 NN 展示了成功,也未必提供了足够的测试与验证来证明它足够稳健、足以胜任该问题。

本章个人批注

本章给我留下三点最深的印象。首先,作者在"Image Reconstruction"总论里那段对 AI in-painting 在 CT 上的警示非常值得记住——它把 photo in-painting 与 CT in-painting 明确区分开:照片里"网络觉得应该这样"可以接受,CT 里把金属/极端噪声区域用网络假设填回去就破坏了诊断可追溯性。这与 Kambadakone [16] 提到的"剂量降低不等于牺牲诊断"是一体两面,但作者把它具象成"confidence map"与"I do not know" voxel,是更可操作的提法。其次,作者本章特意不收录那些"做 in-painting 的 AI 重建算法",这是一种主动的方法论选边,而不是技术覆盖不全;这种诚实比把所有 NN 方案一锅端更有价值。最后,材料分解与去噪两节里都出现了"AI 看似能解决问题但引入新伪影"的对照——Leuschner 后处理式去噪会把细节模糊、Kang 用方向小波是绕开这个问题的尝试;Absacal 的 U-Net-I 在骨/软组织二材料分解上比 U-Net-P 表现更好。这些"AI 解决了一个问题但带出新问题"的细节对评估 AI 工具非常实用,远比单纯报"PSNR 提升 X dB"更有信息量。

我也注意到一些章节内部的留白。源文中 Image Reconstruction 总论之后紧接的四个分类小节(Image-Domain / Projection-Domain / Hybrid-Domain / AI-Driven Iterative Regularization)的边界并不总是清晰的——例如 Zhang 等人 [24] 的有限角度重建在源文里被归在 Hybrid-Domain,但其在投影域补齐缺失数据这一动作也属于 Projection-Domain 的范畴;又如 Wei 等人 [22] 的肿瘤跟踪既用到了 Planning 4D-CT(图像域信息)也用到了单张 CBCT projection(投影域),归类上其实更接近 Hybrid-Domain 而不是纯粹的 Projection-Domain,但作者选择把它放在 Projection-Domain 一节。本章对这些归类的边界并不严格,我在转述时也按源文节标题保留。

另一个值得记下来的细节:作者把"AI-based noise reduction"放到 Contrast Medium Optimization 那一章(ch16)去讨论,本章 ch15 内的 Image Denoising 主要是图像后处理式降噪。两章的去噪定位不同——ch15 是"在已经采集到的图上去噪",ch16 是"用 AI 去噪算法换取更低的 CM 剂量"。这两个差别不在本章源文里,是我在阅读时为理解整体走向做的关联,记在这里以便未来回看。

与上下章的衔接(一段话)

本章是整本书 Part II "AI 应用于 CT 和 MR 物理"中关于 CT 重建的核心章节,紧接上一章 ch14 "AI-Based Image Reconstruction in Cardiac MR"——两章都是 AI 重建,但 ch14 聚焦心脏 MR 的特定重建任务(CMR 重建、运动补偿、加速采集等),ch15 则把视野扩大到全身 CT 的重建与增强任务,并把重建按输入输出域拆成四大类:图像域、投影域、混合域与 AI 驱动的迭代正则化。这种安排在叙事上是自然的延续——ch14 用心脏 MR 给出 AI 重建的具体应用切片,ch15 回到通用 CT 重建,给出更系统的分类与方法学讨论;下一章 ch16 "AI-Based Contrast Medium Optimization" 则把 AI 在 CT 中的角色从"重建与增强"延伸到"对比剂个体化",是用 AI 解决剂量与对比剂优化的另一个核心议题,与 ch15 的去噪、剂量降低议题形成呼应。