第53章：如何撰写和评审一篇人工智能论文（How to Write and Review an Artificial Intelligence Paper）
算法特性（Algorithm Characteristics）
作者首先强调要在方法学中提供算法层面的可重复信息，量化是 AI 论文写作中最易被忽视的环节。一个常见且应在方法学中明确报告的环节是数据增强（data augmentation）：当训练数据稀缺或获取成本高昂时（这在放射学 AI 项目中很常见），通过对已有训练样本进行几何变换、强度扰动、添加伪影等手段生成额外的训练样本，可扩充训练集。更重要的是，作为一种副作用，数据增强能帮助缓解过拟合（overfitting）——过拟合指模型把训练数据的细微特征学得太死，导致在训练集本身上表现完美、却无法泛化到未见过的数据。数据增强通过给算法提供同一数据的多种"视角"来缓解过拟合，但这一前提是新生成的模拟数据要能代表真实世界数据。作者举了远端桡骨骨折检测的例子：在源数据有限时，添加略微旋转的拷贝有助于模型，因为前臂在真实扫描中也会呈现轻微的角度变异。最后，所有预处理步骤，如裁剪图像，都必须在方法学中写明。
总结来说，方法学中要描述算法的关键特征，细节程度取决于期刊的范围。即使是偏临床的期刊，也应在方法学中给出基本信息；详尽的技术细节则可放在补充材料中或引用同一算法的技术性论文。
样本量估算（Sample Size Motivation）
功效分析（power analysis）旨在确定检测统计学效应所需的样本量，使用时需先定义预估的效应大小和期望的置信度。尽管样本量估算是许多科学指南的组成部分，但绝大多数 ML 研究并未显式进行样本量计算，往往基于"便利样本"。在最近一项把 ML 应用于医学影像的综述中，167 篇文章中只有 4 篇（2.4%）明确讨论过样本量确定方法（Balki 等 [2]）。事实上，要估计达到期望模型性能所需的数据量非常困难，因为涉及的参数过多。所以计算机科学家通常遵循"数据越多越好"的原则。
作者列出可作为参照的五项指标来帮助确定合适的样本量。第一是任务复杂度：人眼容易解决的任务通常不需要太多数据。文中给出的例子是——在只含黑白像素的样本中把像素分类为黑或白 = 高信噪比（SNR）。反之，在全身 CT 扫描中检测仅占几个体素的微小肿瘤（= 低信噪比）通常需要大量数据。第二是模型复杂度：有多个层和特征参数的深度卷积神经网络（DCNN）比只有少量输入参数的线性回归模型需要更多样本。第三是期望的模型性能：通常更多样本会提升性能，但也要注意样本采集可能代价昂贵，且提升到一定程度后边际收益变小，不符合成本效益分析。依据算法的最终用途并结合领域知识，可以提前定义一个"够用就好"的性能水平。第四是数据质量：样本质量越高，所需样本越少。第五是已有文献：即相似项目所使用的样本量。AI 在放射学中的部署越来越多，可作为参照的项目也很多——文中提到"有大量信息可参考"。
虽然 ML 领域目前没有"易答"，样本量也仍主要凭经验或数据可得性来确定，但上述参考点至少能提供一些指引。
训练、验证和测试数据集的划分（Specification of Training, Validation, and Testing Datasets）
ML 算法开发需要数据用于训练、验证和测试。研究人员应明确说明数据如何划分到这三类。和样本量确定一样，划分比例尚无统一标准。文中给出了两种常见的划分比例 [训练-验证-测试]：80%–10%–10% 和 60%–20%–20%，前者（80%–10%–10%）在数据有限时更可取。同所有研究一样，需要给出详细的纳入和排除标准。
验证集的作用是在尝试不同超参数时评估模型拟合程度。文中举例：研究人员可以评估不同学习率对模型性能的影响。为尽可能多地把数据用于训练，可以采用交叉验证：把原本用于训练和验证的样本合在一起，用该数据集的不同子集分别训练模型，互补的数据用于验证，并重复这一过程。当样本稀缺时交叉验证尤其有用。由于交叉验证方法众多，研究人员需要详细说明使用的方法。
测试集必须与其他数据集严格分开，其目的是在训练完成、模型超参数和参数都已固定之后，给出最终模型性能和泛化能力的现实估计。测试集的严格分离也是美国 FDA 对基于 ML 的计算机辅助检测设备进行监管批准的必要条件 [7]。方法学中必须写明测试集是如何实现完全独立的。
最后作者指出，"验证集（validation dataset）"和"模型的外部验证（external validation）"这两个术语常被混淆。前者是上面提到的算法开发中使用的数据集的一部分；后者则用于在外部数据上证明方法的泛化能力，理想情况下由独立研究人员完成。这一步骤在算法分发前至关重要，因为不同放射科和不同硬件厂商之间的采集参数差异很大（见第 10 点）。
真实标签（Ground Truth）
ML 研究中一个关键考量是参考标准或真实标签（ground truth）的选择和质量。由于有监督 ML 算法只学习训练数据中的关系，真实标签的质量是算法性能的制约因素，因此极为重要。作者建议在 AI 项目一开始时就投入一些精力，基于领域知识制定真实标签的编制规则，并确保所有参与者充分理解这些规则；因此所有相关人员之间的沟通非常关键。在方法学中，研究人员应明确说明真实标签是如何、由谁标注的，包括每位观察者的经验水平。经验以年计，通常从获得专科资质起算；放射科住培医师的经验可以以培训年级（PGY）表示，PGY-3 即第三年住院医师。
观察者间变异性（interobserver variability）是放射学中已知的现象，必须加以处理。方法学中要说明分歧是如何解决的（可要求观察者达成共识，或由第三方观察者裁定），并最好给出变异程度的量化。以一项自动化心脏分割 AI 项目为例，可以由三位共同作者对随机抽样的 25 个左心室进行标注，并计算一致性度量，如 Dice 相似系数（见第 7 点）。此外，还要给出用于定义参考标准的软件信息（如 DICOM 查看器）的细节——软件、版本、所用包。
若使用了已有的标签（如来自放射学报告或电子病历），则应进行结构化的质量检查以确认标签的有效性。具体地，如果一个研究项目依赖放射学报告来识别高级别冠脉狭窄，那么这些病例中至少应有一小部分由胜任的观察者进行严格且可视化的复核。即使是使用公共数据集，也应做此类复核——已有研究表明公共数据集的质量参差不齐。
一般建议实施某种审计工作流，以确保参考标准被复核过，必要时予以纠正。在方法学中描述该工作流会提高论文质量。鉴于 ground truth 在 ML 中的重要性，存疑时应宁可多写不可少写。此外，在讨论部分中反思所选方法及其弱点也是良好的实践。
结果的报告（Reporting of Results）
在放射学中，AI 算法主要应用于三类任务。分类——如区分健康与患病个体；检测——如 CT 扫描中的肿瘤；分割——如心脏 MRI 中的左心室。
对分类任务，应在预先指定的分类阈值下，提供包含真阳性、真阴性、假阳性、假阴性个数的混淆矩阵，这与传统的诊断性研究类似。许多相关的性能指标都基于这些信息计算。ML 文献中有两个术语有时与标准术语有出入：作者明确指出灵敏度（sensitivity）被称为"recall"（召回率），阳性预测值（PPV）被称为"precision"（精确率）。作者可以选用任一套术语，但应在整篇手稿中保持一致。
F1 分数是灵敏度和 PPV 的复合度量。只有当算法既灵敏、阳性预测又有较高概率正确时，F1 才会取较高值。F1 不容易被单纯向灵敏度方向"刷分"所欺骗，因此推荐使用。另一个标准指标是受试者工作特征（ROC）曲线下面积（AUC）。ROC 把参数的灵敏度（Y 轴）对 1-特异性（X 轴）在多个阈值设定下作图，因此代表了灵敏度与特异性之间固有的折中。技术上来讲，AUC 取值范围在 0（所有预测都错）到 1（所有预测都对）之间。实际中，由于一个全错预测的算法只要把结果反过来就是完美分类器，因此 AUC = 0.5 等同于无用的分类器。同样，在二分类问题中（如患者是否患病），抛硬币也能得到 50% 的灵敏度——解读结果时务必记住这一点。
对分割任务，交并比（IoU）是重要概念，定义为 A∩B / A∪B——即把算法预测与 ground truth 之间共有的像素/体素数除以两个 mask 中所有像素/体素的总数（分别计数）。其他重要度量包括 Dice 系数（AI 生成轮廓与参考轮廓的重叠程度，与 IoU 类似）、平均轮廓距离（两分割轮廓之间的平均距离）和 Hausdorff 距离（两分割轮廓之间的最大距离）。
无论使用何种指标，置信区间应在摘要中尽早报告，让读者能评估结论的精度。若要缩小区间，可往测试集中加入更多样本。对于已有公认替代方法的任务，应提供与该方法的比较，理想情况下是把旧方法应用到当前研究的测试集上。或者可通过把新方法应用到公共数据集或参加公开竞赛来展示其性能。退一步，至少应提及旧方法在前文报告中的性能度量，并讨论可比性。
结果是否可解释？（Are the Results Explainable?）
AI 常被与"黑箱"一词联系起来。这一比喻源自模型复杂度，产生了"输入—黑箱处理—输出"这种用户体验。对最先进的深度学习算法而言尤其如此。然而"黑箱"的比喻并不准确——任何算法底层的运行机制都是已知的，事实上都是被设计出来的。作者强调：这不应阻碍研究者和读者去问"结果是否可解释"。
在深度学习的语境下，显著性图（saliency maps）这一概念可被用于高亮图像中对算法"决策"贡献最大的区域，也即对输出影响最大的区域。这种对模型预测的可视化反馈对于判断网络学到的究竟是反映病理生理特征的模式、还是某些生物学上未知、可能无关的模式十分重要。当重要治疗决策依赖算法输出时，这一点尤为关键。
在放射学中，结果可解释性最重要的评估方法是由领域专家对输出进行细致的视觉复核。这样做也有助于发现算法失败的原因并提出对策。作者举了冠脉钙化定量的例子：如果一项用于 CT 冠脉钙化定量的算法，其假阳性主要来自主动脉钙化，那么把该算法与一个分割主动脉的算法组合即可显著提升性能。因此，对假阳性和假阴性原因的子分析能加强研究文章的分量。
结果能否以及是否会被用于临床场景？（Can and Will the Results be Applied in a Clinical Setting?）
为解决特定临床问题而设计的 ML 研究应明确考虑结果能否被应用于真实临床环境。这包含两个重要方面，作者分别展开。
第一，应讨论算法开发和测试中使用的数据集对最终临床应用场景的代表性。任何偏倚来源都应被指出和讨论，特别是类别不平衡（class imbalance）和谱偏倚（spectrum bias）——后者指因病例组合不同而造成的性能差异。这凸显了对数据集进行详尽描述的必要性（见第 5 点）。同时还应讨论各地区在影像协议、放射学硬件和临床指南上的差异可能带来的影响。综合这些因素，可更精确地指出算法可临床使用的患者人群。
第二，研究者应提供算法在临床落地的前置条件。作者列出三类考量：算法的可获得性（如本地部署还是云端方案）、结果返回的速度（实时还是有延迟）、以及结果的可视化方式以便审阅模型预测。作者借消费电子产品的开发做类比：首先应明确用户身份并考虑算法将被应用的具体场景。此外还应反思用户交互：若用户被漫长的等待、过多假警报、或又得登录另一套软件所劝退，他们会无视算法，无论其性能有多好。一般而言，把算法结果集成到临床标准工作流所用的软件中是个值得推崇的方向。此外，良好、自解释的用户界面与结果可视化有助于获得接受度。
作者最后指出，学界越来越认识到，算法开发只是让 AI 在放射学中落地的第一步，且通常更容易的部分。因此这些面向临床落地的考量应至少出现在讨论部分。在以诊断性能为重点的可行性研究中，当然也可以仅做几句评论。
性能是否可泛化？（Is the Performance Generalizable?）
在放射学领域，ML 模型的开发和测试多在本地可用数据的便利样本上进行。虽然这些报告中许多展示了令人鼓舞的结果，但仍有必要在其他——最好是来自多个地区、独立机构与研究者的——数据集上额外检验方法的外泛化能力。
外部验证对考察模型在多方面的稳健性至关重要：不同厂商和机构间图像采集与重建方法的差异、转诊模式的差异、以及目标疾病患病率的变化。研究人员需对外部验证所用数据给出完整细节，包括医院类型、采集图像所用硬件、患者人口学和疾病严重程度。
反过来，作者也认为在本地临床使用外部开发的算法前对其进行充分验证是值得推荐的——尤其当算法结果被用于自动化分析、并直接进入临床决策流程时。另一种选择是明确只为特定问题开发一个本地解决方案，并不追求进一步分发和泛化，但这会限制该方法对科学界的意义。即便没有做外部验证，也应说明原因。
是否有证据表明模型对患者管理和结局有影响？（Is there any Evidence that the Model Has an Effect on Patient Management and Outcomes?）
虽然诊断精度考察通常是 ML 算法开发的第一步之一，研究者和读者都应扪心自问：是否有证据或前景表明算法会对患者结局产生影响。这对用于治疗推荐和关键发现检测的算法尤其重要。
这其实是把"能否用于临床场景"（第 9 点）的讨论再推进一步：即使一个算法具有很高的诊断性能、并已良好嵌入放射学工作流，也并不等于它对患者结局有影响。文中列出可能阻碍真实世界影响的原因：放射科医师对结果的传达延迟、临床工作流不健全、转诊医师工作负荷过重等。因此，应从全局视角审视算法最终如何为更好的患者管理做出贡献。
理想情况下，对患者管理和结局的影响应在前瞻性临床试验中考察，包括在没有和使用该算法的两段时期进行评估。所有利益相关方的紧密合作，以及对放射学报告和沟通结果如何影响临床照护流程的深入理解，对真正让患者获益至关重要。即使是聚焦纯诊断性能的研究文章，也可以就"算法如何产生影响"做一段简短的反思。
代码是否可获得？（Is the Code Available?）
关于 ML 模型设计和功能的透明度是获得接受度的关键要素。把计算机代码开放给其他研究者是通向这一目标的重要一步，也日益成为获得资助、以及在高水平同行评审期刊上发表的条件之一。作者认为这在多方面是好的做法：其他研究者可据此考察可复现性、将其用于自己的研究、或者在已有代码基础上构建改进版本。此外，把软件代码上传到具备版本控制功能的平台可以长期记录模型的演化过程。文中举的范例是 GitHub（github.com）——它带有基本的代码质量检查和版本控制功能。
在科学论文中，研究者应明确说明其算法源代码是否将开放。若开放，需指出在何处、何时、以何种条件开放；若不开放，则需给出具体理由。
核查清单（Checklist）
Box 53.1 中给出的核查清单源自上一节中的各项考量，目的是为作者和审稿人提供一份易用的工具。清单按照研究文章的标准章节结构组织。
本章个人批注
这一章在结构上比较特殊——它没有走"背景→方法→结果→讨论"的传统叙事线，而是按"考量点（considerations）"逐条铺陈，相当于把一份"AI 论文评审 check-list"展开成了正文。这种写法在跨章的实用指南类章节里很常见，但要求读者耐心地一条条跟读。章末给出的 Box 53.1 实质上就是一份自检表，章节前半部分则把每一条背后的"为什么"讲清楚。
整章贯穿的核心矛盾其实是一个"科学性 vs 实用性"的张力：传统放射学论文的套路是诊断准确性、置信区间、与金标准对比；而 AI 论文额外背负一系列 ML 特有的要求——训练/验证/测试的严格隔离、ground truth 质量的审计、显著性图或视觉复核作为"可解释性"补足、外部泛化、代码开放、甚至对患者结局的影响证据。这些要求更接近软件工程和监管科学的规范，而不是单纯的诊断学。这从外部验证要"在多个地区独立机构上做"、以及 FDA 单独被点名（reference 7）就看得出来。
有意思的是第 10 点"可泛化性"里有一条"如果你不想分发，那就只做本地版本，论文里写明原因即可"——这其实在悄悄承认，并不是所有 AI 论文都必须有外泛化的野心。当一项 AI 工具的真正价值在于嵌入本院 PACS、本地人群、本地扫描协议时，作者建议研究者直接承认这一点，而不是堆叠一个并不打算落地的"多中心验证"。这条建议在伦理上也比较稳健——它避免了对"普适性"的虚假承诺。
最后，章末没有把"可解释性"和"对患者结局有影响"放在一处，而是把后者单列为第 11 点（原文标注是"no. 11"，但本章只到 no. 11 内部编号）。两者的差别在于：可解释性问的是"模型学到了什么、为什么这么判"，而对结局的影响问的是"这一判读到了临床上真的改变了什么吗"。即使把显著性图做得漂漂亮亮、放射科医师的视觉复核也顺利通过，也不等于算法对患者照护真的有用——这是把 AI 论文从"性能展示"推进到"价值证明"的关键一步，也是从放射学/影像学进入循证医学话语的一步。
与上下章的衔接（一段话）
第 53 章处于这本论文集的"后部实践"区间，紧接的是第 52 章"伦理考量"、第 51 章"商业化与知识产权"，往后再到第 54 章"AI 时代的网络安全"和第 55 章"重塑心胸影像学"。把第 53 章放在 49-52 章（法规、隐私、卫生经济学、商业化、伦理）之后，逻辑很顺——前面几章都在讨论"AI 落地有哪些非技术约束"，这一章则把视角收回到研究者本人：既然有了法规、伦理和商业化框架，那一篇 AI 论文应当如何被写、被审、被读。它实质上是一份"给研究者本人的方法学指南"，所以作者把它排在"AI 落地"主题群的最后，再自然过渡到第 54 章的网络安全（涉及 AI 自身被攻击/被防御），以及第 55 章的对整个心胸影像学领域的展望。可以把 49-52 章看作"环境约束"，53-54 章看作"从业者守则与新风险"，55 章看作收束性展望。