2022年1月12日整理发布：深度学习在医疗保健领域显示出很多希望，尤其是在医学成像领域，它可以帮助提高诊断患者状况的速度和准确性。但它也面临一个严重的障碍：标记训练数据的短缺。

在医疗环境中，训练数据的成本很高，这使得在许多应用中使用深度学习变得非常困难。

为了克服这一障碍，科学家们探索了不同程度的成功解决方案。在一篇新论文中，谷歌的人工智能研究人员提出了一种新技术，该技术使用自我监督学习来训练医学成像的深度学习模型。早期结果表明，该技术可以减少对注释数据的需求，并提高深度学习模型在医学应用中的性能。

监督预训练

卷积神经网络(CNN) 已被证明在计算机视觉任务中非常有效。谷歌是一直在探索将其用于医学成像的几个组织之一。近年来，该公司的研究部门在眼科、皮肤科、乳房X线照相术和病理学等领域建立了多个医学影像模型。

“将深度学习应用于健康有很多令人兴奋的事情，但它仍然具有挑战性，因为在医疗保健等领域需要高度准确和强大的 DL 模型，”Google Research 的 AI 居民、自我监督的主要作者 Shekoofeh Azizi纸，告诉TechTalks。

深度学习的主要挑战之一是需要大量带注释的数据。大型神经网络需要数百万个标记示例才能达到最佳精度。在医疗环境中，数据标记是一项复杂且成本高昂的工作。

“由于多种原因，在医疗环境中获取这些‘标签’具有挑战性：对于临床专家而言，这可能既耗时又昂贵，而且数据在共享之前必须满足相关的隐私要求，”Azizi 说。

在某些情况下，示例很少开始，而在其他情况下，例如乳腺癌筛查，在拍摄医学图像后，临床结果可能需要很多年才能显现出来。

Azizi 补充说，使医学成像应用的数据需求更加复杂的是训练数据和部署环境之间的分布变化，例如患者群体、疾病流行或表现以及用于成像采集的医疗技术的变化。

解决医疗数据短缺的一种流行方法是使用监督预训练。在这种方法中，CNN 最初是在标记图像数据集(如 ImageNet)上训练的。此阶段将模型层的参数调整为在各种图像中发现的一般模式。然后可以针对目标任务在有限的一组标记示例上对训练后的深度学习模型进行微调。

几项研究表明，有监督的预训练有助于医学成像等标记数据稀缺的应用。然而，有监督的预训练也有其局限性。

“训练医学成像模型的常见范例是迁移学习，其中模型首先使用ImageNet 上的监督学习进行预训练。然而，ImageNet 中的自然图像和医学图像之间存在很大的域转移，之前的研究表明，ImageNet 上的这种监督预训练可能不是开发医学成像模型的最佳选择，”Azizi 说。

自我监督的预训练

近年来，自我监督学习已成为一个有前途的研究领域。在自我监督学习中，深度学习模型无需标签即可学习训练数据的表示。如果做得好，自监督学习在标记数据稀缺而未标记数据丰富的领域中具有很大的优势。

在医疗环境之外，谷歌已经开发了几种自我监督学习技术来训练用于计算机视觉任务的神经网络。其中包括在 ICML 2020 会议上提出的对比学习简单框架 ( SimCLR )。对比学习使用同一图像的不同裁剪和变体来训练神经网络，直到它学习到对变化具有鲁棒性的表示。

在他们的新工作中，谷歌研究团队使用了 SimCLR 框架的一种变体，称为多实例对比学习 (MICLe)，它通过使用相同条件的多个图像来学习更强的表示。这在医学数据集中通常是这种情况，其中有同一患者的多张图像，尽管这些图像可能没有为监督学习进行注释。

“未标记的数据通常在各个医学领域大量可用。一个重要的区别是，我们利用医学成像数据集中常见的潜在病理学的多个视图来构建图像对以进行对比自我监督学习，”Azizi 说。

当自监督深度学习模型在同一目标的不同视角上进行训练时，它会学习到更多的表示，这些表示对视点、成像条件和其他可能对其性能产生负面影响的因素的变化更加鲁棒。

多实例对比学习

谷歌研究人员使用的自我监督学习框架涉及三个步骤。首先，目标神经网络使用 SimCLR 在 ImageNet 数据集中的示例上进行训练。接下来，使用 MICLe 对每个患者有多个图像的医疗数据集进一步训练该模型。最后，该模型在目标应用程序的有限标记图像数据集上进行微调。

医学成像的自我监督预训练

研究人员在两项皮肤病学和胸部 X 光解读任务上测试了该框架。与有监督的预训练相比，自监督方法在医学成像模型的准确性、标签效率和分布外泛化方面提供了显着的改进，这对于临床应用尤为重要。而且它需要更少的标记数据。

“使用自我监督学习，我们表明我们可以显着减少对昂贵的注释数据的需求来构建医学图像分类模型，”Azizi 说。特别是，在皮肤病学任务中，他们能够训练神经网络以匹配基线模型性能，同时仅使用五分之一的注释数据。

“这有望为开发医疗 AI 模型节省大量成本和时间。我们希望这种方法能够激发对获取注释数据一直具有挑战性的新医疗保健应用的探索，”Azizi 说。