【ARXIV2306】MedAugment: Universal Automatic Data Augmentation Plug-in for Medical Image Analysis

论文简要：

🧐

数据增强（DA）已被广泛应用于计算机视觉领域，以缓解数据短缺问题，而在医学图像分析（MIA）中的数据增强面临着多重挑战。

📎

MIA 中普遍采用的数据增强方法包括通用数据增强和生成对抗网络（GAN）数据增强。前一种方法主要基于经验，而后一种方法可能受到无法量化的合成质量和模式崩溃的影响（简言之，生成数据难以用于图像分割）。

💡

本文了一种即插即用、名为 MedAugment 的自动数据增强方法，用于医学图像分析，通过构建不同的增强空间和操作采样策略，解决了自然图像增强方法在医学图像上的不适用性，并在分类和分割任务上取得了优于现有方法的结果。

动机：

为什么研究医学图像分析的数据增强：导致MIA普遍数据不足的原因可能有两方面。一方面，收集和标记医学图像可能需要昂贵的设备和医学专家的干预。另一方面，由于患者隐私的关注，医学图像很少公开可用。

用于医学图像分析的通用数据增强方法：构建不同的数据增强流程存在一些挑战，操作的选择、顺序调整和幅度确定往往需要依靠经验进行手动设计，对于没有深度学习基础的人员来说可能不太适用。

自动数据增强、生成对抗网络（GAN）数据增强：自然图像和医学图像之间存在较大的差异，这些方法最初设计用于自然图像，并不能直接应用于医学图像分析领域，在医学图像分析的核心任务——图像分割上会存在较差表现。同时，GAN 在使用小型数据集进行像素级掩膜合成时可能面临合成图像评估和模型训练质量方面的挑战。

如图所示，展示了 MedAugment 更适用于医学图像，而现有方法可能会产生不真实的增强图像。在最坏的情况下，一些增强图像可能因过多的噪声或信息不足而变得毫无意义。这些增强图像可能会被DL模型正确识别，但从医学角度来看被认为是无意义的。

本文方法：

整体框架：

如图所示，MedAugment 中设计了两个增强空间和，分别包含六个和八个数据增强操作。

同时，本文还设计了一种新的操作采样策略，以限制每次采样的敏感操作数量。MedAugment 由个增强分支和一个单独的分支组成，用于保留原始图像信息。

MedAgument 只需一个超参数来控制，即增强级别。本文设计了一种新的映射方法，让既控制每个数据增强操作的最大幅度，又控制相应的概率。

需要注意，一些操作（如水平翻转）并没有幅度的概念。

总之，MedAugment 通过采样策略、操作组合和增强幅度三种方式引入了随机性。对于每个分支，MedAugment 首先使用开发的采样策略来采样数据增强操作，然后对采样的操作进行洗牌。最后，洗牌后的操作按顺序实施。数据增强操作的最大幅度和概率由控制，对于每个图像，操作幅度在最大幅度范围内均匀采样。

增强空间：

基于自然图像设计的数据增强操作，并非全部适用于医学图像分析，作者逐个筛选排除不适用于医学图像分析的操作，例如反转、均衡化和反相等，这些操作可能破坏医学图像中的细节和特征。

本文将数据增强操作分为像素级和空间级的操作，并构建了两个增强空间和，分别包含六个和八个数据增强操作。具体操作如下：

= { 亮度、对比度、色调分离、锐度、高斯模糊、高斯噪声 }

= { 旋转、水平翻转、垂直翻转、缩放、水平平移、垂直平移、水平错切、垂直错切 }

需要注意，中的数据增强操作不适用于 Mask。

采样策略：

由于医学图像对亮度等属性非常敏感，并且作者观察到中连续的操作可能会导致不真实的输出医学图像，因此本文设计了一种新颖的操作采样策略，用于从和中采样操作。

具体而言，我们为每个分支随机采样 M 个 DA 操作，其中从采样的操作数量不超过一个。对于任何连续的DA操作，连续操作的数量始终需要仔细权衡。使用大量操作可能进一步增强模型的泛化能力，但是大量连续操作可能会生成远离原始图像的图像。

因此，我们确定 M = 3 作为上限。此外，M = 1 是没有意义的，因为它降级为没有任何组合的单个操作。考虑到这些因素，作者将 M 设置为 {2, 3}，从和中采样的 N = 4 种组合生成了1 + 2、0 + 3、1 + 1和0 + 2。

为了可扩展性，我们设计了MedAugment中的N可以扩展到其他值，而采样设置为替换采样。还可以屏蔽单独的分支。通过设置N = 1并屏蔽单独的分支，我们可以配置MedAugment执行一对一的增强。

超参数映射：

为了使用单个超参数来调节 MedAugment，本文设计了一种新颖的映射方式，以确定每个操作的最大幅度和概率。

作者根据医学图像的特点，逐个设计了每种操作情况的映射关系，以确定适用于医学图像的。根据观察，对于一些操作（如Posterize），医学图像对幅度的敏感性特别高。当剩余位数减少时，增强图像的质量会迅速下降。因此，作者经过大量实验，精心设计了这些类型的 DA 操作的幅度，以确保生成的增强图像保持其重要性。对于给定，DA 操作在和中的和之间的映射关系如下表所示。的值越大，增强效果越明显。