论文简要:
SENet(Squeeze-and-Excitation Networks)是由胡杰等人在2017年提出的一种卷积神经网络模型,并在2017年的ImageNet挑战赛上获得冠军。
SENet 的核心关键在于它所提出的 SE 模块(Squeeze-and-Excitation Module)可以自适应地学习每个通道的重要性,使网络更加关注重要的特征,在不增加网络参数和计算复杂度的情况下提高分类准确率。
本文方法:
SE 模块(Squeeze-and-Excitation Module)自适应地学习每个通道的重要性,使网络更加关注重要的特征。SE模块由四个步骤组成:Transformation、Squeeze、Excitation和Scale。
首先,Transformation 通过简单的卷积操作对输入的特征图进行变换。设输入特征图为 ,其中 、、 分别表示高度、宽度和通道数,通过变换得到特征图为 ,以便后续操作。
接下来,挤压(Squeeze)操作通过全局平均池化(GAP)操作来计算 每个通道的特征图的全局平均值,将输入特征图的空间维度压缩为一个特征向量,得到一个全局描述向量 。全局描述向量代表了每个通道的全局统计信息,计算公式如下:
然后,激励(Excitation)操作通过两个全连接层来学习通道之间的关系,并生成一个通道权重向量,这个通道权重向量表示了每个通道的重要性。
在这个过程中,先将全局描述向量 经过一层全连接层降维到一个较小的维度(),并经过 Relu 激活函数得到中间层。这里涉及到了一个超参数 r,它会直接 SE 模块影响参数的数量。据作者证实,在 r = 16 的情况下效果最优。然后,还需要再经过一层全连接层,将其升维回原始维度,并在最后使用 Sigmoid 激活函数将输出映射到0到1的范围内,得到通道权重向量 。
最后,Scale 是将输入特征图 与通道权重向量 进行相乘操作,即将权重施加在每一个通道上,得到加权后的特征图。模型在学习过程中就可以自适应地调整每个通道的重要性,从而提升模型的表达能力。
其中 是加权后的特征图, 表示输入特征图 和输出特征图 中的每个位置, 表示通道。最后, 将被传入到下一层神经网络进行进一步处理。