【CVPR2021】Coordinate Attention for Efficient Mobile Network Design
🗿

【CVPR2021】Coordinate Attention for Efficient Mobile Network Design

论文简要:

🔥
本文提出了 Coordinate Attention 坐标注意力机制,通过将位置信息嵌入通道注意力中,为移动网络设计提供了一种高效的注意力机制。

本文方法:

🧐
坐标注意力(Coordinate Attention)通过将通道注意力分解为两个一维特征编码过程,可以捕捉到一个空间方向上的长程依赖关系,同时保留另一个空间方向上的精确位置信息。
假设给定输入特征图为 ,其中 分别表示高度、宽度和通道数。坐标注意力机制会将输入特征图分解为两个一维特征编码,即 两个维度上的注意力。
notion image
Coordinate Information Embedding:该操作通过在输入特征图 上进行全局池化来分别捕捉到特征图在水平和垂直方向上的全局信息,用来调整通道的重要性。具体而言,给定输入特征图 ,我们使用两个空间大小为 的池化核分别沿着水平坐标和垂直坐标对特征图 每个通道进行编码,从而得到两个嵌入后的信息特征图。
因此,第 c 个通道在高度 h 处的输出可以表示为:
类似地,第 c 个通道在宽度 w 处的输出可以表示为:
上述两个变换分别沿着两个空间方向聚合特征,得到一对具有方向感知性的特征图。这与通道注意力方法中产生单个特征向量的挤压操作有所不同。这两个变换还允许我们的注意力模块沿着一个空间方向捕捉长程依赖关系,并沿着另一个空间方向保留精确的位置信息,从而帮助网络更准确地定位感兴趣的对象。
notion image
Coordinate Attention Generation:将得到的两个嵌入特征图 沿着空间维度进行拼接,经过 卷积变换后激活;随后,沿着空间维度进行 Split 操作得到两个分离的特征图,再对它们进行 transform 和 sigmoid;最后,得到了注意力向量 ,详细描述如下所示:
notion image