1、引言
注意力机制是将计算资源偏向地分配给数据信息中重要信息部分的一种策略。当人们看一张照片时，人类大脑的注意力机制会让机体更容易关注到照片中的物体这个重要信息，而忽略掉一些次要的信息，这是因为人类的大脑会根据机体的兴趣和需求来调节注意力的分配。在这个过程中，可能会忽略掉一些不太重要或者不起眼的细节，而只关注那些更加显眼或者更加引人注目的信息。
这种注意力机制的灵活性和可适应性使人类能够更好地适应外部环境，并更好地理解和处理信息。引入注意力机制，可以帮助神经网络模型更好地模拟人类大脑的注意力偏向，从而增加模型对于输入数据中重要信息的关注度，从而提高模型的性能和效率。
.jpg%3Ftable%3Dblock%26id%3D240e61cb-3120-4871-8c2c-7b66d6c71851%26cache%3Dv2&w=1920&q=75)
2、基本原理
注意力机制是一种模拟人类注意力分配的机制，它可以使神经网络更加关注重要的信息，从而提高模型的性能。其主要原理可以分为两部分，分别是：
- 计算注意力权重：注意力机制首先需要根据输入信息计算出每个输入信息的重要性权重，通常可以使用一个可学习的参数矩阵来表示注意力权重；
- 计算加权输出：将注意力权重与输入数据信息相乘，得到加权后的数据。这个过程可以理解为对输入数据进行加权平均，其中权重表示了每个输入数据的重要性。
最后，将加权后的数据送入神经网络中进行计算，得到最终的输出结果。
3、相关论文研读
写了六篇博客，第一篇还没整理成博客。
tip: 【CVPR2018】Non-local Neural Networks:
本文首次把NLP中 Transformer 的注意力引入到CV领域
tip: 推荐结合视频学习：SENet讲解【CVPR2018】Squeeze-and-Excitation Networks
tip: 推荐结合视频学习：SKNet讲解【ICCV2019】Selective Kernel Networks
tip: 分别在空间维度和通道维度计算attention，然的并行【CVPR2019】Dual Attention Network for Scene Segmentation
2021年以后，Transformer研究逐渐成为主流，单纯研究 attention 的顶会顶刊论文就比较少了。