注意力和自注意力机制的区别是什么呢?

Question

如题所述

Answer 1

注意力和自注意力机制的区别是概念和存在意义。如下所示：

注意力机制：主要是引入了注意力机制这个概念，比较有代表性的是SENet。通过对每一个特征层进行全局池化，再到全连接层中找特征之间的联系，最后得到权重划分。

自注意力机制：主要是根据两两之间的关系来引入权重，在通道、空间两个层面，通过计算每个单元通道与通道之间、像素点与像素点之间的值，来加强两两之间的联系，进而提高精确度语义分割。

视觉注意力机制：

视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。