一种基于通道注意力的空间注意力计算方法技术

本发明专利技术公开了一种基于通道注意力的空间注意力计算方法，涉及深度卷积神经网络技术领域，设计通道注意力模块前向推导出通道注意力图和通道细化特征图。本发明专利技术根据通道注意力图，双分支空间注意力模块将通道细化特征图的通道分组，分为重要通道和次重要通道。这使得空间注意力和通道注意力有机地联系起来。接着将分好的通道组进行一系列的非线性操作，进而获得一个二维空间注意力图。本发明专利技术使得空间注意力和通道注意力紧密有机的联系起来，便于嵌入到目前任意主流的深度卷积神经网络中，提升网络模型的性能表现。网络模型的性能表现。网络模型的性能表现。

【技术实现步骤摘要】
一种基于通道注意力的空间注意力计算方法


[0001]本专利技术涉及深度卷积神经网络、通道注意力以及空间注意力
，尤其是一种基于通道注意力的空间注意力计算方法。

技术介绍

[0002]在过去的几年里，许多学者都热衷于探索更深的神经网络来提升模型在视觉任务上的性能表现。然而，随着神经网络层数的加深，其在图像分类，目标检测等视觉任务上的精度并没有显著提升，即网络性能表现的提升幅度与网络层数的加深程度并不是正比关系。
[0003]在生物医学界有研究者发现，在人类视觉系统中，注意力机制在获取重要信息方面发挥着重要作用。受到这种现象的启发，许多学者尝试着在深度卷积神经网络中结合注意力机制来提升模型性能。在这些学者的工作中，其中最具代表性的就是2017年由Hu et al.提出的Squeeze
‑
and
‑
Excitation(SENet)。该注意力模块针对特征图的通道维度进行关键特征的加强，进而在图像分类任务上提升模型性能表现。SENet是一个较轻量化嵌入式注意力模块，该模块可以嵌入当前任意主流的深度卷积网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道注意力的空间注意力计算方法，其特征在于：包括以下步骤：步骤1：获取通道注意力图和通道细化特征图；步骤2：对对步骤1中得到的通道细化特征图的通道进行分组，将通道细化特征图的通道分为重要特征和次重要特征；步骤3：对步骤2中得到的重要特征和次重要特征均进行通道轴方向的平均池化和最大池化操作；将各自的两种池化结果进行特征聚合；步骤4：将步骤3中得到的聚合后的结果经过一层共享卷积层，进而生成一对空间特征描述符；步骤5：对步骤4中获得的这对空间特征描述符进行非线性操作，即经过BN层和ReLU层；步骤6：将步骤5中得到的这两个空间特征描述符进行通道维度上的聚合，再经过一层卷积层，进而获得空间注意力描述子；步骤7：将步骤6中得到的空间注意力描述子经过BN层，ReLU层和Sigmoid层，进而获得了一个2D的空间注意力图。2.根据权利要求1所述的一种基于通道注意力的空间注意力计算方法，其特征在于：在步骤1中获取的通道注意力图和通道细化特征均由SENet或ECA模块前向推导生成；其中，通道注意力图是一个1D向量，向量中的每一个值对应于通道细化特征中对应通道的重要程度。3.根据权利要求1所述的一种基于通道注意力的空间注意力计算方法，其特征在于：在步骤2中采用通道分离技术对通道细化特征的通道分组，分为重要特征和次重要特征，具体操作步骤包括：(1)获得通道细化特征图的通道维度，即通道数C；(2)引入超参数：分离率λ，该参数是重要通道和次重要通道的分界线；将通道数和分离率相乘，取乘积的最近偶数，获得重要通道的数量C
im
；使用通道数减去重要通道数，获得次重要通道数C
subim
；上述的计算过程如公式(1)和(2)所示：C
im
＝|C
·
λ|
even
ꢀꢀꢀꢀ
(1)C
subim
＝C
‑
C
im
C
subim
＝C
‑
C
im
ꢀꢀꢀꢀ
(2)其中|t|
even
表示距离t值最近的偶数；(3)在通道注意力图中找到前C
im
个最大的值，同时在这C
im
个大值里面确定最小的值m；(4)将通道注意力图中的值和m进行比较，大于或等于m的值重新赋为1，小于m的值重新赋为0，从而获得了重要通道掩码important_mask；(5)将通道注意力图中的值和m进行比较，大于或等于m的值重新赋为0，小于m的值重新赋为1，从而获得了次重要通道掩码sub
‑
important_mask；(6)将重要通道掩码和次重要通道掩码分别和通道细化特征图进行元素相乘，进而获得重要特征和次重要特征。4.根据权利要...

【专利技术属性】
技术研发人员：李国强，方奇，查琳琳，
申请(专利权)人：燕山大学，
类型：发明
国别省市：