一种鬼影方位视觉注意力学习方法技术

本发明专利技术提供一种鬼影方位视觉注意力学习方法。现有方位视觉注意力学习方法依赖卷积运算进行维度变换以及方位信息学习，计算和参数代价都较高。为此，本发明专利技术将轻量的鬼影模块耦合到方位视觉注意力学习方法中，设计降维鬼影模块轻量化压缩特征映射图，随后进行方位信息学习以节约计算和参数代价；设计去冗余鬼影模块降低特征映射图中的冗余信息，能改善特征质量。本发明专利技术作为一种新颖的视觉注意力机制有广泛应用，例如图像目标检测、图像目标识别、图像分割等。分割等。分割等。

【技术实现步骤摘要】
一种鬼影方位视觉注意力学习方法


[0001]本专利技术涉及机器视觉、图像视频应用领域，特别涉及一种鬼影方位视觉注意力学习方法。

技术介绍

[0002]视觉注意力机制能够抑制输入特征图中的不相关区域，同时突出重点区域的特征，能够有效提升神经网络的特征学习能力，但是使用注意力机制往往会增加模型计算量，拖慢运行速度。例如，方位注意力学习机制中采用多个卷积分支学习横纵方向上的长距离依赖关系，即方位融合信息，由于多次使用卷积模型参数和计算量耗费巨大。

技术实现思路

[0003]本专利技术提供一种鬼影方位视觉注意力学习方法，利用轻量化的鬼影模块高效率地融合方位信息并减少特征中冗余信息，提高模型特征的学习能力。如图1所示，所述方法包括：
[0004]步骤1、轻量化鬼影方位信息学习，设计降维鬼影模块实现轻量化的纵向和横向方位信息学习。
[0005]如图2所示，所设计的降维鬼影模块具体做法是：
[0006]步骤1.1、对输入特征图X进行特征降维，获得输出特征图F1，计算如公式(1)所示：
[0007][0008]其中，表示卷积运算，W为I
×
J
×1×
1大小的卷积核，其中I和J＝MAX(8,I/32)分别表示输入X的通道数量，输出F1的通道数量；
[0009]步骤1.2、对步骤1.1得到的输出特征图F1逐个通道进行轻量的线性运算得到F2，其计算如公式(2)所示：
[0010]F2＝[Φ1(F
11
),Φ2(F
12
),...,Φ
n
(F
1n
)], n＝1,...,J (2)
[0011]其中，F
1n
表示F1中第n个通道上的特征图，Φ
n
表示对F
1n
进行线性运算；
[0012]步骤1.3、拼接步骤1.1得到的输出特征图F1和步骤1.2得到的输出特征图F2，得到通道数量为2J的输出特征图Y，计算如公式(3)所示：
[0013]Y＝Concat(F1,F2) (3)
[0014]其中，Concat表示沿通道维度的拼接操作。
[0015]步骤2、轻量化鬼影特征去冗余，设计去冗余鬼影模块减少输入特征图冗余，提升特征质量。
[0016]如图3所示，所设计的去冗余鬼影模块具体做法是：
[0017]步骤2.1、将输入特征图X进行特征转换，获得特征图G1，计算公式如公式(4)所示：
[0018][0019]其中，表示卷积运算，Ω为大小的卷积核，I为X的通道数量，G1的通道
数量则为X的一半；
[0020]步骤2.2、对步骤2.1得到的输出特征图G1逐个通道进行轻量的线性运算得到G2，其计算公式如公式(5)所示：
[0021][0022]其中，表示G1中第n个通道上的特征图，ψ
n
表示对进行线性变换；
[0023]步骤2.3、拼接步骤2.1得到的输出特征图G1和步骤2.2得到的输出特征图G2，得到输出特征图Z，计算如公式(6)所示：
[0024]Z＝Concat(G1,G2) (6)
[0025]其中，Concat表示沿通道维度的拼接操作，输出Z的通道数量为I，与X的通道数量相等。
[0026]采用上述方案后，本专利技术将基于轻量线性变换的鬼影模块耦合到现有方位视觉注意力学习方法，即利用降维鬼影模块替换现有方位视觉注意力中维度变换以及横纵向方位信息学习时卷积运算，即能节约计算和参数代价，又使用去冗余鬼影模块降低特征冗余，能改善特征质量。
附图说明
[0027]图1为本专利技术鬼影方位视觉注意力学习方法的结构框图。
[0028]图2降维鬼影模块结构示意图。
[0029]图3去冗余鬼影模块结构示意图。
[0030]图4为本专利技术的主干特征提取网络示意图。
[0031]图5为特征融合金字塔示意图。
具体实施方式
[0032]如图1所示，本专利技术提供一种鬼影方位视觉注意力学习方法，所述方法具体实施案例如下：
[0033]步骤1、轻量化鬼影方位信息学习，设计降维鬼影模块实现轻量化的纵向和横向方位信息学习。
[0034]如图2所示，所设计的降维鬼影模块具体做法是：
[0035]步骤1.1、对输入特征图X进行特征降维，获得输出特征图F1，计算如公式(1)所示：
[0036][0037]其中，表示卷积运算，W为I
×
J
×1×
1大小的卷积核，其中I和J＝MAX(8,I/32)分别表示输入X的通道数量，输出F1的通道数量；
[0038]步骤1.2、对步骤1.1得到的输出特征图F1逐个通道进行轻量的线性运算得到F2，其计算如公式(2)所示：
[0039]F2＝[Φ1(F
11
),Φ2(F
12
),...,Φ
n
(F1n)],n＝1,...,J (2)
[0040]其中，F
1n
表示F1中第n个通道上的特征图，Φ
n
表示对F
1n
进行线性运算；
[0041]步骤1.3、拼接步骤1.1得到的输出特征图F1和步骤1.2得到的输出特征图F2，得到
通道数量为2J的输出特征图Y，计算如公式(3)所示：
[0042]Y＝Concat(F1,F2) (3)
[0043]其中，Concat表示沿通道维度的拼接操作。
[0044]如图1所示，纵向和横向方位信息学习的具体做法是：
[0045]首先，将输入的特征图X分别进行横向平均池化和纵向平均池化，将横向池化核生成的特征图做转置操作后与纵向池化核生成的特征图进行张量拼接后送入降维鬼影模块降低维度；其次，使用1
×
1卷积进行横纵信息融合；最后，将上一步生成的特征图沿空间切分成两组方位信息张量，并各自将两组张量变换到与X具有相同的通道数后，作为输出的横纵向方位信息。
[0046]步骤2、轻量化鬼影特征去冗余，设计去冗余鬼影模块减少输入特征图冗余，提升特征质量。
[0047]如图3所示，所设计的去冗余鬼影模块具体做法是：
[0048]步骤2.1、将输入特征图X进行特征转换，获得特征图G1，计算公式如公式(4)所示：
[0049][0050]其中，表示卷积运算，Ω为大小的卷积核，I为X的通道数量，G1的通道数量则为X的一半；
[0051]步骤2.2、对步骤2.1得到的输出特征图G1逐个通道进行轻量的线性运算得到G2，其计算公式如公式(5)所示：
[0052][0053]其中，表示G1中第n个通道上的特征图，ψ
n
表示对进行线性变换；
[0054]步骤2.3、拼接步骤2.1得到的输出特征图G1和步骤2.2得到的输出特征图G2，得到输出特征图Z，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鬼影方位视觉注意力学习方法，其特征在于：将轻量的鬼影模块耦合到方位视觉注意力学习方法中，所述方法包括：步骤1.1、轻量化鬼影方位信息学习，设计降维鬼影模块实现轻量化的纵向和横向方位信息学习；步骤1.2、轻量化鬼影特征去冗余，设计去冗余鬼影模块减少输入特征图冗余，提升特征质量。2.根据权利要求1所述的一种鬼影方位视觉注意力学习方法，其特征在于：所述步骤1.1中的降维鬼影模块构建过程如下：步骤2.1、对输入特征图X进行特征降维，获得输出特征图F1，计算如公式(1)所示：其中，表示卷积运算，W为I
×
J
×1×
1大小的卷积核，其中I和J＝MAX(8,I/32)分别表示输入X的通道数量，输出F1的通道数量；步骤2.2、对步骤2.1得到的输出特征图F1逐个通道进行轻量的线性运算得到F2，其计算如公式(2)所示：其中，F
1n
表示F1中第n个通道上的特征图，Φ
n
表示对F
1n
进行线性运算；步骤2.3...

【专利技术属性】
技术研发人员：朱建清，陈永平，许荣衔，陈继平，曾焕强，杜吉祥，廖昀，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：