【技术实现步骤摘要】
本专利技术涉及人工智能，具体为一种基于交叉注意力机制的跨层特征融合方法，涉及机器视觉的目标检测领域。
技术介绍
1、在深度卷积神经网络(cnn)中，通过多层卷积和池化操作，图像经过不同层次的特征提取，形成了具有不同语义层次的特征图，为了更好地捕捉目标的全局和局部信息，以及解决尺度变化等问题，特征融合技术被引入，对于不同层次的特征图对应不同尺度的信息，特征融合有助于将多尺度信息结合起来，提高算法对尺度变化的适应能力。
2、高层次的特征图通常包含更丰富的语义信息，通过特征融合可以使算法更好地理解图像中物体的类别和结构，融合不同层次的特征可以增强对目标的空间位置信息的感知，提高位置精度，目前大多数特征融合采用的方法如特征级联、特征相加等方法，现有的特征融合方法缺少特征图之间的交互或者联系，只是简单的物理拼接，并没有起到实现特征融合的作用。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种基于交叉注意力机制的跨层特征融合方法，解决了现有的特征融合方法缺少特征图之间的交互或者联系，只是简单的物理拼接，并没有起到实现特征融合的作用的问题。
3、(二)技术方案
4、为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于交叉注意力机制的跨层特征融合方法，具体包括以下步骤：
5、步骤一、矩阵获取：获取不同阶段的特征图f1和特征图f2，以及与特征图f1对应的矩阵x1和与特征图f2对应的矩阵x2；>
6、步骤二、矩阵变换：对矩阵x1使用线性变换矩阵计算得到矩阵q1、k1、v1，对矩阵x2使用线性变换矩阵计算得到矩阵q2、k2、v2；
7、步骤三、交叉注意力计算：使用多头注意力机制multihead attention计算交叉注意力：分别计算q1与k2、v2的注意力矩阵x′1和q2与k1、v1的注意力矩阵x'2；
8、步骤四、交叉注意力特征图计算：分别计算矩阵x′1和矩阵x'2通过残差连接与线性变换所得到特征图f1的交叉注意力特征图f′1和特征图f2的交叉注意力特征图f′2；
9、步骤五、特征图融合拼接：对交叉注意力特征图f′1和f′2进行融合：采用concat串联方法对特征图f′1和特征图f′2进行通道连接获得特征图f＝concat(f′1,f′2)。
10、本专利技术进一步设置为：所述步骤二中矩阵q1、k1、v1和q2、k2、v2的计算公式包括：
11、
12、其中wqi,wki,wvi,i＝1,2为可学习参数。
13、本专利技术进一步设置为：所述步骤三中注意力矩阵x′1计算方法为：
14、x1'＝multihead(q1,k2,v2)＝concat(head11,...,head1h)，其中h代表有h个注意力头；
15、head1i＝attention(q1i,k2i,v2i),i＝1,...,h，其中，head1i代表第i个
16、注意力头的注意力矩阵；
17、其中，dk是矩阵q1i、k2i的列数。
18、本专利技术进一步设置为：所述步骤三中注意力矩阵x'2计算方法为：
19、x'2＝multihead(q2,k1,v1)＝concat(head21,...,head2h)，其中h代表有h个注意力头；
20、head2i＝attention(q2i,k1i,v1i),i＝1,...,h，其中，head2i代表第i个注意力头的注意力矩阵；
21、其中，dk是矩阵q2i、k1i的列数。
22、本专利技术进一步设置为：所述步骤四中交叉注意力特征图f′1的计算方法为：
23、a11＝add(x1,x′1)＝x1+x′1，其中，add(·)代表的是做残差连接；
24、l11＝linear(a11)＝(x1+x1')w11+b11，其中，linear(·)代表的是做线性变换，w11和
25、b11为可学习参数；
26、l12＝linear(l11)＝l11w12+b12，其中，w12和b12为可学习参数；
27、f′1＝add(a11,l12)＝a11+l12。
28、本专利技术进一步设置为：所述步骤四中交叉注意力特征图f′2的计算方法为：
29、a21＝add(x2,x2')＝x2+x2'，其中，add(·)代表的是做残差连接；
30、l21＝linear(a21)＝(x2+x2')w21+b21，其中，linear(·)代表的是做线性变换，w21
31、和b21为可学习参数；
32、l22＝linear(l21)＝l21w22+b22，其中，w22和b22为可学习参数；
33、f2'＝add(a21,l22)＝a21+l22。
34、(三)有益效果
35、本专利技术提供了一种基于交叉注意力机制的跨层特征融合方法。具备以下
36、有益效果：
37、本专利技术通过利用交叉注意力机制建立不同阶段特征图之间的关联信息，通过自动学习不同阶段特征之间的关联，可以充分挖掘特征之间的复杂关系，可以缓解现有的特征融合方法缺少特征图之间的交互或者联系的问题，以此实现更加有效的特征融合。
本文档来自技高网...【技术保护点】
1.一种基于交叉注意力机制的跨层特征融合方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤二中矩阵Q1、K1、V1和Q2、K2、V2的计算公式包括：
3.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤三中注意力矩阵X'1计算方法为：
4.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤三中注意力矩阵X'2计算方法为：
5.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤四中交叉注意力特征图F1'的计算方法为：
6.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤四中交叉注意力特征图F2'的计算方法为：
【技术特征摘要】
1.一种基于交叉注意力机制的跨层特征融合方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤二中矩阵q1、k1、v1和q2、k2、v2的计算公式包括：
3.根据权利要求1所述的一种基于交叉注意力机制的跨层特征融合方法，其特征在于：所述步骤三中注意力矩阵x'1计算方法为：
4.根据权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。