基于自适应交叉注意力的水下目标跟踪方法与系统技术方案

本发明专利技术公开了一种基于自适应交叉注意力的水下目标跟踪方法与系统。本发明专利技术针对水下复杂环境设计了水下目标跟踪算法SACAM，通过使用主干网络结合自适应交叉注意力模块ACAM，搜索分支和模板分支分别将通过通道注意力后的权重进行共享，使两分支相互影响以达到模板自适应，提高特征提取的可靠性；通过特征分层聚合对浅层与深层的特征融合；通过改进的无锚框策略对被跟踪目标进行分类与边界框预测。实验表明，本发明专利技术能够稳定、可靠地用于复杂环水下境状态中的目标跟踪任务，为实时且有效地实现水下目标跟踪任务提供了可靠方法，具有较高的跟踪成功率和实用推广性。跟踪成功率和实用推广性。跟踪成功率和实用推广性。

【技术实现步骤摘要】
基于自适应交叉注意力的水下目标跟踪方法与系统


[0001]本专利技术属于数字图像处理领域，具体涉及一种基于自适应交叉注意力的水下目标跟踪方法与系统。

技术介绍

[0002]传统的水下目标跟踪方法根据成像方式不同，主要分为基于声呐图像和基于光电传感器的水下目标检测与跟踪。在获取被跟踪物体的具体信息(距离、方位、频率等)后，通过滤波算法对物体的速度、位置、加速度等状态进行连续的估计与预测。由于水下环境的特殊性，一般使用非线性滤波算法对物体进行状态估计。随着光学视觉设备与深度学习的发展，基于自然图像与深度学习的目标跟踪方法也逐渐得到应用。
[0003]目前，陆上环境中基于深度学习的目标跟踪技术发展如火如荼，随着卷积神经网络的升级，神经网络的特征提取能力已远超传统手工特征，而基于孪生网络的单目标跟踪也在近年得到长足发展。其中端到端的SiamFC算法由于其速度和精度的平衡受到了科研人员更多的关注，被视为基于孪生网络的单目标跟踪领域的开山之作，后续出现的大量算法也在其基础上做了改进。在边界框回归上，SiamRPN引入区域候选网络RPN，实现利用锚框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应交叉注意力的水下目标跟踪方法，其特征在于，包括步骤如下：将主干网络提取的多个层次的模板帧特征T与搜索帧特征S分别通过对应的自适应交叉注意力ACAM模块，得到各层次两分支相互影响后的特征；所述ACAM模块对于具体的模板帧特征T与搜索帧特征S的计算方式包括：将T和S分别通过通道注意力得到权重M
CT
和M
CS
，将特征T和S分别与通道注意力权重相乘后生成的新特征T1和S1；将T1和S1通过空间注意力得到权重M
ST
和M
SS
，将特征T1和S1分别与空间注意力权重相乘后生成的新特征T2和S2；交换两个分支的通道注意力权重使两分支自适应引导，将特征T和S分别与交换后的通道注意力权重相乘后生成的新特征T
CS
和S
CT
；将T2与T
CS
相加得到影响后的特征T3，将S2与S
CT
相加得到影响后的特征S3；将多个层次经过ACAM模块得到的特征进行分层聚合，得到融合后的模板特征与搜索特征；将融合后的模板特征与搜索特征输入到分类头与回归头中得到分类响应图与回归响应图，利用优化的FCOS算法进行无锚框边界预测得到跟踪结果；所述优化的FCOS算法采用以目标中心位置为圆心的圆形区域作为正负样本分类方式；所述分类响应图中每个像素点对应一个搜索子窗口，每个得分表示目标在相应子窗口的置信度；所述回归响应图为四个与分类响应图相同尺度的矩阵，分别代表每个像素点对应图片中心位置到四个边界的距离。2.根据权利要求1所述的基于自适应交叉注意力的水下目标跟踪方法，其特征在于，所述分层聚合是采用最大池化方式使不同层次的特征具有相同的尺度，并在通道维度上进行拼接，最后使用卷积操作调整通道数，得到融合后的输出特征。3.根据权利要求1所述的基于自适应交叉注意力的水下目标跟踪方法，其特征在于，ACAM模块获取特征的计算方式如下：其中，σ(
·
)为Sigmoid激活函数，δ(
·
)为Relu激活函数，与为模板分支MLP中的两层参数，与为搜索分支MLP中的两层参数；将原分支输入特征与通道注意力权重相乘后生成的新特征T1，S1，计算如下：将新生成的特征送入空间注意力模块，将经过平均池化和最大池化的输入特征融合后卷积，得到空间位置权重，具体计算方式为：
其中，Conv为卷积操作，Concat为拼接操作；将两个分支通过空间注意力的新特征图分别记为T2，S2，计算方式如下：通道注意力权重共享可以使模板分支与搜索分支相互影响，通过交换两个分支的权重使两分支自适应引导，以获取更可靠的结果，计算方式如下：ACAM模块的模板分支与搜索分支分别通过自适应交叉注意力模块，最终输出如下：4.根据权利要求1所述的基于自适应交叉注意力的水下目标跟踪方法，其特征在于，使用ResNet
‑
50作为主干网络并将后三层特征通过自适应交叉注意力ACAM模块，将经过ACAM模块的三个输出特征进行分层聚合，具体为：分层聚合的三个输入分别ResNet
‑
50中的后三层特征，通过ACAM模块后计算如下：其中，T3,S3、T4,S4、T5,S5分别为ResNet
‑
50提取的第三、第四、第五层模板帧特征与搜索帧特征；采用最大池化，使第三、第四层输出与第五层输出有相同的尺度，接着将三层调整后的特征在通道维度上进行拼接，最后使用卷积操作调整通道数，得到融合三层信息的输出特征：5.根据权利要求1所述的基于自适应交叉注意力的水下目标跟踪方法，其特征在于，圆形区域的半径R的定义如下：R＝min(g
w
,g
h
)/β其中，g
w
,g
h
分别为中心点到ground
‑
truth的宽和高，β...

【专利技术属性】
技术研发人员：王慧斌，贾钦旭，陈哲，王鑫，张振，
申请(专利权)人：河海大学，
类型：发明
国别省市：