本发明专利技术提供一种掩码引导的频域‑空域混合网络目标跟踪方法，涉及模式识别、计算机视觉领域，包括：将包括搜索图像和模板图像的图像对进行视觉特征提取，分别获得多层多分辨率的搜索分支特征和模板分支特征；融合提取的多层多分辨率的搜索分支特征和模板分支特征，获得融合后的骨干网络特征；将模板掩码与模板图像堆叠，编码生成可学习的模板掩码向量；将融合后的骨干网络特征与生成的模板掩码向量共同输入到频域‑空域注意力交互模块，以促进模板分支特征和搜索分支特征的充分交互与增强，生成最终搜索分支特征；将生成的最终搜索分支特征输入到跟踪预测头网络，生成待跟踪目标框的坐标。本发明专利技术能够提升目标跟踪性能。
【技术实现步骤摘要】
本专利技术涉及模式识别、计算机视觉领域，具体涉及一种掩码引导的频域-空域混合网络目标跟踪方法。
技术介绍
1、目标跟踪广泛应用于自动驾驶、视频监控和无人机跟踪等领域。尽管深度学习的发展催生了多种有效的目标跟踪方法，但在诸如遮挡、尺度变化、相似干扰物及运动模糊等复杂场景中，目标跟踪仍然面临诸多挑战。
2、近年来，基于孪生网络的目标跟踪方法备受关注。这种方法将目标跟踪建模为相似性匹配任务，实现了精度与速度的平衡。具体而言，基于孪生网络的跟踪方法利用两个共享参数的骨干网络，分别从模板和搜索区域图像中提取视觉特征，然后对这些特征进行交互与增强，以获得最终的搜索区域特征，随后将其输入跟踪预测头网络，最终得到待跟踪目标框的坐标。
3、现有的跟踪方法通常采用小尺寸模板以突出目标的特定特征，同时使用大尺寸搜索区域以包含周围环境信息。然而，小尺寸模板可能导致关键上下文信息的丢失，例如忽略目标周围的干扰物。而直接扩大模板图像的大小并不可行，因为这会引入过多的背景干扰信息，可能阻碍跟踪模型学习用于精确定位目标的判别性特征。
>4、此外，骨干网络本文档来自技高网...
【技术保护点】
1.一种掩码引导的频域-空域混合网络目标跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种掩码引导的频域-空域混合网络目标跟踪方法，其特征在于，所述步骤2中的频域-空域特征融合模块FSF为两个，两个频域-空域特征融合模块FSF迭代聚合三层骨干网络特征，融合后的特征表示为，UpSample和DownSample分别表示上采样和下采样，以保持不同层骨干网络特征分辨率的一致性；为融合后的模板分支特征，为融合后的搜索分支特征，, 分别为输入骨干网络的模板图像的高，宽；, 则分别为输入骨干网络的搜索图像的高，宽；为骨干网络输出视觉特征的步长；融合过程表示为：
...
【技术特征摘要】
1.一种掩码引导的频域-空域混合网络目标跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种掩码引导的频域-空域混合网络目标跟踪方法，其特征在于，所述步骤2中的频域-空域特征融合模块fsf为两个，两个频域-空域特征融合模块fsf迭代聚合三层骨干网络特征，融合后的特征表示为，upsample和downsample分别表示上采样和下采样，以保持不同层骨干网络特征分辨率的一致性；为融合后的模板分支特征，为融合后的搜索分支特征，, 分别为输入骨干网络的模板图像的高，宽；, 则分别为输入骨干网络的搜索图像的高，宽；为骨干网络输出视觉特征的步长；融合过程表示为：
3.根据权利要求2所述的一种掩码引导的频域-空域混合网络目标跟踪方法，其特征在于，全局上下文操作g使用全局平均池化将特征大小为h×w的特征压缩为一个大小为1×1的标量，然后经过一个两层的1×1卷积；所述1×1标量包含特征的全局上下文信息；同时，使用一个两层的1×1卷积作为局部上下文操作 l，其以空间方式为每个像素位置聚合上下文信息；局部上下文操作l产生的特征具有与初始特征相同的分辨率，使得能够保留和强调详细信息。
4.根据权利要求2所述...
【专利技术属性】
技术研发人员：凌强，熊佳兵，刘彬辉，刘源，方毅，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。