基于孪生网络的卫星视频目标跟踪方法、设备及软件产品技术

本发明专利技术公开了一种基于孪生网络的卫星视频目标跟踪方法、设备及软件产品，基于孪生网络、时序信息模块、轨迹预测模块和遮挡判断模块来完成目标跟踪任务。本发明专利技术基于孪生网络，提取模板图像、搜素图像和时序信息特征。通过引入的时序信息和时序信息模块，本发明专利技术提取到更具有判别性的模板特征，提升模型精确匹配的能力；此外，本发明专利技术通过引入基于目标大小自适应的遮挡判断模块和一种简单但有效地轨迹预测模块，有效地解决了目标被频繁遮挡的问题，进一步提升了模型的效率和泛化性。

【技术实现步骤摘要】

本专利技术属于遥感图像处理，涉及一种卫星视频目标跟踪方法、设备及软件产品，尤其涉及一种基于孪生网络结合时序信息和轨迹预测的卫星视频目标跟踪方法、设备及软件产品。

技术介绍

1、卫星视频单目标跟踪技术是在初始帧选定一个感兴趣的目标，在后续帧中持续给出该目标所处的状态。目标跟踪通常被用于军事战略决策、灾害应急、智慧交通等多个领域[1],[2]。由于卫星视频数据具有图幅范围大的特点，目标难以“逃逸”成像范围，故卫星视频目标跟踪具有广泛的应用前景，尤其是在国防军事领域有重要价值。

2、相较于传统相机，卫星视频面临着新的挑战，主要体现在三个方面：1)目标微小，特征模糊；2)大量相似性目标且背景杂乱；3)遮挡问题严重。现有的卫星视频目标跟踪方法致力于解决上述三方面问题。现有工作主要可分为两大类别：首先，是基于传统核滤波方法[3],[4]，这种方法通过在线训练一个滤波器提取目标特征并对搜索图像进行滤波，响应值最高的位置即为目标所在位置。然而，传统核滤波方法提取的手工特征难以表达目标深层次的丰富信息，跟踪性能不够鲁棒。其次，是基于深度学习的方法，主流的工作是基本文档来自技高网...

【技术保护点】

1.一种基于孪生网络的卫星视频目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于孪生网络的卫星视频目标跟踪方法，其特征在于：步骤1中，首先使用后2个Block修改后的ResNet50特征提取网络提取模板图像S、搜索图像T和时序信息Ti中目标的通用特征然后利用1×1大小的2维卷积核conv对通道进行降维，得到统一尺度的3个多尺度特征图

3.根据权利要求1所述的基于孪生网络的卫星视频目标跟踪方法，其特征在于：步骤2中，所述时序信息模块，首先将模板特征和时序信息特征中的后2个相对更深层的特征进行连接concat操作，并利用1×1大小的2维卷积核con...

【技术特征摘要】

1.一种基于孪生网络的卫星视频目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于孪生网络的卫星视频目标跟踪方法，其特征在于：步骤1中，首先使用后2个block修改后的resnet50特征提取网络提取模板图像s、搜索图像t和时序信息ti中目标的通用特征然后利用1×1大小的2维卷积核conv对通道进行降维，得到统一尺度的3个多尺度特征图

3.根据权利要求1所述的基于孪生网络的卫星视频目标跟踪方法，其特征在于：步骤2中，所述时序信息模块，首先将模板特征和时序信息特征中的后2个相对更深层的特征进行连接concat操作，并利用1×1大小的2维卷积核conv进行深层信息融合操作，得到深层融合特征然后对模板特征和时序信息特征两者进行信息交互其中，分别表示模板深层融合特征和时序信息深层融合特特征，unit是基本单元，norm是归一化操作，两个基本单元unit堆叠后残差连接构成时序信息模块；

4.根据权利要求1所述的基于孪生网络的卫星视频目标跟踪方法，其特征在于：步骤3中，

5.根据权利要求1所述的基于孪生网络的卫星视频目标跟踪方法，其特征在于：步骤4中，所述头部回归模块，由3×3大小的二维卷积核、归一化层和激活函数堆叠4层而成，再由一层3×3大小的二维卷积核进行输出，分别得到分类图mcls，目标中心图mcen，边界...

【专利技术属性】
技术研发人员：董燕妮，周佳伟，张玉香，李雪，杜博，
申请(专利权)人：武汉大学，
类型：发明
国别省市：