【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及基于运动信息辅助的遥感单目标跟踪方法及系统。
技术介绍
1、遥感单跟踪旨在利用遥感视频中初始帧的目标状态来估计后续帧中的目标状态(即位置和比例)。它是空间遥感观测的一个重要研究方向，在军事监视、交通管理和公共安全等领域有着广泛的应用。与一般场景中的目标跟踪相比，遥感目标跟踪面临着更严峻的挑战，如分辨率极低(有时只有几个像素)、对比度低、模糊和遮挡。低分辨率、低对比度和模糊的挑战导致弱目标特征，而遮挡挑战则给后续帧中的目标搜索范围和跟踪器识别带来了问题。这些具有挑战性的因素显著增加了跟踪失败的概率，并持续制约着遥感目标跟踪的发展。
2、近年来，人们提出了许多跟踪方法，以促进遥感目标跟踪的发展。一些早期工作《object tracking in satellite videos by fusing the kernel correlation filterand the three-frame-difference algorithm》，《tracking objects from satellitevideos:a velocity feature based correlation filter》，《object tracking insatellite videos by improved correlation filters with motion estimations》提出利用核相关滤波器(kcf)构建目标跟踪模型，以解决遥感目标跟踪问题。然而，这些方法受到手动设计特征
3、综上，现有方法通常存在以下三个问题：1)遥感图像由于特殊的场景，跟踪目标通常缺失结构信息和外观特征，这就导致设计的跟踪器无法鲁棒的对跟踪对象进行准确跟踪，容易丢失跟踪对象。2)在遥感场景下，存在很多遮挡问题，例如汽车通过一座桥，在遮挡情况下，会丢失跟踪对象，导致后续难以继续跟踪正确的目标。通常做法使用卡尔曼滤波去做一个轨迹预测，然而，基于卡尔曼滤波的轨迹预测方法对复杂的观测噪声敏感，并且难以处理经历长时间遮挡的运动目标，导致鲁棒性较差。3)现有方法没有充分利用遥感图像中的长时运动信息，大多数遥感单目标跟踪器通常使用卷积提取局部特征以进行特征融合，因此缺乏全局表示能力。
技术实现思路
1、本专利技术所要解决的技术问题在于现有技术遥感单目标跟踪方法容易丢失跟踪对象，鲁棒性较差以及缺乏全局表示能力的问题。
2、本专利技术通过以下技术手段解决上述技术问题的：基于运动信息辅助的遥感单目标跟踪方法，包括以下步骤：
3、步骤一、构建带有挖掘目标长期运动特征的长时运动信息挖掘模块的目标跟踪模型；
4、步骤二、训练所述目标跟踪模型；
5、步骤三、测试训练好的目标跟踪模型，实时获取目标跟踪结果；
6、步骤四、根据当前目标跟踪结果，判断目标是否遮挡和丢失，若是，则估计目标下一帧的位置，输出目标下一帧的位置，若否，则直接输出当前目标跟踪结果。
7、进一步地，所述目标跟踪模型包括两个特征提取网络、编码器、解码器、分类器及回归器，所述特征提取网络包括骨干网络resnet50、长时运动信息挖掘模块，测试帧和测试帧的相邻帧的分别输入其中一个特征提取网络的骨干网络resnet50的两个分支，该特征提取网络输出外观特征xtest，训练帧和训练帧的相邻帧的分别输入另外一个特征提取网络的骨干网络resnet50的两个分支，该特征提取网络输出外观特征xtrain，骨干网络resnet50的两个分支之间连接长时运动信息挖掘模块，长时运动信息挖掘模块的输出与骨干网络resnet50的输出融合作为特征提取网络的输出；外观特征xtest和外观特征xtrain经过处理后均输入编码器，编码器与解码器连接，编码器输出的交互特征以及解码器输出的模型权重w分别输入到分类器和回归器。
8、更进一步地，所述长时运动信息挖掘模块的工作过程用公式表示为：
9、其中，qt表示查询，kt-1表示密钥，代本文档来自技高网...
【技术保护点】
1.基于运动信息辅助的遥感单目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述目标跟踪模型包括两个特征提取网络、编码器、解码器、分类器及回归器，所述特征提取网络包括骨干网络ResNet50、长时运动信息挖掘模块，测试帧和测试帧的相邻帧的分别输入其中一个特征提取网络的骨干网络ResNet50的两个分支，该特征提取网络输出外观特征xtest，训练帧和训练帧的相邻帧的分别输入另外一个特征提取网络的骨干网络ResNet50的两个分支，该特征提取网络输出外观特征xtrain，骨干网络ResNet50的两个分支之间连接长时运动信息挖掘模块，长时运动信息挖掘模块的输出与骨干网络ResNet50的输出融合作为特征提取网络的输出；外观特征xtest和外观特征xtrain经过处理后均输入编码器，编码器与解码器连接，编码器输出的交互特征以及解码器输出的模型权重W分别输入到分类器和回归器。
3.根据权利要求2所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述长时运动信息挖掘模块的工作过程用公式表示为：
4.根据权利要求2所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述步骤二包括：
5.根据权利要求4所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述步骤三包括：
6.根据权利要求5所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述步骤四包括：
7.根据权利要求6所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述步骤四还包括：
8.根据权利要求6所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述α取值6，β取值0.7，γ取值25。
9.基于运动信息辅助的遥感单目标跟踪系统，其特征在于，包括：
10.根据权利要求9所述的基于运动信息辅助的遥感单目标跟踪系统，其特征在于，所述目标跟踪模型包括两个特征提取网络、编码器、解码器、分类器及回归器，所述特征提取网络包括骨干网络ResNet50、长时运动信息挖掘模块，测试帧和测试帧的相邻帧的分别输入其中一个特征提取网络的骨干网络ResNet50的两个分支，该特征提取网络输出外观特征xtest，训练帧和训练帧的相邻帧的分别输入另外一个特征提取网络的骨干网络ResNet50的两个分支，该特征提取网络输出外观特征xtrain，骨干网络ResNet50的两个分支之间连接长时运动信息挖掘模块，长时运动信息挖掘模块的输出与骨干网络ResNet50的输出融合作为特征提取网络的输出；外观特征xtest和外观特征xtrain经过处理后均输入编码器，编码器与解码器连接，编码器输出的交互特征以及解码器输出的模型权重W分别输入到分类器和回归器。
...【技术特征摘要】
1.基于运动信息辅助的遥感单目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述目标跟踪模型包括两个特征提取网络、编码器、解码器、分类器及回归器，所述特征提取网络包括骨干网络resnet50、长时运动信息挖掘模块，测试帧和测试帧的相邻帧的分别输入其中一个特征提取网络的骨干网络resnet50的两个分支，该特征提取网络输出外观特征xtest，训练帧和训练帧的相邻帧的分别输入另外一个特征提取网络的骨干网络resnet50的两个分支，该特征提取网络输出外观特征xtrain，骨干网络resnet50的两个分支之间连接长时运动信息挖掘模块，长时运动信息挖掘模块的输出与骨干网络resnet50的输出融合作为特征提取网络的输出；外观特征xtest和外观特征xtrain经过处理后均输入编码器，编码器与解码器连接，编码器输出的交互特征以及解码器输出的模型权重w分别输入到分类器和回归器。
3.根据权利要求2所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述长时运动信息挖掘模块的工作过程用公式表示为：
4.根据权利要求2所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述步骤二包括：
5.根据权利要求4所述的基于运动信息辅助的遥感单目标跟踪方法，其特征在于，所述步骤三包括：<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。