一种基于背景知识增强的视频卫星目标跟踪方法技术

本发明专利技术涉及视频卫星目标跟踪领域，公开了一种基于背景知识增强的视频卫星目标跟踪方法，包括步骤：在第一帧图像中截取视频卫星目标，获得目标模板图像以及目标搜索区域图像；构建已训练好的双分支Siamese网络，生成目标模板特征图以及目标搜索区域特征图；构建三个级联的RPN网络，获得筛选后的高置信度预测框；建立背景识别模块，将高置信度预测框输入至背景识别模块中，获得当前帧图像的目标跟踪结果，在线训练所述背景识别模块、并对背景识别模块的场景类别更新。本发明专利技术通过背景离线训练，背景训练集更新、背景在线更新等处理，进行了背景强化，适用于不同复杂背景，最大限度去除背景干扰，解决目标“淹没”在背景中的问题，更加准确地跟踪到目标。

【技术实现步骤摘要】
一种基于背景知识增强的视频卫星目标跟踪方法
本专利技术涉及视频卫星目标跟踪领域，具体地涉及一种基于背景知识增强的视频卫星目标跟踪方法。
技术介绍
视频卫星从高空拍摄地面物体，成像方式、观测角度、空间分辨率等与地面视频有明显不同，导致卫星视频运动目标所占像素较少，缺乏纹理信息，运动目标的特征匮乏。相比地面视频数据，视频卫星图像对比度较低，运动目标和背景的可区分性和可识别性较弱。这些差别导致了针对地面视频的运动目标检测和跟踪算法不能很好地适用于卫星视频。经典目标跟踪算法包括：基于递归贝叶斯、核密度估计、背景感知、在线分类学习、稀疏表达以及相关滤波的跟踪算法。这类算法虽然在典型的目标跟踪数据库上取得了良好的跟踪性能，但是它们通常需要手动设计特征，一定程度上影响算法的推广能力。另外在视频卫星目标跟踪任务中，其主要难点是背景干扰与遮挡。现有的视频卫星目标跟踪算法无法进行背景强化，并且现有目标跟踪算法不能够适用于不同复杂背景，无法去除背景干扰，不能解决目标“淹没”在背景中的问题，目标跟踪的准确率低。
技术实现思路
<br>本专利技术提供本文档来自技高网...

【技术保护点】
1.一种基于背景知识增强的视频卫星目标跟踪方法，其特征在于，包括如下步骤：/nS1)对视频卫星目标进行视频拍摄，获得视频序列图像，在所述视频序列图像的第一帧图像中截取视频卫星目标，获得目标模板图像以及目标搜索区域图像；/nS2)构建已训练好的双分支Siamese网络，所述双分支Siamese网络包括两个并联的深度卷积神经网络，将目标模板图像、目标搜索区域图像分别作为两个并联的深度卷积神经网络的输入，生成目标模板特征图以及目标搜索区域特征图；/nS3)构建三个级联的RPN网络，将目标模板特征图以及目标搜索区域特征图分别输入至所述三个级联的RPN网络，获得筛选后的高置信度预测框；/nS4)建立背景...

【技术特征摘要】
1.一种基于背景知识增强的视频卫星目标跟踪方法，其特征在于，包括如下步骤：
S1)对视频卫星目标进行视频拍摄，获得视频序列图像，在所述视频序列图像的第一帧图像中截取视频卫星目标，获得目标模板图像以及目标搜索区域图像；
S2)构建已训练好的双分支Siamese网络，所述双分支Siamese网络包括两个并联的深度卷积神经网络，将目标模板图像、目标搜索区域图像分别作为两个并联的深度卷积神经网络的输入，生成目标模板特征图以及目标搜索区域特征图；
S3)构建三个级联的RPN网络，将目标模板特征图以及目标搜索区域特征图分别输入至所述三个级联的RPN网络，获得筛选后的高置信度预测框；
S4)建立背景识别模块，将所述高置信度预测框输入至所述背景识别模块中，获得当前帧图像的目标跟踪结果，在线训练所述背景识别模块、并对所述背景识别模块的场景类别进行更新。


2.根据权利要求1所述的基于背景知识增强的视频卫星目标跟踪方法，其特征在于，步骤S1)中，对视频卫星目标进行视频拍摄，获得视频序列图像，在所述视频序列图像的第一帧图像中截取视频卫星目标，获得目标模板图像以及目标搜索区域图像，包括如下步骤：
S11)确定待跟踪识别的视频卫星目标，在视频序列图像的第一帧图像中框选出一个包含所述待跟踪识别的视频卫星目标的目标矩形框，所述目标矩形框的大小为h×w；
S12)以所述目标矩形框的中心像素为中心，框选出预设大小为n×h×w的搜索背景区域框；
S13)将所述目标矩形框作为目标模板图像，将所述搜索背景区域框作为目标搜索区域图像，获得目标模板图像以及目标搜索区域图像。


3.根据权利要求1或2所述的基于背景知识增强的视频卫星目标跟踪方法，其特征在于，步骤S2)中，构建已训练好的双分支Siamese网络，所述双分支Siamese网络包括两个并联的深度卷积神经网络，将目标模板图像、目标搜索区域图像分别作为两个并联的深度卷积神经网络的输入，生成目标模板特征图以及目标搜索区域特征图，包括如下步骤：
S21)构建两个相互并联的深度卷积神经网络，所述两个相互并联的深度卷积神经网络的网络结构相同，每一个深度卷积神经网络包括若干个相互交替的卷积层、池化层、激活函数以及至少一个全连接层；
S22)对目标模板图像、目标搜索区域图像分别进行预处理，将所述目标模板图像和目标搜索区域图像分别缩放到预设尺寸大小；
S23)将缩放到预设尺寸大小的目标模板图像输入至两个相互并联的深度卷积神经网络中的其中一个深度卷积神经网络，将所述其中一个深度卷积神经网络的最后一层卷积层的输出作为目标模板图像特征，获得目标模板特征图；
S24)将缩放到预设尺寸大小的目标搜索区域图像输入至两个相互并联的深度卷积神经网络中的另一个深度卷积神经网络，将所述另一个深度卷积神经网络的最后一层卷积层的输出作为目标搜索区域图像特征，获得目标搜索区域特征图。


4.根据权利要求3所述的基于背景知识增强的视频卫星目标跟踪方法，其特征在于，步骤S21)中，所述两个相互并联的深度卷积神经网络分别采用AlexNet网络模型。


5.根据权利要求1所述的基于背景知识增强的视频卫星目标跟踪方法，其特征在于，步骤S3)中，构建三个级联的RPN网络，将目标模板特征图以及目标搜索区域特征图分别输入至所述三个级联的RPN网络，获得筛选后的高置信度预测框；三个级联的RPN网络包括第一层RPN网络、第二层RPN网络和第三层RPN网络，三个级联的RPN网络中的每一层RPN网络均包含一个分类层和一个回归层，包括如下步骤：
S31)将目标模板特征图和目标搜索区域特征图分别作为第一层RPN网络中的输入特征图，将所述输入特征图输入至第一层RPN网络；
S32)在所述输入特征图上分别设置不同尺寸和比例的锚框，第一层RPN网络的分类层输出若干个第一预测框的前景概率和背景概率；第一层RPN网络的回归层输出若干个第一预测框的位置回归坐标；设置第一层RPN网络前景概率阈值，将若干个第一预测框的前景概率分别与第一层RPN网络前景概率阈值进行比较，获得前景概率小于第一层RPN网络前景概率阈值的第一预测框；
S33)将所述前景概率小于第一层RPN网络前景概率阈值的第一预测框输入值第二层RPN网络，第二层RPN网络的分类层输出若干个第二预测框的前景概率和背景概率；第二层RPN网络的回归层输出若干个第二预测框的位置回归坐标；设置第二层RPN网络前景概率阈值，将若干个第二预测框的前景概率分别与第二层RPN网络前景概率阈值进行比...

【专利技术属性】
技术研发人员：吕京国，白颖奇，王琛，曲宁宁，
申请(专利权)人：北京建筑大学，
类型：发明
国别省市：北京;11