一种基于深度学习的空中目标跟踪方法技术

本发明专利技术涉及空中目标跟踪方法，具体为基于深度学习的空中目标跟踪方法，本方法按如下步骤进行：MDNet采集第一帧图像的正样本并进行随机取样，将随机取样后的样本作为数据集训练bounding‑box模型；其次，训练利用最小信息准则和最小二乘法确定阶数和参数的AR模型，估计目标运动轨迹并预测目标位置；然后，将该目标位置作为MDNet的采样中心，再利用bounding‑box回归模型调整目标位置，精确完成跟踪。本方法可以自适应提取空中目标特征，并结合AR模型有效利用目标的运动信息，可极大改善MDNet对目标特征的依赖性，在解决伪目标干扰的同时，提高跟踪精度。

An air target tracking method based on depth learning

The present invention relates to a method of air target tracking, specifically for the tracking method of aerial targets based on deep learning, the method comprising the following steps: positive MDNet samples collected first frame image and random sampling, the random sampling the sample data set as training bounding box model; secondly, the AR model is trained to identify the order and parameters the minimum information criterion and the least squares method, to estimate the target trajectory and predict the target position; then, the target position as the sampling center of MDNet, then use bounding box to adjust the target position regression model, accurate tracking. This method can extract features of aerial targets adaptively, and effectively utilize the motion information of targets with AR model. It can greatly improve the dependence of MDNet on target characteristics, and improve tracking accuracy while solving pseudo target interference.

【技术实现步骤摘要】
一种基于深度学习的空中目标跟踪方法
本专利技术涉及目标跟踪方法，具体为一种基于深度学习的空中目标跟踪方法。
技术介绍
空中目标跟踪是航空航天等各类探测系统的关键技术之一，由于观测距离较远，该类目标在地面观测和跟踪过程中，往往因缺少形状和纹理特征而呈现为小目标甚至点目标状态，造成检测和跟踪困难。光流法、相邻帧差法和背景减法是当前采用的主要方法，但往往仅针对特定目标，需要根据先验知识选择合适的跟踪算法，不利于工程化应用。新近，深度学习在图像分类、目标检测等许多领域均已成功突破了固定状态模型的约束，在目标跟踪领域也有少许探索性的研究，如基于深度学习的双层卷积神经网络、深度卷积神经网络以及多域卷积神经网络，均通过自适应提取目标特征，来区分目标与背景信息，在降低跟踪误差同时提高了算法的鲁棒性，但都较注重不同类物体的特征提取，未述及同类目标如何区分，不利于存在伪目标时的高精度跟踪。总的来说，这些研究证实深度人工神经网络学习得到的参数更多、更全，可以降低对先验知识的依赖，但未解决目标跟踪中目标与伪目标交会时往往存在的跟踪漂移问题。为此，需要有一种新的方法来解决基于卷积神经网络方法跟踪目标时过分依赖目标特征难以区分目标与伪目标所导致的跟踪漂移问题。
技术实现思路
本专利技术为了解决基于卷积神经网络跟踪空中目标时存在的跟踪漂移问题，提出了一种基于深度学习的空中目标跟踪方法。本专利技术是采用如下的技术方案实现的：一种基于深度学习的空中目标跟踪方法，包括以下步骤：1.构建多域卷积神经网络(MDNet)网络包含五层隐藏层和一层二分类层，五层隐藏层分别是conv1、conv2、conv3、fc4和fc5，其中，conv1、conv2、conv3为卷积层，对应VGG-M网络的结构自适应提取特征，fc4、fc5为全连接层，将特征图表示转换为一维向量并对其进行特征组合，二分类层为fc6，对目标和背景进行分类。2.训练多域卷积神经网络中bounding-box回归模型(1)标定第一帧图像目标位置标定第一帧图像目标位置为x1、y1为目标位置坐标值，sw、sh为目标矩形框的宽和高；(2)选择样本MDNet以为中心采样生成W个回归样本，每个回归样本与目标实际位置重叠率的计算方法如下：式中，Rt为输出跟踪框区域，Rg为实际目标区域，area表示Rt和Rg的运算结果面积，N为视频序列帧数；设置重叠率的阈值为L，大于等于L的样本为正样本，小于L的样本为负样本，然后从正样本中随机选取Q个样本输入网络训练bounding-box回归模型；(3)微调网络提取第一帧图像的正负样本经conv3得到特征图表示，将其中重叠率为[L-0.1,L)的负样本的特征图作为难例样本与正样本一同输入fc4实现网络微调。3.自回归模型(AR模型)训练与预测(1)训练AR模型AR模型表示为：式中，{zt|t＝1,2,…,T}是一个时间序列的目标位置的观测值，z为x或y，T为时间序列的长度，zt-1,zt-2,…,zt-p为t时刻前1到p时刻的观测值，εt为预测误差，p为模型的阶数，为模型的参数；p和的确定方法如下：1)利用最小信息准则函数AIC(p)计算p，p＝{1,2,…,pmax}，其中pmax为模型阶数的上界，当AIC(p)最小时对应的p即为式(2)最终的p值，AIC(p)的确定方法如下：式中，是用最小二乘法对式(2)拟合的残差方差估计，其计算方法为：式中，为误差方差；2)根据最小二乘法：β＝(ZTZ)-1ZTY(5)计算出不同T值对应的参数矩阵β，当残差方差估计为最小值时，对应的β即为最佳参数式中Z为T时刻前的观测值矩阵，Y为T+1时刻预测值的矩阵。(2)预测目标位置将第n帧的前p帧目标位置的x、y坐标值分别代入训练好的AR模型，即为预测到第n帧目标的位置。4.网络测试MDNet以预测到的第n帧目标位置为中心采样，采用多维高斯分布采样M个候选样本，并按照以下方式选择置信度最高的样本：式中，E*为置信度最高的样本，Ei为当前候选样本；将E*输入至bounding-box回归模型进行调整使E*的区域和目标区域更接近，最终确定目标位置。上述的基于深度学习的空中目标跟踪方法，目标矩形框宽和高的取值通常在10-20之间，AR模型的阶数取值为4，时间序列的长度为16。基于MDNet跟踪目标的优势在于：一是自适应提取目标特征，通过训练各种场景的视频序列，提高了网络的泛化能力；二是通过训练海量数据，得到目标通用的特征表达，有效区分了目标和背景，但该方法的缺点是对目标位置不敏感，不利于能区分伪目标，故而存在伪目标时跟踪精度难以保证；AR模型是一种常用的时间序列预测模型，较适用于具有自相关且基于前期大量数据的视频序列跟踪，该模型可充分利用全部历史数据，以保证预测精度和可连续性。因此本专利技术通过AR模型对MDNet提取到的目标运动信息进行目标运动轨迹估计，进而预测目标位置，可以综合二者的优势，解决跟踪过程中伪目标对目标干扰造成的跟踪漂移问题，极大提高跟踪精确度。附图说明图1为本专利技术的流程图。图2MDNet的网络结构图。图3为本专利技术的部分目标跟踪图像，图中1为目标，其他均为伪目标。具体实施方式基于深度学习的空中目标跟踪方法，包括以下步骤：1.构建多域卷积神经网络(MDNet)MDNet输入107×107像素的样本图像，包含的五层隐藏层分别是conv1、conv2、conv3、fc4和fc5，还包含一个fc6，其中，conv1-3为卷积层，fc4、fc5为全连接层；全连接层采用relu激活函数和dropout防止过拟合；fc6层为二分类层有K个分支，每个分支输出一个二维向量，均利用softmax函数对目标和背景进行分类。2.训练多域卷积神经网络中bounding-box回归模型(1)标定第一帧目标位置标定第一帧目标位置为x1、y1为目标位置坐标值，sw、sh为目标矩形框的宽和高，取值通常在10-20之间；(2)选择样本MDNet以为中心采样生成10000个回归样本，每个回归样本与目标实际位置重叠率的计算方法如下：式中，Rt为输出跟踪框区域，Rg为实际目标区域，area表示Rt和Rg的运算结果面积，N为视频序列帧数；设重叠率的阈值为L＝0.60，大于等于0.60的样本为正样本，小于0.60的样本为负样本，然后从正样本中随机选取1000个样本输入网络训练bounding-box回归模型；(3)微调网络提取第一帧图像的正负样本经conv3得到特征图表示，将重叠率为[0.50,0.60)的负样本特征图作为难例样本与正样本一同输入fc4实现网络微调。3.AR模型训练与预测(1)训练AR模型AR模型表示为：式中，{zt|t＝1,2,…,T}是一个时间序列的目标位置的观测值，z为x或y，T为时间序列的长度，zt-1,zt-2,…,zt-p为t时刻前1到p时刻的观测值，εt为预测误差，p为模型的阶数，为模型的参数；p和的确定方法如下：1)利用最小信息准则函数AIC(p)计算p，p＝{1,2,…,pmax}，其中pmax为模型阶数的上界，当AIC(p)最小时对应的p即为式(2)最终的p值，AIC(p)的确定方法如下：式中，是用最小二乘法对式(2)拟合的残差方差估计，其计算方法为：式中，为误差方差；2)根据最小二乘法本文档来自技高网...

【技术保护点】
基于深度学习的空中目标跟踪方法，其特征在于包括以下步骤：(1)构建多域卷积神经网络多域卷积神经网络包含五层隐藏层和一层二分类层，五层隐藏层分别是conv1、conv2、conv3、fc4和fc5，其中，conv1、conv2、conv3为卷积层，fc4、fc5为全连接层，二分类层为fc6，对目标和背景进行分类；(2)训练多域卷积神经网络中bounding‑box回归模型1)标定第一帧图像目标位置标定第一帧图像目标位置为

【技术特征摘要】
1.基于深度学习的空中目标跟踪方法，其特征在于包括以下步骤：(1)构建多域卷积神经网络多域卷积神经网络包含五层隐藏层和一层二分类层，五层隐藏层分别是conv1、conv2、conv3、fc4和fc5，其中，conv1、conv2、conv3为卷积层，fc4、fc5为全连接层，二分类层为fc6，对目标和背景进行分类；(2)训练多域卷积神经网络中bounding-box回归模型1)标定第一帧图像目标位置标定第一帧图像目标位置为x1、y1为目标位置坐标值，sw、sh为目标矩形框的宽和高；2)选择样本多域卷积神经网络以为中心采样生成W个回归样本，每个回归样本与目标实际位置重叠率的计算方法如下：式中，Rt为输出跟踪框区域，Rg为实际目标区域，area表示Rt和Rg的运算结果面积，N为视频序列帧数；设重叠率的阈值为L，大于等于L的样本为正样本，小于L的样本为负样本，然后从正样本中随机选取Q个样本输入网络训练bounding-box回归模型；3)微调网络提取第一帧图像的正负样本经conv3得到特征图表示，将其中重叠率为[L-0.1,L)的负样本的特征图作为难例样本与正样本一同输入fc4实现网络微调；(3)自回归模型训练与预测1)训练自回归模型自回归模型表示为：式中，{zt|t＝1,2,…,T}是一个时间序列的目标位置的观测值，z为x或y...

【专利技术属性】
技术研发人员：蔺素珍，郑瑶，任之俊，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14