一种侦察无人机动目标自动检测与跟踪方法技术

本发明专利技术涉及一种侦察无人机动目标自动检测与跟踪方法，无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域。任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集。利用获得的数据来训练回归量和训练分类器，通过上述的基于回归分析的深度学习方法来检测目标，并提取其特征及有用的信息。将视频恢复正常显示，依据步骤二中获得的目标特征来对机动目标做自动检测，通过上述介绍的混合的跟踪算法来对目标进行跟踪，且给出屏幕坐标。能够在目标很远且很小，无运动轨迹以及使用快速运动的相机时正确的将目标检测出来。

【技术实现步骤摘要】
一种侦察无人机动目标自动检测与跟踪方法
本专利技术属于无人机目标检测及跟踪技术，具体涉及一种侦察无人机动目标自动检测与跟踪方法。
技术介绍
现如今，我们可以通过利用便宜而且很轻的传感器例如相机等来对行人和汽车进行检测以达到避免碰撞的目的。许多好的方法已被研发出来来解决此类问题，且已经开发了许多商用产品。然而在飞行器目标检测领域，大多数的解决方法是估计一个精确的位置并通过一个或者多个相机进行定位。然而简单的将行人和汽车的检测方法延伸到飞行器领域的可行性不高，因为飞行器的目标检测有一些独特的挑战，如目标有着不同的形状，且背景复杂可变；考虑到飞行器目标检测的应用，即使目标还在很远的时候，也需要将目标检测出来。以上原因导致了运动轨迹对检测目标变得至关重要。然而，当图像是被运动的相机捕获并且特征背景很难建立时这些轨迹就很难被采集，因为它们不再是在二维平面且在快速的变化。此外，由于在屏幕上还有其他的运动的目标时，除了待检测的运动目标外，其他运动目标的外形也必须被考虑到。在这种情况下，依赖于光流法或者背景消除的最新技术将变得无效。一般检测运动目标的方法主要有三类：1.基于外形的方法该方法依赖于深度学习并且被证明即使在复杂的光照变换下或者混乱的背景下也是有效的。它们一般基于DeformablePartModels(DPM)﹑卷积神经网络(CNN)﹑随机树以及ACF。当检测目标在单帧中足够的大或者清晰可见时这些方法都能够工作的很好，但是当目标很小并且在没有运动轨迹的情况下是几乎不可能将其从背景中辨析出来；2.基于运动的方法该方法还可以被细分成两类。一类依赖于背景消除，另一类依赖于两幅连续的图像间的光流法。当相机是静止或者它的运动足够小而很容易被补偿时背景消除技术能够工作的很好，但其不适用于一个快速运动的载体上的相机。基于光流的方法在这种情况下更为可靠，但是光流法严重依赖于流向量的质量，当目标物很小且模糊时流向量将变得很小；3.混合方法该方法结合了目标外形和运动模式的信息来做目标检测。这种算法在行人检测中工作的很好而且胜过大多数使用单帧的算法。然而，当目标物变得愈来愈小且很难被发现时，这种流估计的方法变得越来越不可信，而且这种方法和基于光流的方法一样变得越来越无效。所以综合上面三种方法所述，急需要一种稳定可靠的方法来对机动目标进行有效的检测和跟踪，以克服上面三种方法提到的不足。
技术实现思路
要解决的技术问题本专利技术旨在解决无人机对机动目标有效检测和跟踪问题，从而克服机载侦查设备检测远小、无运动轨迹目标的实现难度。技术方案一种侦察无人机动目标自动检测与跟踪方法，其特征在于步骤如下：步骤1：无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域；任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集；步骤2：利用获得的数据来训练回归量和训练分类器，通过基于回归分析的深度学习方法来检测目标，并提取其特征；具体步骤如下：2a)训练两个方向的回归量训练模型：利用GradientBoosting方法来训练回归量，即训练两个Boosting的回归树，一个用于学习飞行器的水平方向运动φv(·)，一个用于学习飞行器垂直方向运动φh(·)；每一个模型用表示，其中αj＝1..T是真实的权重，hj是弱学习器，m是输入图像块，T是弱学习器的个数。2b)通过优化来训练各个弱学习器：所述的弱学习器为回归树hj(m)＝T(θj,HoG(m))，其中θj代表树参数，HOG(m)代表了图像块m的梯度直方图，T(,)表示此回归树的模型；在每一次迭代过程中，boosting都训练各个弱学习器，使得其二次损失函数最小化，其中N是训练图像块mi的个数，ri是该训练图像块的真实输出响应，是第i个图像块输入时第j个弱学习器的权重，xi是i个输入的图像块；训练了水平和垂直方向的回归量，得到了两个方向的训练模型；3c)检测目标并提取特征：在水平和垂直运动的回归量都被训练后，通过迭代的方法来补偿时空数据库bi,j,t内飞行器的运动，并估计和校正飞行器偏移；假设mk为时空数据库bi,j,t内的一个片段，mi,j,p为从mk内的第Ip帧内的(i,j)点提取到的图像块；设当前帧的初始位置为(i0,j0)，记为图像块m0，则根据(i0,j0)位置通过回归模型计算水平和垂直方向的偏移量(shh,shv)＝(φh(m0),φv(m0))，根据该偏移量估计中心位置(i1,j1)＝(i0-shv,j0-shv)，从而图像块从m0变为m1，再带入回归模型计算由m1得到的水平和垂直方向的偏移量；依此规律在第Ip帧中循环搜索直到满足(in-in+1)2+(jn-jn+1)2＜ε，其中ε定义为1；此时就找到了在第Ip帧中目标的中心位置即定位了目标位置，检测到了目标；按照此补偿方法在每一帧中都可以定位到目标的中心位置附近，所以时空数据库保持飞行器在bi,j,t内全部的块中靠近中心，St表示时空数据库中时间轴上第t时刻；步骤3：将视频恢复正常显示，依据步骤2中获得的目标特征来对机动目标做自动检测，通过混合的跟踪算法来对目标进行跟踪，且给出屏幕坐标；具体步骤如下：3a)采用均值漂移的跟踪方法跟踪目标，首先利用直方图分别计算目标区域和候选区域内像素的特征值概率得到特征空间，然后利用基于巴氏系数的度量法来度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的均值漂移向量，即得到目标由初始位置向正确位置移动的向量；3b)采用基于KLT的跟踪算法跟踪目标，KLT算法假设亮度恒定，时间连续或者运动是“小运动”而且空间一致，临近点有相似运动，保持相邻；所以根据上述关系可以知道设在相邻的两帧Ii和Ij内窗口为w的两个图像块mi,w和mj,w相同，则有mi,w(x,y,t)＝mj,w(x`,y`,t+τ)；其中(x,y,t)表示t时刻时图片Ii中的一个点(x,y)，τ表示一个微小的时间变化，(x`,y`,t+τ)表示t+τ时刻时图片Ij中的一个点(x`,y`)，即在窗口w内所有的点(x,y)都向一个方向移动了(Δx,Δy)，故得到了(x`,y`)；首先在当前帧得到目标的位置中心点，并检测出目标；然后在下一帧的到的图像中根据目标块的大小在上一帧目标中心位置附近搜索取得图像块，然后与上一帧中取得的目标模板进行匹配并计算差值，最优化的解为使得函数取得最小值，即得到了下一帧中目标的位置；其中I(x,y)表示第I帧图像中的点(x,y)，J(x+dx,y+dy)表示第J帧图像中的点(x+dx,y+dy)，dx表示横轴上的偏移量，dy表示纵轴上的偏移量，(ux,uy)表示第I帧图像的中心点，wx为搜索模板水平方向的大小，wy为搜索模板垂直方向的大小；3c)最后，使用最新的跟踪结果和先前得到的目标模型来对先前的模型进行更新以得到最新的目标模型，目标模型更新的方式为qit＝(1-α)qit-1+αpit，其中qit是在时刻t时目标i的目标模型，pit是在时刻t被检测到的目标i的目标模型，α是学习速率。有益效果本专利技术采用基于回归分析的深度学习的方法来进行机动目标的自动检测并结合多种本文档来自技高网...

【技术保护点】
1.一种侦察无人机动目标自动检测与跟踪方法，其特征在于步骤如下：步骤1：无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域；任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集；步骤2：利用获得的数据来训练回归量和训练分类器，通过基于回归分析的深度学习方法来检测目标，并提取其特征；具体步骤如下：2a)训练两个方向的回归量训练模型：利用Gradient Boosting方法来训练回归量，即训练两个Boosting的回归树，一个用于学习飞行器的水平方向运动φv(·)，一个用于学习飞行器垂直方向运动φh(·)；每一个模型用

【技术特征摘要】
1.一种侦察无人机动目标自动检测与跟踪方法，其特征在于步骤如下：步骤1：无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域；任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集；步骤2：利用获得的数据来训练回归量和训练分类器，通过基于回归分析的深度学习方法来检测目标，并提取其特征；具体步骤如下：2a)训练两个方向的回归量训练模型：利用GradientBoosting方法来训练回归量，即训练两个Boosting的回归树，一个用于学习飞行器的水平方向运动φv(·)，一个用于学习飞行器垂直方向运动φh(·)；每一个模型用表示，其中αj＝1..T是真实的权重，hj是弱学习器，m是输入图像块，T是弱学习器的个数。2b)通过优化来训练各个弱学习器：所述的弱学习器为回归树hj(m)＝T(θj,HoG(m))，其中θj代表树参数，HOG(m)代表了图像块m的梯度直方图，T(,)表示此回归树的模型；在每一次迭代过程中，boosting都训练各个弱学习器，使得其二次损失函数最小化，其中N是训练图像块mi的个数，ri是该训练图像块的真实输出响应，是第i个图像块输入时第j个弱学习器的权重，xi是i个输入的图像块；训练了水平和垂直方向的回归量，得到了两个方向的训练模型；3c)检测目标并提取特征：在水平和垂直运动的回归量都被训练后，通过迭代的方法来补偿时空数据库bi,j,t内飞行器的运动，并估计和校正飞行器偏移；假设mk为时空数据库bi,j,t内的一个片段，mi,j,p为从mk内的第Ip帧内的(i,j)点提取到的图像块；设当前帧的初始位置为(i0,j0)，记为图像块m0，则根据(i0,j0)位置通过回归模型计算水平和垂直方向的偏移量(shh,shv)＝(φh(m0),φv(m0))，根据该偏移量估计中心位置(i1,j1)＝(i0-shv,j0-shv)，从而图像块从m0变为m1，再带入回归模型计算由m1得到的水平和垂直方向的偏移量；依此规律在第Ip帧中循环搜索直到满足(in-in+1)2+(jn-jn+1)2＜ε，其中ε定义为1；此时就找到了在第Ip帧中目标的中心位置即定位...

【专利技术属性】
技术研发人员：贾伟，马夏莹，宋世刚，
申请(专利权)人：西安爱生技术集团公司，西北工业大学，西安多维机器视觉检测技术有限公司，
类型：发明
国别省市：陕西,61