一种基于预检测置信度的运动目标检测前跟踪方法技术

本发明专利技术涉及一种基于深度学习预检测的检测前跟踪方法，设置较低的置信度门限进行预检测，逐帧进行目标检测，获得检测算法输出的目标及其置信度，以该目标的置信度为观测量，应用多帧检测前跟踪算法进行目标跟踪运算，得到最终的目标检测结果和运动轨迹，优选采用基于动态规划的目标跟踪算法进行所述的目标跟踪运算，优选采用深度学习算法进行所述的预检测。把目标看成质点，将整帧图像划分成若干个分辨单元，所述分辨单元的大小依据目标的最大运动速度确定，以分辨单元的坐标作为落在该分辨单元内的任何目标的坐标，在相邻帧目标运动状态转移中只考虑距离在一个分辨单元范围内的目标。本发明专利技术具有较高鲁棒性，数据处理量小，方便快捷。

A pre tracking method of moving object detection based on pre testing confidence

【技术实现步骤摘要】
一种基于预检测置信度的运动目标检测前跟踪方法
本专利技术涉及一种基于预检测置信度的运动目标检测前跟踪方法，属计算机视觉

技术介绍
目标检测与跟踪技术一直是计算机视觉领域的重要课题。目前,基于视觉的运动目标检测与跟踪技术已广泛应用于视频监控、自动驾驶、行为理解等领域,并达到了良好的效果。随着神经网络与深度学习的飞速发展，目标检测与跟踪技术的得到了学界和工业界的广泛关注，相关研究层出不穷，在各大顶级期刊、会议占比巨大。另一方面，随着显卡算力的不断提高，设计复杂的神经网络结构成为可能，极大地提高了目标检测和跟踪的性能。运动目标的检测跟踪技术按照检测与跟踪的先后关系可以分为三类主要方法。第一类为基于检测的跟踪(track-by-detection，TBD),即对视频的每一帧进行目标检测，之后在时间维度上进行运动目标的关联，在每帧中的目标检测方法有背景差分法、基于特征提取的模板匹配法、深度学习方法等。第二类为跟踪前检测(DetectBeforeTrack,DBT)。这种方法一般在一个固定周期内只针对第一个视频帧进行目标检测，对于检测到的目标在其余帧内利用匹配、滤波等方法进行跟踪。由于运动目标的连续性，目标在相邻帧之间出现的位置非常接近，所以把检测到的目标进行跟踪是非常合理的做法。对于检测器检测出的目标，用跟踪器进行跟踪，可以减少目标漏检。同时，由于跟踪需要的计算量远远小于检测，这种方法能有效提高视频检测和跟踪的效率。第三类为多帧检测前跟踪(TrackBeforeDetect,TBD)，这类方法常用在雷达信号的目标检测和跟踪中。在这种条件下，由于信噪比低，目标很难通过单周期门限检测。多帧检测前跟踪则是不在每个时刻进行门限检测，而是联合处理多帧数据输出目标检测结果，因此可以更大程度地保留和利用目标信息；另一方面，它能够联合利用目标在多帧之间的运动相关性积累目标能量同时抑制噪声改善信噪比。多帧检测前跟踪通过提取检测结果形成点迹，最后利用点迹数据进行航迹起始和跟踪。常见方法包括三维匹配滤波、动态规划、霍夫变换、粒子滤波等。然而，上述各种方法依然有各自的局限性或不足。例如，第一类方法(TBD)的问题是算法整体性能高度依赖于单帧的目标检测精度。如果某一帧上出现了漏检或误检，没有补救的方法。可以通过检测的阈值可以调节漏检率和误检率，当对检测的准确率要求较高时，可以使用较高的阈值，这样只有检测器认为目标存在的置信度较高时才会给出结果，可以有效减少误检，但这样会增加漏检；反之，当对检测的召回率要求较高时，可以使用较低的阈值，只要检测器认为目标存在的置信度超过这个较低的阈值便输出结果，可以显著降低漏检，但会增加误检。另外，这种方法只能检测出每帧中目标的位置，无法得知每一帧中的目标对应上一帧的哪一个，也无法得知物体的运动轨迹，需要后续的关联处理。如果检测精度不足，关联处理会变得十分困难。上述第二类方法(DBT)同样存在第一种方法中的问题，而且，由于只针对部分帧进行检测，对于漏检的目标不能进行补救，对于中途新出现的目标也无法及时发现。上述第三类方法(TBD)联合处理多帧数据，有更好的鲁棒性，但目前为止只应用于雷达、红外成像这类信号强度与目标存在直接相关的信号。对于一般的视频，感兴趣的目标，如道路上的汽车、树林中的小鸟等，无法通过信号强度与背景进行区分。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种基于深度学习预检测的检测前跟踪方法，以在获得较高连续性和鲁棒性的同时，减少数据处理量。本专利技术的技术方案是：一种基于深度学习预检测的检测前跟踪方法，设置较低的置信度门限进行预检测，逐帧进行目标检测，获得检测算法输出的目标及其置信度，以该目标的置信度为观测量，应用多帧检测前跟踪算法进行目标跟踪运算，得到最终的目标检测结果和运动轨迹。优选采用基于动态规划的目标跟踪算法进行所述的目标跟踪运算。优选采用深度学习算法进行所述的预检测。优选忽略目标的小大，把目标看成质点，将目标的位置定义为质心位置。优选将整帧图像划分成若干个分辨单元，定义各分辨单元的坐标(例如，以分辨单元的中心点坐标或左上角坐标为分辨单元坐标)，以分辨单元的坐标作为落在该分辨单元内的任何目标的坐标。当任一目标的质心坐标落入该分辨单元内时，以该分辨单元的坐标作为该目标的坐标，当目标的质心坐标位于两分辨单元的分界线上时，优选以该目标在前一帧所在的分辨单元的坐标为该目标的坐标，也可以以其他方式将该目标列入其中的某一分辨单元。所述分辨单元的大小可以依据或主要依据目标的最大运动速度确定，目标的最大运动速度为1分辨单元/帧。目标的最大运动速度依据该目标的特性确定，为先验知识。可以按顺序排列好当前待检测的图像，放入一个长度为L的滑动窗口进行目标预检测，得到目标的位置、类别和置信度。对于第i帧图像Xi中预检测到的第j个目标Oij，输出预检测结果可为：Oij＝{xij,yij,Cij,Pij}其中(xij,yij)为目标Oij所在的分辨单元的坐标；Cij表示目标Oij所属的类型；Pij表示目标Oij的置信度；i(i＝1,2…L)；j(j＝1,2…Ni)。确定第i帧图像的置信度图Pi(x,y)为：所述目标跟踪运算可以包括下列流程：1)初始化：i＝1,对于初始状态(第1帧图像)X1(x,y)，设定I(X1)＝P1S(X1)＝02)递推过程：2≤i≤L,对于第i个状态(第i帧图像)Xi，用以下递推公式计算其观测函数值和轨迹：3)迭代结束：i＝L时，搜索如下的状态XL(x,y)：{XL}＝{XL,I(XL)＞Vr}式(7)依据上式判断状态XL每一个位置(x,y)观测函数值是否大于跟踪门限来确定是否检测到目标，将将大于跟踪门限的结果保存在集合{XL}中。4)轨迹回溯：对于集合{XL}中每一个目标，令OL＝XL，并进行轨迹回溯，依次得到其前一个目标，直到第一帧：Oi＝Si+1(i＝L-1,L-2…1)将最终集合{XL}中的每一个目标都按照上式扩展成一组目标，输出每一组目标的类型C和运动轨迹Obj：C＝C1Obj＝{O1,O2…OL}由此得到运动目标所属的类别、在每一帧的坐标及运动轨迹，其中，I表示沿某一轨迹的非相干累积观测函数值；S表示对应目标轨迹上的前一个目标；I(Xi)为第i帧中的观测函数值，由前一帧的任意状态转移而来，其范围限制在R(x,y)范围内；R(x,y)表示坐标(x,y)处周围距离小于或等于1的分辨单元；S(Xi)表示使I(Xi)达到最大时的目标轨迹上的前一个目标；Vr为事先定义的跟踪门限值。在相邻帧的目标运动状态转移中，只考虑R(x,y)内的目标，当相邻两帧检测出的目标类型相同，认为当前帧中的该目标是上一帧对应目标的合法转移，将其置信度加入观测本文档来自技高网...

【技术保护点】
1.一种基于深度学习预检测的检测前跟踪方法，设置较低的置信度门限进行预检测，逐帧进行目标检测，获得检测算法输出的目标及其置信度，以该目标的置信度为观测量，应用多帧检测前跟踪算法进行目标跟踪运算，得到最终的目标检测结果和运动轨迹。/n

【技术特征摘要】
1.一种基于深度学习预检测的检测前跟踪方法，设置较低的置信度门限进行预检测，逐帧进行目标检测，获得检测算法输出的目标及其置信度，以该目标的置信度为观测量，应用多帧检测前跟踪算法进行目标跟踪运算，得到最终的目标检测结果和运动轨迹。


2.如权利要求1所述的方法，其特征在于采用基于动态规划的目标跟踪算法进行所述的目标跟踪运算。


3.如权利要求2所述的方法，其特征在于采用深度学习算法进行所述的预检测。


4.如权利要求1-3所述的方法，其特征在于忽略目标的小大，把目标看成质点，将目标的位置定义为其质心位置。


5.如权利要求4所述的方法，其特征在于将整帧图像划分成若干个分辨单元，定义各分辨单元的坐标，以分辨单元的坐标作为落在该分辨单元内的任何目标的坐标。


6.如权利要求5所述的方法，其特征在于所述分辨单元的大小依据或主要依据目标的最大运动速度确定，目标的最大运动速度为1分辨单元/帧。


7.如权利要求6所述的方法，其特征在于按顺序排列好当前待检测的图像，放入一个长度为L的滑动窗口进行目标预检测，得到目标的位置、类别和置信度。


8.如权利要求7所述的方法，其特征在于对于第i帧图像Xi中预检测到的第j个目标Oij，输出预检测结果为：
Oij＝{xij，yij，Cij，Pij}
其中
(xij，yij)为目标Oij所在的分辨单元的坐标；
Cij表示目标Oij所属的类型；
Pij表示目标Oij的置信度；
i＝1，2...L；
j＝1，2...Ni。


9....

【专利技术属性】
技术研发人员：郑文涛，林姝含，李申达，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：北京;11