一种在线多目标跟踪方法、系统及应用技术方案

本发明专利技术属于计算机视觉与深度学习技术领域，公开了一种在线多目标跟踪方法、系统及应用，将视频当前帧图像输入到卷积神经网络中；在卷积神经网络中卷积后，对不同目标在不同通道特征图上的特征进行提取；融合所提取到的特征为一个特征矩阵；将视频下一帧图像输入，重复上述步骤得到该帧的特征矩阵；将当前帧的特征矩阵与之前得到的前n(1≤n≤30)帧特征矩阵进行数据关联操作；将数据关联操作后的结果利用改进后的匈牙利算法实现目标之间的正确跟踪，实现多目标跟踪方法。根据实验结果，本发明专利技术的在线多目标跟踪方法有效提高了跟踪准确度，且在复杂场景下也有很好的鲁棒性。

【技术实现步骤摘要】
一种在线多目标跟踪方法、系统及应用
本专利技术属于计算机视觉与深度学习
，尤其涉及一种在线多目标跟踪方法、系统及应用。
技术介绍
随着人工智能科技的不断发展，越来越多的科学技术得到了大幅度更新，例如计算机视觉，现在主流的方法都是端到端的利用卷积神经网络提取图像特征并利用特征实现下一步如分类检测等任务。要做的多目标跟踪也是如此，充分利用卷积神经网络的特征，实现对检测目标的跟踪与标定。多目标跟踪技术在无人机，自动驾驶，运动分析，教育等领域有着显著的应用。在线多目标跟踪技术有着几十年的发展历史，其主要任务是对不同帧中的目标建立联系，实现跨帧的跟踪多个目标并绘制其运动轨迹。随着深度学习的发展，计算机视觉领域诸多任务的性能有了明显的提升，但是对于多目标跟踪来说，由于其复杂的场景，目标个数的多变，多目标之间频繁的遮挡以及目标的复杂运动等情况，多目标跟踪任务的精度依然差强人意。目前，主流的多目标跟踪方法主要分为两大类，第一种是对多目标的位置进行预测再数据关联，对多目标特征进行提取再数据关联。两种方法虽然都需要数据关联的操作，但是第一步任务有所不本文档来自技高网...

【技术保护点】
1.一种在线多目标跟踪方法，其特征在于，所述在线多目标跟踪方法包括：/n将视频图像当前帧t输入卷积神经网络中；/n对卷积神经网络中的特征图进行再次卷积，进一步泛化特征，然后根据目标在原图中的位置等比例在特征图中找到相应位置，提取目标特征；/n将从不同通道中提取出来的特征拼接并融合，得到当前帧t的全部目标融合后的特征矩阵；/n将当前帧t的特征矩阵与前t-n(1≤n≤30)帧的特征矩阵进行数据关联操作，找到相似度最匹配的检测；/n利用改进后的匈牙利算法对数据关联后的关联矩阵进行目标匹配同时最终轨迹进行在线更新。/n

【技术特征摘要】
1.一种在线多目标跟踪方法，其特征在于，所述在线多目标跟踪方法包括：
将视频图像当前帧t输入卷积神经网络中；
对卷积神经网络中的特征图进行再次卷积，进一步泛化特征，然后根据目标在原图中的位置等比例在特征图中找到相应位置，提取目标特征；
将从不同通道中提取出来的特征拼接并融合，得到当前帧t的全部目标融合后的特征矩阵；
将当前帧t的特征矩阵与前t-n(1≤n≤30)帧的特征矩阵进行数据关联操作，找到相似度最匹配的检测；
利用改进后的匈牙利算法对数据关联后的关联矩阵进行目标匹配同时最终轨迹进行在线更新。


2.如权利要求1所述的在线多目标跟踪方法，其特征在于，所述在线多目标跟踪方法将待检测视频帧图像输入到卷积神经网络中，进行卷积操作提取特征，提取特征包括：
(1)使用的卷积神经网络共有16层，分别在3、6、9、12、14、15、16层实现残差拼接操作，其中y表示得到的特征，xn表示第n层输入的特征，n＝3、6、9、12、14、15、16，F表示残差拼接操作，公式为：
y＝F(xn)+xn；
对提取到的特征进一步泛化；
(2)根据每一帧的目标m，有其基于原图的坐标(xm,ym,wm,hm)，其中xm,ym表示目标m的左上角坐标位置，wm,hm表示目标边界框的宽和高，那么，当前卷积层大小是原卷积层的倍，那么，现在的目标边界框坐标为
(3)采用ROIalign的方法将目标边界框坐标映射到当前层特征图上，ROIalign取消了量化操作，对于量化中产生的坐标为浮点数的像素，利用双线性插值计算其像素值。


3.如权利要求1所述的在线多目标跟踪方法，其特征在于，所述在线多目标跟踪方法的不同通道中特征融合方法包括：
(1)将ROIalign后得到的每一个卷积层卷积之后的特征进行拉伸操作，拉伸操作是将原来的三维矩阵转换成二维矩阵，即Xw×h×n的矩阵拉伸成Xm×n，其中m＝w×h；
(2)对于一层卷积得到了一个Xm×n特征，对所有7个通道都进行特征矩阵拉伸操作，得到了7个Xm×n特征矩阵；
(3)对于这样的7个Xm×n特征矩阵，对其进行拼接操作，将7个Xm×n特征矩阵，从第一个到最后一个横向排列，得到当前目标的大特征矩阵Xr×n，其中r＝m×7；
(4)对于一个目标将其从7个通道提取出来的所有特征进行融合，得到了Xr×n的特征矩阵，特征矩阵融合该目标在不同通道上的不同特征，将当前帧所有目标的Xr×n二维特征矩阵融合成Xr×d×n的全部目标的特征矩阵，其中d是当前帧的目标个数。


4.如权利要求1所述的在线多目标跟踪方法，其特征在于，所述将当前帧t的特征矩阵与前t-n(1≤n≤30)帧的特征矩阵进行数据关联操作，找到相似度最匹配的检测包括：
(1)将当前帧特征提取与融合的矩阵储存为特征矩阵，对视频中所有帧都进行这样的操作，储存特征矩阵；
(2)将当前帧的特征矩阵与前n(1≤n≤30)帧的特征矩阵进行矩阵运算，具体操作为：首先将的第一层平面扩展成与前n(1≤n≤30)帧中某一帧大小相同的矩阵...

【专利技术属性】
技术研发人员：李洁，王飞，陈威，续拓，刘学文，张翔宇，焦群翔，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61