一种多目标检测跟踪方法、电子设备及存储介质技术

本发明专利技术公开了一种多目标跟踪方法，包括：获取待跟踪的每个目标对象；基于GPU的并行处理，采用核化相关滤波方法对每个目标对象进行跟踪以更新每个目标对象的位置；基于ResNet的深度学习卷积神经网络和Faster‑RCNN的检测模型检测每个目标对象；将检测的目标对象和对应的跟踪的目标对象进行匹配。本发明专利技术还公开了一种电子设备及存储介质，本发明专利技术提供的多目标跟踪方法、电子设备及存储介质，基于GPU的并行处理，采用核化相关滤波方法对每个目标对象进行跟踪，基于ResNet的深度学习卷积神经网络和Faster‑RCNN的检测模型检测每个目标对象，从而实现高性能的目标跟踪和检测，提高跟踪和检测的稳定性。

【技术实现步骤摘要】
一种多目标检测跟踪方法、电子设备及存储介质
本专利技术涉及目标检测和跟踪领域，尤其涉及一种多目标检测跟踪方法、电子设备及存储介质。
技术介绍
目前，基于视频的实时监控系统，通常布置在人流量密集的公共区域或敏感区域，如广场、车站、体育馆、厂区等，对于国家安全、公共安全、国防建设和人民的财产具有重要的意义；基于视频的监控系统具有非接触、成本低、长时间运行等特点，通过自动化的监控软件可以解放大量的人力物力。传统的监控系统部署方式一般为通过集中式的高性能服务器提供对接入视频流的视频分析服务，这种方式对于相对封闭的区域比较适合，比如大型超市等，但它有部署不灵活、成本较高等不足；如何能够在性能相对不高、价格相对低廉的嵌入式上进行分布式的部署，从而能够实现智能分析能力移向前端设备，扩大部署数量和范围是目前研究的热点话题。不论是部署在高性能服务器还是部署在嵌入式上的基于视频的实时监控系统，一般来讲都需要能够实现定位出目标并能够持续对各个目标进行监视，而实现这一系统包含两个关键技术：目标检测和多目标跟踪。目标检测的任务是通过视频图像，自动定位出感兴趣的物体，如行人、车辆。目标检测追求的是能够减少误检(将非目标错误的判断为目标)和漏检(有些目标没有在视频帧图像中定位出来)，通过深度学习方法在图像领域里最近几年的快速发展，目前使用的最好的目标检测技术是基于faster-rcnn的深度学习检测技术，该技术通过深度神经网络训练大量的数据样本，能够准确学习到待检测目标的复杂特征，从而可以在图片中准确定位到待检测目标。该类方法在学术上可以达到了99％以上的准确率，但同时该方法存在速度较慢这一明显的不足。目标跟踪的任务是对检测到的目标进行持续的跟踪，为下一步分析行人的运动轨迹、分析行人的行为、公共区域突发事件的预防，如聚集、踩踏等信息提供了重要的基础。目前被广泛研究和应用的目标跟踪方法主要有两类：基于深度学习的跟踪方法和基于相关滤波的跟踪方法。基于深度学习的跟踪方法，主要思想是借鉴深度学习方法在分类任务上取得巨大成功的经验，即使用深度神经网络提取跟踪目标的特征，从而远远超过了传统手工设计特征的方法，但是该类方法存在速度缓慢的不足，目前的进展远不能达到实时的目的，同时该方法对计算所需要的硬件条件要求很高，所以一直停留在学术界，难以在工业界实际应用。而基于相关滤波的跟踪自2010年在学术界问世时就以高速稳定的性能而受到广泛认可。相关滤波的方法在实现思想上借鉴了信号处理领域的方法，即在信号处理中通常使用相关性来描述两个信号之间的联系，而相关滤波将相关性引入到跟踪领域中，通过计算相关性来衡量两个目标之间的相似程度的大小。自相关滤波方法提出以来，已经在相关滤波基础上衍生出了很多分支的跟踪方法，而最本质的进化应当属于2014年问世的核化相关滤波。该方法从机器学习的角度引入核技巧，并通过循环矩阵改进了相关滤波的跟踪，是现在最新研究方向的基础。通过实验测试，在服务器上(Titanx显卡)相关滤波方法的运行速度可以达到单个目标500fps左右，而核化相关滤波的跟踪方法的运行速度可以达到一个目标200fps左右，另外在嵌入式平台(jetsonTx1)，核化相关滤波耗时大概10多毫秒，可以达到实时的要求，但是离多路(4路)实时还是有所差距。现有的多目标跟踪技术都是基于大中型服务器CPU的串行算法，其缺点是在多目标情况下速度下降显著，无法达到实时效果，并且大中型服务器硬件和维护成本都比较高。且基于深度学习的目标检测方法难以应用在计算能力、功耗有限的嵌入式设备上。现有的多目标跟踪方法未能将检测与跟踪两个模块统一进行优化处理，跟踪和检测目标不稳定。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种多目标检测跟踪方法，以解决现有多目标跟踪方法跟踪和检测目标不稳的的问题。本专利技术的目的之二在于提供一种电子设备，以解决现有多目标跟踪方法跟踪和检测目标不稳的的问题。本专利技术的目的之一采用如下技术方案实现：一种多目标跟踪方法，包括：获取待跟踪的每个目标对象；基于GPU的并行处理，采用核化相关滤波方法对每个所述目标对象进行跟踪以更新每个所述目标对象的位置；基于ResNet的深度学习卷积神经网络和Faster-RCNN的检测模型检测所述每个目标对象；将检测的目标对象和对应的跟踪的目标对象进行匹配。进一步地，所述基于GPU的并行处理，采用核化相关滤波方法对每个所述目标对象进行跟踪以更新每个所述目标对象的位置包括基于GPU的并行处理执行以下步骤：提取当前帧图像中每个目标对象的目标框的第一图像特征；将所述第一图像特征进行二维傅里叶变换转换为第一频域信号；对所述第一频域信号取自相关以得到第一共轭信号；对所述第一共轭信号进行傅里叶反变换计算第一高斯核函数，其中，所述第一高斯核函数的计算过程中采用与特征长度相关的估计值替代高斯核的平方和；建立训练数据集，通过第一高斯核函数对所述训练数据集进行岭回归训练以得到频域模型；根据所述频域模型更新每个所述目标对象的位置。进一步地，所述根据所述频域模型更新每个所述目标对象的位置包括：提取下一帧图像中每个目标对象的目标框的第二图像特征；将所述第二图像特征进行二维傅里叶变换转换为第二频域信号；将所述第一频域信号和所述第二频域信号取自相关以得到第二共轭信号；对所述第二共轭信号进行傅里叶反变换计算第二高斯核函数，其中，所述第二高斯核函数的计算过程中采用与特征长度相关的估计值替代高斯核的平方和；将所述第二高速核函数导入所述频域模型计算出响应值；根据所述响应值更新每个所述目标对象的位置。进一步地，所述根据所述响应值更新每个所述目标对象的位置包括：将所述响应值进行傅里叶反变换以得到响应矩阵；获取所述响应矩阵的最大值的位置；根据所述响应矩阵的最大值的位置和当前帧图像中每个目标对象的位置计算下一帧图像中每个所述目标对象的位置。进一步地，所述获取所述响应矩阵的最大值的位置包括：采用并行二叉树算法计算所述响应矩阵的最大值的位置。进一步地，所述建立训练数据集包括：采用循环移位的方法在目标对象周围区域采集正负样本。进一步地，所述将检测的目标对象和对应的跟踪的目标对象进行匹配包括：采用匈牙利算法将检测的目标对象和对应的跟踪的目标对象进行匹配。进一步地，所述基于ResNet的深度学习卷积神经网络和Faster-RCNN的检测模型是采用tensorRT架构部署在嵌入式平台上的。本专利技术的目的之二采用如下技术方案实现：一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行上述的方法。本专利技术还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述的方法。相比现有技术，本专利技术的有益效果在于：基于GPU的并行处理，采用核化相关滤波方法对每个目标对象进行跟踪，基于ResNet的深度学习卷积神经网络和Faster-RCNN的检测模型检测每个目标对象，从而实现高性能的目标跟踪和检测，提高跟踪和检测的稳定性。附图说明图1为本专利技术实施例提供的多目标跟踪方法流程图；图2为本专利技术实施例提供的采用核化相关滤波方法对每个所述目标对象进行跟踪的流程图；图3为本专利技术实施例提供的根据频域模型更新每本文档来自技高网...

【技术保护点】
一种多目标跟踪方法，其特征在于，包括：获取待跟踪的每个目标对象；基于GPU的并行处理，采用核化相关滤波方法对每个所述目标对象进行跟踪以更新每个所述目标对象的位置；基于ResNet的深度学习卷积神经网络和Faster‑RCNN的检测模型检测所述每个目标对象；将检测的目标对象和对应的跟踪的目标对象进行匹配。

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：获取待跟踪的每个目标对象；基于GPU的并行处理，采用核化相关滤波方法对每个所述目标对象进行跟踪以更新每个所述目标对象的位置；基于ResNet的深度学习卷积神经网络和Faster-RCNN的检测模型检测所述每个目标对象；将检测的目标对象和对应的跟踪的目标对象进行匹配。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述基于GPU的并行处理，采用核化相关滤波方法对每个所述目标对象进行跟踪以更新每个所述目标对象的位置包括基于GPU的并行处理执行以下步骤：提取当前帧图像中每个目标对象的目标框的第一图像特征；将所述第一图像特征进行二维傅里叶变换转换为第一频域信号；对所述第一频域信号取自相关以得到第一共轭信号；对所述第一共轭信号进行傅里叶反变换计算第一高斯核函数，其中，所述第一高斯核函数的计算过程中采用与特征长度相关的估计值替代高斯核的平方和；建立训练数据集，通过第一高斯核函数对所述训练数据集进行岭回归训练以得到频域模型；根据所述频域模型更新每个所述目标对象的位置。3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述根据所述频域模型更新每个所述目标对象的位置包括：提取下一帧图像中每个目标对象的目标框的第二图像特征；将所述第二图像特征进行二维傅里叶变换转换为第二频域信号；将所述第一频域信号和所述第二频域信号取自相关以得到第二共轭信号；对所述第二共轭信号进行傅里叶反变换计算第二高斯核函数，其中，所述第二高斯核函数的计算过程中采用与特征长度相关的估计值...

【专利技术属性】
技术研发人员：田强，徐鹏飞，赵瑞，
申请(专利权)人：深圳市深网视界科技有限公司，
类型：发明
国别省市：广东,44