运动目标实时检测跟踪系统及方法技术方案

本发明专利技术公开了运动目标实时检测跟踪系统及方法，包括：检测设备；所述检测设备与云台连接，所述云台上搭载摄像头，所述摄像头将采集的图像存储到存储器中，所述存储器与检测设备连接；所述检测设备，用于对摄像头采集的图像进行处理，完成摄像头的自动对焦；所述检测设备，还用于对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪。本发明专利技术使用yolov3深度学习算法和sort多目标跟踪算法相结合来检测跟踪无人机，检测精度高，鲁棒性好，有利的避免了遮挡、跟踪丢失等问题；采用MPSoC硬件结构，多核异构，能使深度学习算法在ARM+FPGA架构下达到实时；监控系统设备小，且不需过多人为的干预和控制。

【技术实现步骤摘要】
运动目标实时检测跟踪系统及方法
本公开涉及运动目标检测跟踪
，特别是涉及运动目标实时检测跟踪系统及方法。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。运动目标的识别、检测和跟踪是计算机视觉领域的热点问题，在人机交互、视频跟踪、视觉导航、机器人以及军事指导等方面有广泛的应用。近年来，消费级无人机市场的快速增长，具有强大功能的消费级无人机价格不断降低，操作简便性不断提高，无人机正快速地从尖端的军用设备转入大众市场，成为普通民众手中的玩具。然而，功能越来越先进的新式无人机的不断涌现，也带来了安全和隐私方面的忧患，如无人机偷窥侵犯隐私权，在国家机关、军队驻地、机场周边等敏感区域飞行危害国家安全，以及无人机操作不当引发安全事故等等。yolov3是深度学习方面的一种目标检测网络，在单帧图像的识别和检测层面应用很广，相比于传统的目标检测方法，其优势在于更高的检测精度以及更快的检测速度。基于检测的目标跟踪是一种常用的目标跟踪方法，通过对每帧图像进行目标识别与检测，即可完成对视频系列的跟踪。但是，基于深度学习的yolov3对前期训练样本有很高的要求，如果一旦拍摄到的目标及背景图像不包含在训练样本里时，yolov3是无法检测到目标的，从而导致跟踪失败。sort多目标跟踪算法高效地实现了目标检测并使用卡尔曼滤波去滤波以及Hungarian算法进行跟踪，但是在有遮挡的情况下准确度很低。
技术实现思路
为了解决现有技术的不足，本公开提供了运动目标实时检测跟踪系统及方法；第一方面，本公开提供了运动目标实时检测跟踪系统；运动目标实时检测跟踪系统，包括：检测设备；所述检测设备与云台连接，所述云台上搭载摄像头，所述摄像头将采集的图像存储到存储器中，所述存储器与检测设备连接；所述检测设备，用于对摄像头采集的图像进行处理，完成摄像头的自动对焦；所述检测设备，还用于对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪。进一步地，所述对摄像头采集的图像进行处理，完成摄像头的自动对焦；是通过sort多目标跟踪算法来完成。进一步地，所述对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪；是通过yolov3深度学习算法来完成。第二方面，本公开提供了运动目标实时检测跟踪方法；运动目标实时检测跟踪方法，包括：系统通电开始工作后，摄像头根据自动对焦算法完成自动对焦；摄像头对待检测跟踪对象进行视频采集，将获得的待检测跟踪对象的图像存储到存储器中；检测设备对存储器中的图像进行处理，得到待检测跟踪对象的跟踪结果。进一步地，检测设备对存储器中的图像进行处理，得到待检测跟踪对象的跟踪结果；具体步骤包括：检测设备的MPSoC芯片的PS端从存储器中读取由摄像头拍摄的图像，将读取的图像传输给PL端；PL端对图像进行预处理，之后PL端将预处理后的图像通过AXI总线发送到PL端的深度学习处理器DPU进行卷积处理，然后将卷积处理结果发送到PS端；所述深度学习处理器DPU上部署yolov3算法的Darknet-53网络结构；PS端接收PL端发送的处理结果，PS端对结果进行处理得到检测框；根据目标跟踪算法对检测框进行初始化操作，预测目标的运动轨迹，得到跟踪框；联合检测框和跟踪框，得到最终的目标框；根据最终的目标框的坐标信息生成控制指令，将生成的控制指令发送给云台，控制云台带动摄像头转动，并进行下一个视角的图像拍摄。与现有技术相比，本公开的有益效果是：1、使用yolov3深度学习算法和sort多目标跟踪算法相结合来检测跟踪无人机，检测精度高，鲁棒性好，有利的避免了遮挡、跟踪丢失等问题；2、采用MPSoC硬件结构，多核异构，能使深度学习算法在ARM+FPGA架构下达到实时；3、监控系统设备小，且不需过多人为的干预和控制。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本公开实施例一的结构示意图；图2为本公开实施例二的工作流程图；图3为本公开实施例二的yolov3算法的Darknet-53网络架构示意图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例一本实施例提供了运动目标实时检测跟踪系统；如图1所示，运动目标实时检测跟踪系统，包括：检测设备；所述检测设备与云台连接，所述云台上搭载摄像头，所述摄像头将采集的图像存储到存储器中，所述存储器与检测设备连接；所述检测设备，用于对摄像头采集的图像进行处理，完成摄像头的自动对焦；所述检测设备，还用于对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪。进一步地，所述对摄像头采集的图像进行处理，完成摄像头的自动对焦；是通过sort多目标跟踪算法来完成。进一步地，所述对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪；是通过yolov3深度学习算法来完成。进一步地，所述检测设备，包括：MPSoC芯片，所述MPSoC芯片上布设有PS端(ProcessingSystem，处理系统)和PL端(ProgrammableLogic，可编程逻辑)，所述PS端和PL端之间通过AXI总线连接。其中，PS端包括：ARMCortex-A53四核处理系统(速率高达1.5GHz)、ARMCortex-R5四核处理系统(速率高达600MHz)和GPU(GraphicsProcessingUnit，图像处理单元，速率高达667MHz)；其中，PL模块，也就是FPGA(FieldProgrammableGateArray，现场可编程门阵列)包括：DPU(DeepLearningProcessorUnit，深度学习处理器)和IPU(ImagePreprocessorUnit，图像预处理器)。进一步地，所述摄像头能够在所监视的范围内实现360度的旋转拍摄。进一步地，所述检测设备还分别与电源和显示器连接；图像显示器将PS端的处理结果进行显示。进一步地，检测设备的MPSoC芯片的PS端从存储器中读取由摄像头拍摄的图像，将读取的图像传输给本文档来自技高网...

【技术保护点】
1.运动目标实时检测跟踪系统，其特征是，包括：检测设备；/n所述检测设备与云台连接，所述云台上搭载摄像头，所述摄像头将采集的图像存储到存储器中，所述存储器与检测设备连接；/n所述检测设备，用于对摄像头采集的图像进行处理，完成摄像头的自动对焦；所述检测设备，还用于对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪。/n

【技术特征摘要】
1.运动目标实时检测跟踪系统，其特征是，包括：检测设备；
所述检测设备与云台连接，所述云台上搭载摄像头，所述摄像头将采集的图像存储到存储器中，所述存储器与检测设备连接；
所述检测设备，用于对摄像头采集的图像进行处理，完成摄像头的自动对焦；所述检测设备，还用于对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪。


2.如权利要求1所述的系统，其特征是，所述对摄像头采集的图像进行处理，完成摄像头的自动对焦；是通过sort多目标跟踪算法来完成。


3.如权利要求1所述的系统，其特征是，所述对摄像头采集的图像进行处理，完成运动目标的实时检测跟踪；是通过yolov3深度学习算法来完成。


4.如权利要求1所述的系统，其特征是，检测设备的MPSoC芯片的PS端从存储器中读取由摄像头拍摄的图像，将读取的图像传输给PL端；PL端对图像进行预处理，之后PL端将预处理后的图像通过AXI总线发送到PL端的深度学习处理器DPU进行卷积处理，然后将卷积处理结果发送到PS端；
PS端接收PL端发送的处理结果，PS端对结果进行处理得到检测框，并根据检测框进行初始化操作，预测目标的运动轨迹，得到跟踪框；
联合检测框和跟踪框，得到最终的目标框，根据最终的目标框的坐标信息生成控制指令，将生成的控制指令发送给云台，控制云台带动摄像头转动，并进行下一个视角的图像拍摄。


5.如权利要求4所述的方法，其特征是，系统通电开始工作后，摄像头根据自动对焦算法完成自动对焦；具体步骤包括：
图像色度空间转换，将采集的图像由RGB图像转换为灰度图；
利用sobel边缘检测算法对灰度图像进行边缘检测，得到边缘检测图像；计算边缘检测图像的平均灰度值，记meanValue；
判断当前图像是否为首帧图像，若是首帧图像，则控制摄像头进行转动；若不是首帧图像，则将当前图像与前一帧图像的平均灰度值进行对比：
如果当前图像平均灰度值小于前一帧的平均灰度值，则表示摄像头转动方向错误，图像会越来越模糊，控制摄像头朝相反方向转动；
如果当前图像平均灰度值大于前一帧的平均灰度值，则控制摄像头继续转动；
经过N次迭代转动，得到最优图像；其中N为设定值，N为正整数。


6.如权利要求4所述的方法，其特征是，根据目标跟踪算法对检测框进行初始化操作，预测目标的运动轨迹，得到跟踪框；联合检测框和跟踪框，得到最终的目标框；具体步骤包括：
判断检测框所在的图像是否为首帧图像；若为首帧图像，则根据检测框，创建卡尔曼跟踪器；否则，根据卡尔曼滤波器预测下一帧图像中待检测跟踪对象的位置；
计算检测框与跟踪框的交并比IOU；
当检测框与跟踪框的交并比IOU大于设定阈值时，表示检测框与跟踪框中的目标为同一个目标，则利用匈牙利算法对检测框和跟踪框进行线性分配得到匹配的组合；
判断是否得到匹配的组合，如果得到匹配的组合，则根据匹配的结果更新卡尔曼跟踪器，否则不更新；
判断检测框中是否出现新的目标，如果检测框中出现新的目标，且连续M帧均有新的目标，则初始化1个新的卡尔曼跟踪器，进入下一帧的跟踪；否则不更新...

【专利技术属性】
技术研发人员：赵伟龙，张燕，陈峰，焉保卿，杨玉宽，张国栋，朱春健，赵明建，胡红磊，
申请(专利权)人：山东万腾电子科技有限公司，
类型：发明
国别省市：山东;37