一种目标跟踪方法及无人机系统技术方案

本公开提供了一种目标跟踪方法及无人机系统，包括：使用YOLO目标检测模型，对视频帧中的目标进行检测；以及根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪。根据本公开提供的各个实施例，可以在低成本硬件上准确检测和跟踪视频中移动的目标。踪视频中移动的目标。踪视频中移动的目标。

【技术实现步骤摘要】
一种目标跟踪方法及无人机系统


[0001]本公开总体上涉及计算机视觉
，更具体地涉及一种目标跟踪方法及无人机系统。

技术介绍

[0002]本部分旨在介绍本领域的一些方面，其可以与下面描述的和/或要求保护的本公开的各个方面相关。相信本部分有助于提供背景信息以便于更好地理解本公开的各个方面。因此，应该理解的是这些介绍应该从这个角度来理解，而不是作为对现有技术的承认。
[0003]在快速移动的相机或其他目标捕获的视频帧中跟踪对象仍然是计算机视觉中一个具有挑战性的问题。原因是相机移动的复杂性可能导致图像之间的照明、旋转和尺度不变性的复杂变化。此外，背景杂乱、低分辨率、空气动力学效应、遮挡、低对比度、图像噪点和目标物体的小尺寸使问题恶化。
[0004]近年来，基于相关滤波器(Correlation Filters，CF)的方法广泛用于使用静态相机在受控条件下跟踪对象。内核化CF(Kernelized Correlation Filters,KCF)是一种基于CF跟踪器的方法。KCF算法成功地处理了每秒数百帧(fps)，因为训练样本是使用循环移位创建的，将数据矩阵转换为循环矩阵。此外，梯度方向直方图(Histograms of Oriented Gradients，HOG)、局部二值模式(Local Binary Patterns,LBP)功能用于提高CF的跟踪精度。一些方案提出了一种称为畸变抑制CF的特殊过滤器，以跟踪从无人机捕获的人类活动视频。此过滤器可以防止在跟踪对象时由动态场景噪声引起的图像异常。一些方案提出了一种自动时空正则化框架，以限制使用无人机跟踪汽车，自行车和其他物体的局部CF学习。一些方案提出了一种自适应算法，该算法结合了基于多通道HOG特征的CF跟踪响应和增强的彩色直方图跟踪响应，以高精度跟踪小型目标，例如卡车，汽车和自行车。尽管这些基于滤波器的方法在静态相机和受控条件下执行快速响应，但它们在实际应用中并不成功。虽然一些方案已经提出了几种算法(例如TLD(Tracking
‑
learning detection)跟踪算法等)来跟踪受控环境中的对象。然而，与KCF相比，这些算法的fps速率非常低。
[0005]一些基于深度学习的算法，如YOLO(You Only Live Once)，SSD(Single Shot MultiBox Detector)和卷积神经网络(Convolutional Neural Networks,CNN)，由于其高精度的结果，最近被用于在实时应用中开发强大的对象跟踪方法。一些方案使用YOLOv3进行检测，并使用卡尔曼滤波算法跟踪视频帧中的行人。一些方案提出了一种多块SSD算法，通过视频监控检测和识别未经授权的人员进入火车站。
[0006]尽管深度学习算法在对象检测和跟踪问题中产生准确的结果，但它们需要高性能的计算系统。在实时应用中，深度学习算法应该在图形处理器(Graphics Processing Unit，GPU)上运行，因为GPU的FPS速率高于中央处理器(Central Processing Unit，CPU)。但是，GPU的成本更高。由于在实验过程中无人机可能会坠落和断裂，因此这也是有风险的。因此，与高成本GPU相比，基于CPU的低成本硬件设计是促进无人机高速过程的更合适的平台。

技术实现思路

[0007]本公开的目的在于提供一种目标跟踪方法及无人机，以至少解决
技术介绍
中的技术问题。
[0008]根据本公开的第一方面，提供了一种目标跟踪方法，包括：使用YOLO目标检测模型，对视频帧中的目标进行检测；以及根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪。
[0009]在至少一些实施例中，所述视频帧的平均帧率为N，所述使用YOLO目标检测模型，对视频帧中的目标进行检测包括：在第1帧和N
×
n帧使用所述YOLO目标检测模型对视频帧中的目标进行检测，其中，N为正整数，n为1、2、3、...，所述根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪包括：在每个N
×
n帧，根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪。
[0010]在至少一些实施例中，所述方法还包括：响应于所述YOLO目标检测模型的检测结果与所述核相关滤波算法追踪器的跟踪结果不一致，使用所述YOLO目标检测模型的检测结果和所述核相关滤波算法追踪器的跟踪结果训练所述相关滤波算法追踪器。
[0011]在至少一些实施例中，所述YOLO目标检测模型的检测结果与所述核相关滤波算法追踪器的跟踪结果不一致包括：所述YOLO目标检测模型的检测结果的中心坐标与所述核相关滤波算法追踪器的跟踪结果的中心坐标之间的欧氏距离大于预设阈值。
[0012]在至少一些实施例中，N为30。
[0013]在至少一些实施例中，所述YOLO目标检测模型采用的是YOLOv3
‑
Tiny网络。
[0014]在至少一些实施例中，所述目标为无人机。
[0015]在至少一些实施例中，训练和测试所述YOLO目标检测模型所采用的数据集包括：包含目标的原始图像；通过对所述原始图像进行数据增强所得到增强图像；以及包含非目标的原始图像。
[0016]根据本公开的第二方面，提供了一种无人机系统，包括：无人机，所述无人机包括摄像设备；以及地面控制站，用于根据本公开第一方面任一项所述的方法对无人机进行检测和跟踪，其中，所述地面控制站执行本公开第一方面任一项所述的方法是基于中央处理器(Central Processing Unit，CPU)而不是基于图形处理器(Graphics Processing Unit，GPU)。
[0017]根据本公开提供的各个实施例，可以在低成本硬件上准确检测和跟踪视频中移动的目标。
[0018]应当理解，本部分所描述的内容并不旨在标识所要求保护的
技术实现思路
的关键或必要特征，也不旨在单独地用于确定所要求保护的
技术实现思路
的范围。
附图说明
[0019]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的该实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，相同的附图标记指代类似但不一定相同的要
素。
[0020]图1示出了根据本公开的实施例所提出的实时检测和跟踪移动物体的方法的框图。
[0021]图2示出了本公开中用于训练YOLO目标检测模型的无人机数据集的一些示例图像。
[0022]图3示出了本公开的基于CPU的地面控制站从无人机和无人机的基本运动轴进行无人机检测和跟踪的架构示意图。
具体实施方式
[0023]下文将参考附图更全面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，包括：使用YOLO目标检测模型，对视频帧中的目标进行检测；以及根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪。2.根据权利要求1所述的方法，其中，所述视频帧的平均帧率为N，所述使用YOLO目标检测模型，对视频帧中的目标进行检测包括：在第1帧和N
×
n帧使用所述YOLO目标检测模型对视频帧中的目标进行检测，其中，N为正整数，n为1、2、3、...，所述根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪包括：在每个N
×
n帧，根据所述YOLO目标检测模型的检测结果以及核相关滤波算法追踪器，对所述视频帧中的目标进行跟踪。3.根据权利要求2所述的方法，还包括：响应于所述YOLO目标检测模型的检测结果与所述核相关滤波算法追踪器的跟踪结果不一致，使用所述YOLO目标检测模型的检测结果和所述核相关滤波算法追踪器的跟踪结果训练所述相关滤波算法追踪器。4.根据权利要求...

【专利技术属性】
技术研发人员：任雪峰，罗巍，
申请(专利权)人：北京卓翼智能科技有限公司，
类型：发明
国别省市：