一种基于YOLOv3的空中无人机目标识别和跟踪方法技术

本发明专利技术涉及视频目标识别跟踪技术领域，提供一种基于YOLOv3的空中无人机目标识别和跟踪方法。首先制作训练集；然后基于K‑means聚类算法改进候选框参数，并训练YOLOv3模型；接着获取待跟踪无人机飞行视频，设定目标模板；再生成当前帧的K

A target recognition and tracking method of UAV Based on yolov3

【技术实现步骤摘要】
一种基于YOLOv3的空中无人机目标识别和跟踪方法
本专利技术涉及视频目标识别跟踪
，特别是涉及一种基于YOLOv3的空中无人机目标识别和跟踪方法。
技术介绍
高性能的目标识别和跟踪方法是计算机视觉领域的核心技术。目标识别方法有传统方法和基于深度学习的方法。传统的目标识别方法分为三个部分：首先进行区域选择，然后对区域中的目标进行特征提取，最后对提取的特征使用分类器分类。一方面，传统方法中，无论什么样的目标识别，在设置滑动窗口的时候，用的都是同样的方法，没有针对性，而且由于窗口设置的过多导致算法模型复杂，时间复杂度高；另一方面，传统方法中用于分类识别的目标特征是手工提取的，隐藏的问题是提取的特征不够好，从而在进行目标识别的时候可能导致效果不稳定。基于深度学习的目标识别方法使用卷积神经网络提取目标特征，算法模型是基于端到端的网络，不需要进行区域候选，直接对输入的图片进行分类识别。对于深度学习领域常见的目标检测数据集，YOLOv3所做的物体检测已经取得了很好的检测效果。而对于小型无人机目标，由于是远距离拍摄，在部分画面中无人机目标尺寸太小，YOLOv3的检测性能并不能达到最优。跟踪方法经过多年的发展已有很好的跟踪效果，但是受到光照、遮挡、尺度等因素变化的影响，都有一定概率会使跟踪发生偏移，或者产生误跟踪的问题，目标跟踪出现问题无法修复。
技术实现思路
针对现有技术存在的问题，本专利技术提供一种基于YOLOv3的空中无人机目标识别和跟踪方法，能够提高空中无人机目标识别和跟踪的精度、效率和计算复杂度。本专利技术的技术方案为：一种基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，包括下述步骤：步骤1：制作训练集；步骤1.1：将无人机作为空中飞行目标，获取无人机飞行视频；步骤1.2：对无人机飞行视频进行分帧处理，得到多帧图片构成待筛选图片集；步骤1.3：对待筛选图片集中重复的和没有目标物的图片按一定比例进行筛除，待筛选图片集中剩余的图片构成待处理图片集；步骤1.4：对待处理图片集中的每帧图片进行预处理，得到预处理后的图片集；步骤1.5：对预处理后的图片集中的每帧图片标记出无人机区域框，并标注无人机区域框中无人机的类别信息和位置信息，生成训练集；其中，所述位置信息包括无人机区域框的中心点坐标、宽、高；步骤2：改进候选框参数；步骤2.1：在不同的聚类数目K下，基于K-means聚类算法对训练集中的无人机区域框进行聚类，得到每种K值下的K个最优聚类中心，统计每种K值下的损失函数值；步骤2.2：绘制损失函数值与K值之间的关系图，采用手肘法找到最优K值，得到最优K值下的K个最优聚类中心，将最优K值下的K个最优聚类中心作为YOLOv3的初始候选框参数写入配置文件，获得改进的YOLOv3；步骤3：利用训练集训练YOLOv3中的Darknet-53模型；步骤4：获取待跟踪无人机的飞行视频，初始化i＝1，在第1帧图像中手动获取跟踪目标，将第1帧图像中的跟踪目标设为目标模板，提取目标模板的HSV直方特征向量、HOG直方特征向量；步骤5：令i＝i+1，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，利用训练后的YOLOv3模型对K*近邻搜索区域进行检测，输出K*近邻搜索区域中目标的类别及预测的多个目标候选框；步骤6：留存与目标模板类别相同的目标候选框，进入步骤7；若没有与目标模板类别相同的目标候选框，则以第i-1帧图像的跟踪目标为第i帧图像的跟踪目标，进入步骤8；步骤7：依次提取每个目标候选框的HSV直方特征向量、HOG直方特征向量，计算每个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，并计算每个目标候选框与目标模板的相似度得分，选取最高相似度得分对应的目标候选框作为第i帧图像的跟踪目标；步骤8：若i≥n，则结束跟踪；若i＜n，则执行步骤9；其中，n为待跟踪无人机的飞行视频的总帧数；步骤9：判断第i帧图像的跟踪目标是否达到目标模板更新条件，若达到则更新目标模板为第i帧图像的跟踪目标，转至步骤5；若未达到则转至步骤5。进一步地，所述步骤1.1中，所述无人机包括小型四旋翼无人机和小型固定翼无人机；所述步骤1.4中，所述预处理包括灰度化、几何变换、图像增强、图像颜色调整。进一步地，所述步骤3中，利用训练集训练YOLOv3中的Darknet-53模型，包括：步骤3.1：将训练集导入到YOLOv3中，修改voc.names文件、cfg文件中的voc.data文件、yolov3-voc.cfg文件；步骤3.2：导入训练权重文件darknet53.conv.74后，训练YOLOv3模型。进一步地，所述步骤4中，提取目标模板的HOG直方特征向量包括：步骤4.1：对目标模板进行Gamma校正；步骤4.2：计算目标模板中每个像素点在横坐标方向的梯度gx、纵坐标方向的梯度gy，并计算每个像素点的梯度的幅值和方向角分别为步骤4.3：将目标模板分成多个细胞单元，统计每个细胞单元的梯度直方图，形成每个细胞单元的特征描述子；步骤4.4：选取多个细胞单元组合成块，在每个块内归一化梯度直方图；步骤4.5：收集检测窗口中所有重叠的块的HOG特征，构成目标模板的HOG直方特征向量。进一步地，所述步骤5中，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，包括：以第i-1帧图像的跟踪目标为基础矩阵，第i帧图像的K*近邻搜索区域的中心点与基础矩阵的中心点坐标位置重合，同时满足公式：其中，Wdetect、Hdetect分别为第i帧图像的K*近邻搜索区域的宽、高，Wobj、Hobj分别为基础矩阵的宽、高。进一步地，所述步骤7中，计算第k个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度分别为其中，Ho、Hk分别为目标模板、第k个目标候选框的HSV直方特征向量，Ho(j)、Hk(j)分别为Ho、Hk中第j个细胞单元内的颜色向量统计值，N为HSV直方图中细胞单元的总数，k＝1，2，…，L，L为目标候选框的总数；Go、Gk分别目标模板、第k个目标候选框的HOG直方特征向量，Go(j)、Gk(j)为Go、Gk中第j个细胞单元内的梯度统计值，M为HOG直方图中细胞单元的总数。进一步地，所述步骤7中，计算第k个目标候选框与目标模板间的相似度得分为dk＝(w1*d(Ho，Hk)+(1-w1)d(Go，Gk))*w2其中，w1、w2均为权重系数。进一步地，所述步骤9中，目标模板更新条件包括帧间阈值条件、帧间差分条件；所述帧间阈值条件为其中，d(Ho，Hi)、d(Go，Gi)分别为第i帧图像的跟踪目标与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，d(H本文档来自技高网...

【技术保护点】
1.一种基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，包括下述步骤：/n步骤1：制作训练集；/n步骤1.1：将无人机作为空中飞行目标，获取无人机飞行视频；/n步骤1.2：对无人机飞行视频进行分帧处理，得到多帧图片构成待筛选图片集；/n步骤1.3：对待筛选图片集中重复的和没有目标物的图片按一定比例进行筛除，待筛选图片集中剩余的图片构成待处理图片集；/n步骤1.4：对待处理图片集中的每帧图片进行预处理，得到预处理后的图片集；/n步骤1.5：对预处理后的图片集中的每帧图片标记出无人机区域框，并标注无人机区域框中无人机的类别信息和位置信息，生成训练集；其中，所述位置信息包括无人机区域框的中心点坐标、宽、高；/n步骤2：改进候选框参数；/n步骤2.1：在不同的聚类数目K下，基于K-means聚类算法对训练集中的无人机区域框进行聚类，得到每种K值下的K个最优聚类中心，统计每种K值下的损失函数值；/n步骤2.2：绘制损失函数值与K值之间的关系图，采用手肘法找到最优K值，得到最优K值下的K个最优聚类中心，将最优K值下的K个最优聚类中心作为YOLOv3的初始候选框参数写入配置文件，获得改进的YOLOv3；/n步骤3：利用训练集训练YOLOv3中的Darknet-53模型；/n步骤4：获取待跟踪无人机的飞行视频，初始化i＝1，在第1帧图像中手动获取跟踪目标，将第1帧图像中的跟踪目标设为目标模板，提取目标模板的HSV直方特征向量、HOG直方特征向量；/n步骤5：令i＝i+1，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K...

【技术特征摘要】
1.一种基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，包括下述步骤：
步骤1：制作训练集；
步骤1.1：将无人机作为空中飞行目标，获取无人机飞行视频；
步骤1.2：对无人机飞行视频进行分帧处理，得到多帧图片构成待筛选图片集；
步骤1.3：对待筛选图片集中重复的和没有目标物的图片按一定比例进行筛除，待筛选图片集中剩余的图片构成待处理图片集；
步骤1.4：对待处理图片集中的每帧图片进行预处理，得到预处理后的图片集；
步骤1.5：对预处理后的图片集中的每帧图片标记出无人机区域框，并标注无人机区域框中无人机的类别信息和位置信息，生成训练集；其中，所述位置信息包括无人机区域框的中心点坐标、宽、高；
步骤2：改进候选框参数；
步骤2.1：在不同的聚类数目K下，基于K-means聚类算法对训练集中的无人机区域框进行聚类，得到每种K值下的K个最优聚类中心，统计每种K值下的损失函数值；
步骤2.2：绘制损失函数值与K值之间的关系图，采用手肘法找到最优K值，得到最优K值下的K个最优聚类中心，将最优K值下的K个最优聚类中心作为YOLOv3的初始候选框参数写入配置文件，获得改进的YOLOv3；
步骤3：利用训练集训练YOLOv3中的Darknet-53模型；
步骤4：获取待跟踪无人机的飞行视频，初始化i＝1，在第1帧图像中手动获取跟踪目标，将第1帧图像中的跟踪目标设为目标模板，提取目标模板的HSV直方特征向量、HOG直方特征向量；
步骤5：令i＝i+1，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，利用训练后的YOLOv3模型对K*近邻搜索区域进行检测，输出K*近邻搜索区域中目标的类别及预测的多个目标候选框；
步骤6：留存与目标模板类别相同的目标候选框，进入步骤7；若没有与目标模板类别相同的目标候选框，则以第i-1帧图像的跟踪目标为第i帧图像的跟踪目标，进入步骤8；
步骤7：依次提取每个目标候选框的HSV直方特征向量、HOG直方特征向量，计算每个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，并计算每个目标候选框与目标模板的相似度得分，选取最高相似度得分对应的目标候选框作为第i帧图像的跟踪目标；
步骤8：若i≥n，则结束跟踪；若i＜n，则执行步骤9；其中，n为待跟踪无人机的飞行视频的总帧数；
步骤9：判断第i帧图像的跟踪目标是否达到目标模板更新条件，若达到则更新目标模板为第i帧图像的跟踪目标，转至步骤5；若未达到则转至步骤5。


2.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤1.1中，所述无人机包括小型四旋翼无人机和小型固定翼无人机；所述步骤1.4中，所述预处理包括灰度化、几何变换、图像增强、图像颜色调整。


3.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤3中，利用训练集训练YOLOv3中的Darknet-53模型，包括：
步骤3.1：将训练集导入到YOLOv3中，修改voc.names文件、cfg文件中的voc.data文件、yolov3-voc.cfg文件；
步骤3.2：导入训练权重文件da...

【专利技术属性】
技术研发人员：吕艳辉，张德育，冯酉鹏，
申请(专利权)人：沈阳理工大学，
类型：发明
国别省市：辽宁;21