超低空无人机视角下的多行人检测与姿态估计方法技术

本发明专利技术专利属于计算机视觉领域，具体提供了一种超低空无人机视角下的多行人检测与姿态估计方法，包括，利用无人机采集图像数据，对数据集进行数据预处理；对数据集进行增强；利用YOLOv5算法使用增强后的数据进行训练目标检测网络；利用训练好的目标检测网络进行多行人检测，利用单人姿态估计算法进行姿态估计。本发明专利技术解决数据集的冗余和标注不准确的问题，避免数据集质量对检测结果的不确定性影响；解决行人目标较小而导致的难以检测的问题，利用深度学习算法及数据增强技术提高检测精度；实现超低空无人机视角下的行人的姿态估计。现超低空无人机视角下的行人的姿态估计。现超低空无人机视角下的行人的姿态估计。

【技术实现步骤摘要】
超低空无人机视角下的多行人检测与姿态估计方法


[0001]本专利技术专利属于计算机视觉领域，具体提供了一种超低空无人机视角下的多行人检测与姿态估计方法。

技术介绍

[0002]目前突发的公共安全事故通常只有监控视频作为依据，且排查和预警大多依赖人工，不仅耗费人力物力，往往会导致问题发现不及时，从而造成严重后果。由于无人机搭载云台等图像或视频采集设备，可通过无线传输技术获取实时高分辨率的图像和视频，对交通枢纽、重点监控区、地貌物体等目标对象进行拍摄，以获取目标对象的图像信息。因此，在公共安全领域，可依赖无人机对公共领域进行常规巡查，填补因警务力量不足等因素造成的巡查漏洞。无人机巡检系统可以对林业区域、电力线路等进行巡检，提高巡检效率，但超低空无人机视角下的多行人检测与姿态估计方法仍然处在发展之中。当无人机执行飞行任务时，具有一定的飞行速度，导致采集到的图像或视频与真实场景出现偏差，采集到的行人画面存在运动模糊、视频散焦、姿势遮挡等问题。同时，画面中人体目标较小、相似度高、交互频繁等问题都为多人检测与姿态估计任务造成了阻碍。

技术实现思路

[0003]为了解决上述问题，本专利技术提供了一种超低空无人机视角下的多行人检测与姿态估计方法，包括，
[0004]利用无人机采集图像数据，对数据集进行数据预处理；
[0005]对数据集进行数据增强；
[0006]利用YOLOv5算法使用增强后的数据训练目标检测网络；
[0007]利用训练好的目标检测网络进行多行人检测，利用单人姿态估计算法进行姿态估计，获得人体姿态。
[0008]进一步的，对选用的Okutama
‑
Action数据集按照如下标签进行筛选标注：包括，目标ID、标注框左上的x坐标、标注框左上的y坐标、标注框右下的x坐标、标注框右下的y坐标、该标注对应的帧号、目标是否丢失、目标是否有遮挡、是否为生成的标注和标注对应的类别。其中，目标若丢失则标注为1、目标若遮挡则标注为1、该标注是通过自动插值生成的则标注为1；180帧内，拥有相同ID的是一个人；在下一个180帧会有新的ID，一个人缺席90帧就会有新的ID；标注框左上是坐标xy最小值；标注框右下的坐标xy最大值。
[0009]进一步的，对筛选后的标签信息采用如下规则进行预处理剔除无效信息：
[0010]1)若同一行人在180帧的倍数帧存在信息重复，则选用较大帧数下对应的目标ID信息作为本帧的标签信息；
[0011]2)丢失情况标注为1的标签丢弃，丢失情况标注为0的标签保留；
[0012]3)遮挡情况标注为1的标签保留，遮挡情况标注为0的标签保留；
[0013]4)插值生成情况标注为1的标签丢弃，插值生成情况标注为0的标签保留。进一步
的，将筛选后的有效标签信息表示为：
[0014](track ID，x
min
，y
min
，x
max
，y
max
，label)，
[0015]其中，track ID表示目标ID，x
min
为标注框左上的x坐标，y
min
为标注框左上的y坐标，x
max
为标注框右下的x坐标，y
max
为标注框右下的y坐标，label为类别；将(track ID，x
min
，y
min
，x
max
，y
max
，label)转换为(cls_id，x，y，w，h)并归一化，含义为(目标类别，目标的中心坐标x值，目标的中心坐标y值，目标标注框的宽，目标标注框的高)，由于label中只包含person一个类别，所以cls_id均为0；W是图像宽度，H是图像高度，归一化公式如下，
[0016][0017][0018][0019][0020]并采用labelimg修正筛选过的数据集，利用修正过的Okutama
‑
Action数据集和通过无人机对某校园道路场景拍摄而获得的数据集建立数据库，划分训练集、验证集和测试集，比例为7:2:1。
[0021]进一步的，对数据集进行数据增强，依次包括马赛克数据增强、仿射变换、图像翻转、HSV随机增强、cutout数据增强。
[0022]进一步的，采用YOLOv5算法进行对数据集进行训练，具体为，YOLOv5的锚定框基于训练数据重新自动学习锚定框的尺寸，当最佳可能召回率(BPR)小于0.98时，更新模型文件中的anchor。利用矩形训练，填充为正方形传入网络进行训练，以减少冗余信息，减少网络产生的无意义的框的数量，加快网络训练速度。使用二分类交叉熵损失函数和Focal loss损失函数计算定位损失和分类损失，二分类交叉熵损失函数表达形式：
[0023][0024]其中，代表模型预测第i个样本是某一类的概率，y(
i
)表示标签；
[0025]Focal loss损失函数表达形式：
[0026][0027]其中，p代表预测样本属于1时的概率，y代表标签，γ代表聚焦参数；
[0028]设置权重文件路径、迭代次数、每次梯度更新批量数、输入图片的数量和工作的核心数；加载预训练权重至网络模型收敛，在训练过程中用验证集进行验证，不进行梯度回传，保存得到权重文件。
[0029]进一步的，使用权重文件参与到多行人检测中，具体的，在特征图上应用锚定框，生成类别概率、对象得分和预选框信息的输出向量；首先判断每个预选框的预测置信度是否在阈值之内，得到目标的大致位置；再利用非极大抑制算法对预选框进行筛选，剔除冗余
的预选框；筛选出来的预选框的所属类别为目标类别，完成多行人检测；
[0030]将多行人检测结果输入单人姿态估计算法，所述单人姿态估计算法为HRNet算法，获得人体骨骼关键点，基于heatmap的方法，针对人体每个关键点预测一张热力图，关键点的定位是热力图中预测值最大的点向预测值第二大的点偏移1/4所在的位置，识别出来17个人体骨骼关键点并定义关键点连接关系以表示骨骼，获得人体姿态。
[0031]本专利技术提出一种超低空无人机视角下的的多行人检测与姿态估计方法。本专利技术主要具有如下优点：解决数据集的冗余和标注不准确的问题，避免数据集质量对检测结果的不确定性影响；解决行人目标较小而导致的难以检测的问题，利用深度学习算法及数据增强技术提高检测精度；实现超低空无人机视角下的行人的姿态估计。
附图说明
[0032]图1为本专利技术的流程示意图；
[0033]图2为图像标注示意图；
[0034]图3为图像增强示意图；
[0035]图4为多行人姿态估计示意图一；
[0036]图5为多行人姿态估计示意图二；
[0037]图6为多行人姿态估计示意图三；
[0038]图7为在某校园中多行人姿态估计示意图一；
[0039]图8为在某校园中多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.超低空无人机视角下的多行人检测与姿态估计方法，其特征在于：包括，利用无人机采集图像数据，对数据集进行数据预处理；对数据集进行数据增强；利用YOLOv5算法使用增强后的数据训练目标检测网络；利用训练好的目标检测网络进行多行人检测，利用单人姿态估计算法进行姿态估计。2.如权利要求1所述的超低空无人机视角下的多行人检测与姿态估计方法，其特征在于：对选用的Okutama
‑
Action数据集按照如下标签进行筛选：包括，目标ID、标注框左上角的x坐标、标注框左上角的y坐标、标注框右下角的x坐标、标注框右下角的y坐标、该标注对应的帧号、目标是否丢失、目标是否有遮挡、是否为生成的标注和标注对应的类别；目标若丢失则标注为1、目标若遮挡则标注为1、该标注是通过自动插值生成的则标注为1；180帧内，拥有相同ID的是一个人；在下一个180帧会有新的ID，一个人缺席90帧就会有新的ID；标注框左上是坐标xy最小值；标注框右下的坐标xy最大值。3.如权利要求2所述的超低空无人机视角下的多行人检测与姿态估计方法，其特征在于：对筛选后的标签信息采用如下规则进行预处理剔除无效信息：1)若同一行人在180帧的倍数帧存在信息重复，则选用较大帧数下对应的目标ID信息作为本帧的标签信息；2)丢失情况标注为1的标签丢弃，丢失情况标注为0的标签保留；3)遮挡情况标注为1的标签保留，遮挡情况标注为0的标签保留；4)插值生成情况标注为1的标签丢弃，插值生成情况标注为0的标签保留。4.如权利要求3所述的超低空无人机视角下的多行人检测与姿态估计方法，其特征在于：将筛选后的有效标签信息表示为：(track ID，x
min
，y
min
，x
max
，y
max
，label)，其中，track ID表示目标ID，x
min
为标注框左上角的x坐标，y
min
为标注框左上角的y坐标，x
max
为标注框右下角的x坐标，y
max
为标注框右下角的y坐标，label为类别；将(track ID，x
min
，y
min
，x
max
，y
max
，label)转换为(cls_id，x，y，w，h)并归一化，含义为(目标类别，目标的中心坐标x值，目标的中心坐标y值，目标标注框的宽，目标标注框的高)，由于label中只包含person...

【专利技术属性】
技术研发人员：任艳，刘昱玮，陈新禹，张天博，乔志华，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：