一种基于骨骼点检测的无人机快速姿势控制系统与方法技术方案

一种基于骨骼点检测的无人机快速姿势控制系统与方法，包括以下步骤；人群中特定指挥者的识别及跟踪算法，姿势识别算法和无人机硬件设计及飞行控制开发模块。通过无人机硬件设计及飞行控制开发和云台相机控制开发，能够识别人群中特定指挥者，加入防跟丢机制进行人体跟踪并进行骨骼点检测并识别检测结果。利用骨骼点检测算法作为无人机姿势控制的核心算法，在克服传统算法缺点的基础上在无人机硬件平台上实现无人机的自动化控制。

A fast posture control system and method of UAV Based on bone point detection

【技术实现步骤摘要】
一种基于骨骼点检测的无人机快速姿势控制系统与方法
本专利技术涉及深度学习骨骼点检测算法的无人机智能控制系统
，特别涉及一种基于骨骼点检测的无人机快速姿势控制系统与方法。
技术介绍
近年来无人机开始出现在人类社会生产生活的方方面面，在航拍、监控、安防、救灾等领域得到了广泛的应用，但早期各种场景下无人机的实际应用多数基于人为遥控或干预，自动化程度不高。无人机的自动化程度是其能否在未来起到更大作用的决定性因素之一。随着无人机自动化工作需求的不断扩大，基于计算机视觉的无人机手势控制成为当下研究的热点之一，其主要包括目标检测、跟踪、手势识别、指挥者再识别及无人机的飞行控制五个方面。人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。现有的无人机智能应用主要集中在自主壁障和无人机编队技术，姿势控制无人机飞行的应用较少。同时传统的姿势控制无人机主要有以下几点不足：使用地面站作为处理设备，严重限制了姿势控制无人机的灵活性；指挥者需要距离无人机较近，使得无人机的活动范围受到限制；传统的方法并未考虑指挥者从无人机视角丢失或混入其他指挥者做干扰指挥等多种干扰情况。
技术实现思路
为了克服上述现有技术的不足，本专利技术的目的在于提供一种基于骨骼点检测的无人机快速姿势控制系统与方法，通过无人机硬件设计及飞行控制开发和云台相机控制开发，能够识别人群中特定指挥者，加入防跟丢机制进行人体跟踪并进行骨骼点检测并识别检测结果。为了实现上述目的，本专利技术采用的技术方案是：一种基于骨骼点检测的无人机快速姿势控制系统，包括识别及跟踪模块，识别并跟踪人群中特定指挥者；姿势识别模块，识别无人机的姿势；飞行控制模块，根据姿势识别结果，使得云台相机转角始终跟随指挥者转动。一种基于骨骼点检测的无人机快速姿势控制系统的控制方法，识别及跟踪模块通过如下方法识别并跟踪人群中特定指挥者：步骤一：初始设定程序的标志位flag为真，flag的作用是用来判断是否需要重复去做指挥者的人脸检测和识别，判断flag是否为真，若为真，用MTCNN人脸检测算法对从大疆云台相机采集的帧序列进行人脸检测，该算法输出人脸检测框的左上角坐标和右下角坐标，转至步骤二，若为假，转至步骤三；步骤二：对MTCNN人脸检测算法的输出结果进行人脸识别，输出人脸的特征向量，计算特征向量与预设特征脸数据库中特征向量欧式距离Dij，若距离小于设定的阈值ε，同时MTCNN人脸检测算法有输出结果，即size>0，则按比例放大人脸检测框作为KCF跟踪算法的初始跟踪，若大于设定的人脸特征向量距离阈值，转至步骤一；步骤三：根据MTCNN的人脸检测框按比例放大，并作为KCF跟踪算法的初始跟踪框，用KCF跟踪算法进行目标跟踪；步骤四：若KCF目标跟踪算法的滤波器输出响应小于预设的滤波器输出响应阈值，设置flag为假，转至步骤一；反之继续跟踪。所述的步骤二的阈值是人脸特征向量距离阈值；所述的步骤四的阈值是KCF跟踪算法滤波器响应输出阈值。所述姿势识别模块通过如下方法识别无人机的姿势：步骤一：采用openpose骨骼点检测算法对KCF跟踪算法的结果进行骨骼点检测，输出骨骼点信息；步骤二：通过上一步输出的骨骼点信息与预先本地存储的7个动作对应的骨骼点位置信息计算距离；步骤三：采用K近邻算法求得距离最近的特定动作作为最终姿势识别结果。所述飞行控制模块通过如下方法使得云台相机转角始终跟随指挥者转动：步骤一：把运行姿势识别算法的深度学习计算平台作为无人机的机载电脑，直接与飞控和云台相机相连，同时地面端电脑与机载电脑通过无线连接，用于启动和控制程序，机载电脑实时返回飞行状态信息；步骤二：利用飞控开源的SDK开发控制指令，接收识别出来的手势信号，转换成上、下、左、右、前、后、停止控制信号；步骤三：设定图像的中心区域，计算KCF跟踪算法的输出检测框的中心坐标(x,y)，若x或y偏离中心区域，则把偏移量作为云台相机转角的控制量，实现云台相机始终跟随指挥者转动，若没有偏离，则保持云台相机当前的姿态不变。本专利技术的有益效果：本专利技术是一套完整的基于骨骼点检测控制无人机自主飞行的方案，考虑到指挥者跟丢和出现多为指挥者时的复杂场景。同时是一套高效稳定的算法流程。利用骨骼点检测算法作为无人机姿势控制的核心算法，在克服传统算法缺点的基础上在无人机硬件平台上实现无人机的自动化控制。附图说明图1是整体技术流程图。图2是MTCNN算法进行人脸检测的结果示意图。图3是对检测结果进行人脸识别的结果示意图。图4是对人脸检测框按比例方法的结果示意图。图5是整个算法的结果示意图。图6是云台相机调整示意图。图7为指挥者向右指挥示意图。图8为无人机和云台姿态调整的示意图。具体实施方式下面结合附图对本专利技术作进一步详细说明。如图1所示，视频数据读入到整个网络中，由于初始的跟丢与否标志位为真，所以使用MTCNN算法进行人脸检测，如果没有检测结果则重新做人脸识别，如果有检测结果，则再进行人脸识别，判断当前指挥者是否为预先设定的几个指挥者，如果不是，就重新进行人脸检测，直到出现特定指挥者为止。如果是，就用KCF算法对该指挥者进行跟踪，跟踪结果的响应输出低于设定的阈值则认为跟丢指挥者，重新进行人脸检测，识别和再跟踪；跟踪结果的响应值高于设定的阈值就使用openpose骨骼点检测算法提取指挥者骨骼点信息，与预先设定好的7种姿势的骨骼点信息做特征匹配。匹配最好的作为本次识别结果的输出，传送给无人机的机载电脑做飞行控制和云台相机控制如图6所示当检测框的中心点不再设定的图像中心区域时，由于检测框中心点x轴坐标小于中心区域x轴方向最小值，拿检测框中心点x轴坐标与中心区域x轴方向最小值做差，y轴同理，得到的x轴差值和y轴插值分别作为云台相机yaw轴方向和pitch轴方向的调节量，完成云台相机的跟随任务。本文利用无人机搭载深度学习计算平台，进一步实现无人机手势控制的自动化。首先通过云台相机采集图片，送入人脸检测网络MTCNN输出人脸检测框，使用人脸识别算法提取人脸检测框部分的特征向量与预设特征脸数据库比对选定特定个体作为指挥者。对指挥者使用KCF算法进行目标跟踪，将跟踪结果使用OpenPose算法提取人体骨骼点，计算骨骼点信息与预设骨骼点数据库里每个预设姿势对应骨骼点距离，采用K近邻算法算出最终的识别结果作为无人机飞控指令，同时根据KCF算法的输出结果调整云台相机的转角。一种基于骨骼点检测的无人机快速姿势控制系统的控制方法，识别及跟踪模块通过如下方法识别并跟踪人群中特定指挥者：步骤一：初始设定程序的标志位flag为真，flag的作用是用来判断是否需要重复去做指挥者的人脸检测和识别，判断flag是否为真，本文档来自技高网...

【技术保护点】
1.一种基于骨骼点检测的无人机快速姿势控制系统，其特征在于，包括/n识别及跟踪模块，识别并跟踪人群中特定指挥者；/n姿势识别模块，识别无人机的姿势；/n飞行控制模块，根据姿势识别结果，使得云台相机转角始终跟随指挥者转动。/n

【技术特征摘要】
1.一种基于骨骼点检测的无人机快速姿势控制系统，其特征在于，包括
识别及跟踪模块，识别并跟踪人群中特定指挥者；
姿势识别模块，识别无人机的姿势；
飞行控制模块，根据姿势识别结果，使得云台相机转角始终跟随指挥者转动。


2.根据权利要求1所述的一种基于骨骼点检测的无人机快速姿势控制系统的控制方法，其特征在于，识别及跟踪模块通过如下方法识别并跟踪人群中特定指挥者：
步骤一：初始设定程序的标志位flag为真，flag的作用是用来判断是否需要重复去做指挥者的人脸检测和识别，判断flag是否为真，若为真，用MTCNN人脸检测算法对从大疆云台相机采集的帧序列进行人脸检测，该算法输出人脸检测框的左上角坐标和右下角坐标，转至步骤二，若为假，转至步骤三；
步骤二：对MTCNN人脸检测算法的输出结果进行人脸识别，输出人脸的特征向量，计算特征向量与预设特征脸数据库中特征向量欧式距离Dij，若距离小于设定的阈值ε，同时MTCNN人脸检测算法有输出结果，即size>0，则按比例放大人脸检测框作为KCF跟踪算法的初始跟踪，若大于设定的人脸特征向量距离阈值，转至步骤一；
步骤三：根据MTCNN的人脸检测框按比例放大，并作为KCF跟踪算法的初始跟踪框，用KCF跟踪算法进行目标跟踪；
步骤四：若KCF目标跟踪算法的滤波器输出响应小于预设的滤波器输出响应阈值，设置flag为假，转至步骤一；反之继续跟踪。


3.根据...

【专利技术属性】
技术研发人员：柯良军，杨元坤，陆鑫，张一帆，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61