基于语音和手势识别的无人机控制系统及控制方法技术方案

本发明专利技术公开了一种基于语音和手势识别的无人机控制系统及控制方法，手势采集模块用于采集手势图像；手势处理模块对手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；语音采集模块用于采集语音信号；语音处理模块对接收的语音信号进行分析与识别，得到语音识别结果；无人机机载处理器基于接收的手势识别结果或语音识别结果进行分析，并根据指令库存储的各个指令对应的关键字，提取出具体指令；指令库用于预先存储各个指令对应的关键字；无人机飞控用于根据具体运动指令控制无人机；通讯模块用于将手势识别结果和语音识别发送至所述无人机机载处理器。实现了一种新型的无人机控制方式，简化传统了无人机手动控制的操作流程。

【技术实现步骤摘要】
基于语音和手势识别的无人机控制系统及控制方法
本专利技术涉及智能控制
，更具体的说是涉及无人机的控制技术。
技术介绍
近年来，无人机迅速普及，让许多行业的工作空间立体化——航拍、测绘、执法、电力巡检、农林植保、地质勘探等在空中开展的工作，总少不了无人机的身影。一款操作便捷的无人机，在为操作人员带来极大便利的同时，也提升了工作质量。国内外无人机的控制方式依然以遥控器控制为主。无人机的遥控器控制主要分为四个环节：操作人员拨转遥控器上的操作杆；遥控器遥控指令发送给无人机上的信号接收器；信号接收器将接收到的信号传递给飞控板；飞控板对信号进行分析，通过控制桨叶电机的转速，实现对无人机飞行姿态的控制。此外，目前常见的无人机遥控器也分为多种，有“中国手”、“美国手”、“日本手”等类型，它们的主要区别在于控制通道的排列方式不同。在使用遥控器对无人机飞行姿态进行控制时，需要对方向舵、升降舵、油门、副翼等多个部分进行同时协调，这就需要操控手具备一定的无人机操控经验。因此，主流的遥控器控制方式主要具有两个缺点：操作复杂和控制精度低。无人机遥控器制式并不统一，在同一时间内，操作人员需要对多个按键同时进行协调，这对于缺乏经验的操作人员是十分不友好的，很难同时将多个因素同时把控到位，导致无人机坠毁风险升高，造成安全隐患，还有可能引起经济纠纷。此外，现有的遥控器都是通过人为拨动操作杆进行控制，具体无人机运动距离、高度完全取决于操控手拨动操控杆的幅度，由于主观判断因素的影响，无法保证无人机运动控制的精度，进而使得无人机在高精度领域应用非常少，不利于无人机技术应用层面的拓展。因此，如何提供一种控制方式简单且精度高的无人机控制系统是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于语音和手势识别的无人机控制系统及控制方法，拓宽了无人机的适用人群，简化了无人机的控制，丰富了无人机的功能，开拓了无人机在高精度领域的应用。为了实现上述目的，本专利技术采用如下技术方案：基于语音和手势识别的无人机控制系统，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控；所述手势采集模块用于采集手势图像；所述手势处理模块对接收的所述手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；所述语音采集模块用于采集语音信号；所述语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行分析，并根据所述指令库存储的各个指令对应的关键字，提取出具体运动指令；所述指令库用于预先存储各个指令对应的关键字；所述无人机飞控用于根据所述具体运动指令控制无人机。进一步，所述手势采集模块包括地面控制端摄像头。进一步，所述语音采集模块包括地面端录音设备。进一步，还包括通讯模块，所述通讯模块采用ROS话题通信机制，用于将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。进一步，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接。基于语音和手势识别的无人机控制方法，包括以下步骤：步骤1：手势采集模块和语音采集模块分别对应采集手势图像和语音信号；步骤2：手势处理模块根据肤色检测算法和大津阈值法对接收的所述手势图像进行手势分割、根据椭圆傅里叶描述子提取特征、并利用K近邻算法进行手势识别，得到手势识别结果；语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；步骤3：所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行字符串搜索，提取出具体运动指令，并将所述具体指令通过MAVLink协议发送至无人机飞控，从而实现无人机控制。进一步，所述手势采集模块包括地面控制端摄像头。进一步，所述语音采集模块包括地面控制端录音设备。进一步，还包括通讯模块，所述通讯模块采用ROS话题通信机制，将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。进一步，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接，当所述无人机机载处理器提取出的指令为图像处理指令时，控制所述无人机机载摄像头打开，并对接收到的图像进行处理，返回处理结果。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于语音和手势识别的无人机控制系统及控制方法，在操控者做出手势或发出语音后，经由地面控制端处理器(手势处理模块和语音处理模块)进行识别，将识别结果通过ROS通讯机制发送给机载处理器，在经过指令提取后，交由机载处理器和飞控进行最终实现，操控者只需做出手势或发出语音，后续的实现环节全权交由处理器来处理，实现了指令发布与指令实现的切割：指令发布由人来决定发布什么指令，指令实现则交由计算机，解决了指令实现过程中的人为不确定因素，从而可以实现无人机的高精度控制，也推动了无人机在高精度领域的应用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术提供的基于语音和手势识别的无人机控制系统连接原理图。图2为本专利技术提供的基于语音和手势识别的无人机控制方法流程图。图3为本专利技术提供的近距离手势控制效果图。图4为本专利技术提供的远距离手势控制效果图。图5为本专利技术提供的远距离语音控制效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于语音和手势识别的无人机控制系统，利用手势、语音识别技术，将手势、语音转化为指令信号，再通过搭建通讯模块，将信号传输给无人机端，进而实现了一种新型的无人机控制方式。以手势、语音替代遥控器，简化了无人机的控制，推动无人机控制的大众化；而手势、语音指令所具备的多样、具体的特性，也能够开拓无人机更多的功能、使无人机的飞行运动精度更高。如图1所示，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控。具体的，(1)手势采集模块包括地面控制端摄像头或无人机机载摄像头，从地面控制端摄像头或是无人机机载摄像头获得手势图像，手势处理模块对手势图像进行手势分割、提取特征，并训练分类器进行手势识别。对手势图像，首先进行手势区域分割，避免背景对结果识别的影响，具体采用肤色检测方法，基本原理是通过YCrC本文档来自技高网...

【技术保护点】
1.基于语音和手势识别的无人机控制系统，其特征在于，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控；/n所述手势采集模块用于采集手势图像；/n所述手势处理模块对接收的所述手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；/n所述语音采集模块用于采集语音信号；/n所述语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；/n所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行分析，并根据所述指令库存储的各个指令对应的关键字，提取出具体运动指令；/n所述指令库用于预先存储各个指令对应的关键字；/n所述无人机飞控用于根据所述具体运动指令控制无人机。/n

【技术特征摘要】
1.基于语音和手势识别的无人机控制系统，其特征在于，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控；
所述手势采集模块用于采集手势图像；
所述手势处理模块对接收的所述手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；
所述语音采集模块用于采集语音信号；
所述语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；
所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行分析，并根据所述指令库存储的各个指令对应的关键字，提取出具体运动指令；
所述指令库用于预先存储各个指令对应的关键字；
所述无人机飞控用于根据所述具体运动指令控制无人机。


2.根据权利要求1所述的基于语音和手势识别的无人机控制系统，其特征在于，所述手势采集模块包括地面控制端的摄像头。


3.根据权利要求2所述的基于语音和手势识别的无人机控制系统，其特征在于，所述语音采集模块包括地面控制端录音设备。


4.根据权利要求1～3任意一项所述的基于语音和手势识别的无人机控制系统，其特征在于，还包括通讯模块，所述通讯模块采用ROS话题通信机制，用于将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。


5.根据权利要求1～3任意一项所述的基于语音和手势识别的无人机控制系统，其特征在于，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接。
<...

【专利技术属性】
技术研发人员：赵丹培，陈剑奇，王亚东，马力，师浩然，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11