基于手势和眼动的无人机控制方法和系统技术方案

本发明专利技术公开了一种基于手势和眼动的无人机控制方法，包括：数据手套将运动手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的运动手势信息控制无人机飞行；无人机将视频流数据发送到混合现实眼镜；混合现实眼镜对接收到的视频流数据中的物体进行分类以及目标检测；数据手套将目标锁定手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的目标锁定手势信息，锁定并标注目标。本发明专利技术的无人机控制方法，结合可穿戴的数据手套和混合现实眼镜，可以精确的控制无人机检测和锁定目标，而且基于混合现实环境进一步加强了虚拟现实环境体验感。

【技术实现步骤摘要】
基于手势和眼动的无人机控制方法和系统
本专利技术涉及人机交互
，特别涉及一种基于手势和眼动的无人机控制方法和系统。
技术介绍
随着计算机硬件和传感器在尺寸和价格上不断降低，越来越多的物体具有计算和传感能力，人机交互技术改变着我们的生活和工作，其中最主要的交互方式就是手势交互和眼动交互。现有技术中，有的采用手势交互，有的采用眼动交互，而手势交互和眼动交互各有优缺点，眼动交互的缺点是精度较低，特别是在人员调整佩戴混合现实设备后，眼动交互只能定位到局部区域，而不能精确定位到交互点，手势交互的缺点是用户体验不够便捷和智能，例如有些方案采用的是基于图像的手势识别，分别对应多个键盘字符的方式进行输入，这种方式不仅需要光线非常好的环境条件，而且按键识别时每根手指会覆盖多个键盘字符，导致确定某个字符的时候准确率低，输入效率也很低。因此，仅基于手势交互和眼动交互的单模态混合现实交互方式单一，准确率较低，而且用户体验感较差。
技术实现思路
本公开实施例提供了一种基于手势和眼动的无人机控制方法和系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本公开实施例提供了一种基于手势和眼动的无人机控制方法，用于混合现实眼镜，包括：接收数据手套发送的运动手势信息；识别运动手势信息，得到无人机控制指令；将无人机控制指令发送到无人机；接收无人机发送的视频流数据；对视频流数据中的物体进行分类以及目标检测。进一步地，对视频流数据中的物体进行分类以及目标检测之后，还包括：接收数据手套发送的目标锁定手势信息；识别目标锁定手势信息，得到目标锁定指令；根据目标锁定指令锁定并标注目标。建立无人机飞行过程点云图；在点云图中标注目标。进一步地，在点云图中标注目标之后，还包括：接收数据手套发送的切换点云界面的手势信息；识别切换点云界面的手势信息，得到切换点云界面的指令；根据切换点云界面的指令将显示界面切换为点云图。进一步地，根据切换点云界面的指令将显示界面切换为点云图之后，还包括：接收数据手套发送的调用虚拟键盘的手势信息，根据调用虚拟键盘的手势信息，在目标处显示文本框；接收数据手套发送的键盘字符输入手势信息；根据键盘字符输入手势信息，在文本框中输入识别出的字符。进一步地，接收数据手套发送的手势运动信息之前，还包括：获取用户眼部图像；对眼部图像进行特征提取，得到眼部特征数据；将提取到的眼部特征数据输入预先训练的眼动识别模型，得到用户的注视点；在显示界面实时显示用户的注视点。第二方面，本公开实施例提供了一种基于手势和眼动的无人机控制方法，包括：数据手套将运动手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的运动手势信息控制无人机飞行；无人机将视频流数据发送到混合现实眼镜；混合现实眼镜对接收到的视频流数据中的物体进行分类以及目标检测；数据手套将目标锁定手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的目标锁定手势信息，锁定并标注目标。进一步地，锁定并标注目标之后，还包括：混合现实眼镜建立无人机飞行过程点云图，并在点云图中标注目标；数据手套将切换点云界面的手势信息发送到混合现实眼镜；混合现实眼镜根据切换点云界面的手势信息，将显示界面切换为点云图。进一步地，将显示界面切换为点云图之后，还包括：数据手套将调用虚拟键盘的手势信息发送到混合现实眼镜；混合现实眼镜根据调用虚拟键盘的手势信息，在目标处显示文本框；数据手套将键盘字符输入手势信息发送到混合现实眼镜；混合现实眼镜根据键盘字符输入手势信息，在文本框中输入识别出的字符。第三方面，本公开实施例提供了一种基于手势和眼动的无人机控制系统，包括：数据手套，用于将运动手势信息发送到混合现实眼镜，用于将目标锁定手势信息发送到混合现实眼镜，用于将切换点云界面的手势信息发送到混合现实眼镜，用于将调用虚拟键盘的手势信息发送到混合现实眼镜，用于将键盘字符输入手势信息发送到混合现实眼镜；无人机，用于接收控制指令，用于将视频流数据发送到混合现实眼镜；混合现实眼镜，用于根据接收到的运动手势信息控制无人机飞行，用于对接收到的视频流数据中的物体进行分类以及目标检测，用于根据接收到的目标锁定手势信息，锁定并标注目标，用于建立无人机飞行过程点云图，并在点云图中标注目标，用于根据切换点云界面的手势信息，将显示界面切换为点云图，用于根据调用虚拟键盘的手势信息，在目标处显示文本框，用于根据键盘字符输入手势信息，在文本框中输入识别出的字符。进一步地，数据手套包括发送模块、电源模块、第一滤波降噪模块以及手势信息检测模块；混合现实眼镜包括显示模块、点云模块、目标检测模块、电源模块、通信模块、数据处理模块、第二滤波降噪模块以及视线追踪模块。本公开实施例提供的技术方案可以包括以下有益效果：本公开实施例提供的基于手势和眼动的无人机控制方法，结合可穿戴的数据手套和混合现实眼镜，简化了无人机的操控方法，舍弃了传统手柄操作方式，实现多模态的无人机操控以及目标检测技术，可以精确的控制无人机检测和锁定目标，而且基于混合现实进一步加强了虚拟现实环境体验感，虚拟键盘携带方便，灵活性高，用户体验感强，可以解决实体键盘占用空间大及携带不便的问题，对于特定领域如营救人质、抢险救灾、巡逻检测等方面意义非凡。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种基于手势和眼动的无人机控制方法的流程示意图；图2是根据一示例性实施例示出的一种基于手势和眼动的无人机控制方法的流程示意图；图3是根据一示例性实施例示出的一种基于手势和眼动的无人机控制系统的结构示意图；图4是根据一示例性实施例示出的一种计算机存储介质的示意图。具体实施方式为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。下面将结合附图1-附图2，对本申请实施例提供的基于手势和眼动的无人机控制方法进行详细介绍本文档来自技高网...

【技术保护点】
1.一种基于手势和眼动的无人机控制方法，用于混合现实眼镜，其特征在于，包括：/n接收数据手套发送的运动手势信息；/n识别所述运动手势信息，得到无人机控制指令；/n将所述无人机控制指令发送到无人机；/n接收无人机发送的视频流数据；/n对所述视频流数据中的物体进行分类以及目标检测。/n

【技术特征摘要】
1.一种基于手势和眼动的无人机控制方法，用于混合现实眼镜，其特征在于，包括：
接收数据手套发送的运动手势信息；
识别所述运动手势信息，得到无人机控制指令；
将所述无人机控制指令发送到无人机；
接收无人机发送的视频流数据；
对所述视频流数据中的物体进行分类以及目标检测。


2.根据权利要求1所述的方法，其特征在于，对所述视频流数据中的物体进行分类以及目标检测之后，还包括：
接收数据手套发送的目标锁定手势信息；
识别所述目标锁定手势信息，得到目标锁定指令；
根据所述目标锁定指令锁定并标注目标。
建立无人机飞行过程点云图；
在所述点云图中标注所述目标。


3.根据权利要求2所述的方法，其特征在于，在所述点云图中标注所述目标之后，还包括：
接收数据手套发送的切换点云界面的手势信息；
识别所述切换点云界面的手势信息，得到切换点云界面的指令；
根据所述切换点云界面的指令将显示界面切换为点云图。


4.根据权利要求3所述的方法，其特征在于，所述根据所述切换点云界面的指令将显示界面切换为点云图之后，还包括：
接收数据手套发送的调用虚拟键盘的手势信息，
根据所述调用虚拟键盘的手势信息，在所述目标处显示文本框；
接收数据手套发送的键盘字符输入手势信息；
根据所述键盘字符输入手势信息，在所述文本框中输入识别出的字符。


5.根据权利要求1所述的方法，其特征在于，所述接收数据手套发送的手势运动信息之前，还包括：
获取用户眼部图像；
对所述眼部图像进行特征提取，得到眼部特征数据；
将提取到的眼部特征数据输入预先训练的眼动识别模型，得到用户的注视点；
在显示界面实时显示用户的注视点。


6.一种基于手势和眼动的无人机控制方法，其特征在于，包括：
数据手套将运动手势信息发送到混合现实眼镜；
混合现实眼镜根据接收到的运动手势信息控制无人机飞行；
无人机将视频流数据发送到混合现实眼镜；
混合现实眼镜对接收到的视频流数据中的物体进行分类以及目标检...

【专利技术属性】
技术研发人员：闫野，刘璇恒，印二威，邓宝松，王宁慈，宋明武，谢良，范晓丽，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11