可穿戴设备及其控制方法、识别手势的方法和控制系统技术方案

一种可穿戴设备及其控制方法、识别手势的方法、可移动平台控制系统和存储介质，包括:获取目标用户的手势动作的关键点信息(S110)；根据所述关键点信息识别输入指令(S120)；根据所述输入指令产生控制指令，以根据所述控制指令执行任务操作(S130)。

【技术实现步骤摘要】
【国外来华专利技术】可穿戴设备及其控制方法、识别手势的方法和控制系统
本说明书涉及人机交互
，尤其涉及一种可穿戴设备及其控制方法、识别手势的方法、可移动平台控制系统和存储介质。
技术介绍
在可穿戴设备上，传统的交互模式是用户通过触摸可穿戴式设备上的触控板实现的。用户只能将手指放在触控板上进行左右或上下滑动来进行菜单的选择，相当于只能在一维空间中进行选择，并且滑动一次手指只能将菜单滑动一次。此时如果目标按钮比较远，则需要多次滑动手指，过程较为繁琐，不够快捷。虽然一些研究提出根据可穿戴设备的图像获取装置拍摄的用户手势识别控制指令，但是这种识别方式速度较慢、准确性较低。
技术实现思路
基于此，本说明书提供了一种可穿戴设备及其控制方法、识别手势的方法、可移动平台控制系统和存储介质，旨在解决可穿戴设备的手势识别速度较慢、准确性较低等技术问题。第一方面，本说明书提供了一种可穿戴设备的控制方法，包括：获取目标用户的手势动作的关键点信息；根据所述关键点信息识别输入指令；根据所述输入指令产生控制指令，以根据所述控制指令执行任务操作。第二方面，本说明书提供了一种可穿戴设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：获取目标用户的手势动作的关键点信息；根据所述关键点信息识别输入指令；根据所述输入指令产生控制指令，以根据所述控制指令执行任务操作。第三方面，本说明书提供了一种可移动平台控制系统，包括：可移动平台，包括图像获取装置，用于将图像获取装置拍摄的图像发送给可穿戴设备；前述的可穿戴设备，用于显示所述可移动平台发送的图像。第四方面，本说明书提供了一种识别手势的方法，所述方法包括：获得所述手势的第一图像；根据所述第一图像获得所述手势的关键点信息；当根据所述关键点信息无法判断所述手势类型时，获得所述手势的第二图像；根据所述第二图像更新所述手势的关键点信息；根据所述更新后的关键点信息获得所述手势的识别结果。第五方面，本说明书提供了一种可穿戴设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现前述的识别手势的方法。第六方面，本说明书提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器以实现上述的方法。本说明书实施例提供了一种可穿戴设备及其控制方法、识别手势的方法、可移动平台控制系统和存储介质，通过获取目标用户的手势动作的关键点信息，并根据关键点信息识别输入指令，以及根据输入指令产生控制指令，以根据控制指令执行任务操作；实现用户可以快捷的使用手悬空作出手势动作控制可穿戴设备，且通过关键点信息识别手势动作对应的输入指令，可以排除会干扰手势识别的信息，识别速度更快且更准确，从而方便用户更快捷和更准确的控制可穿戴设备。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书的公开内容。附图说明为了更清楚地说明本说明书实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本说明书一实施例提供的控制方法的流程示意图；图2是手势动作的关键点的示意图；图3是头戴显示设备的控制方法一实施方式的应用场景示意图；图4是不同种类手势动作的示意图；图5是头戴显示设备的控制方法另一实施方式的应用场景示意图；图6是头戴显示设备的控制方法又一实施方式的应用场景示意图；图7是图1中获取关键点信息一实施方式的子流程示意图；图8是头戴显示设备的控制方法再一实施方式的应用场景示意图；图9是本说明书一实施例提供的一种可穿戴设备的示意性框图。图10是本说明书一实施例提供的一种识别手势的方法的流程示意图。图11是本说明书另一实施例提供的一种可穿戴设备的示意性框图。具体实施方式下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。下面结合附图，对本说明书的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图1，图1是本说明书一实施例提供的一种可穿戴设备的控制方法的流程示意图。所述可穿戴设备的控制方法可以应用在可穿戴设备中，用于根据用户的手势实现相应的控制功能等过程。可穿戴设备例如可以为具有图像获取装置的头盔、手表、眼镜、上衣、腰带、护带等。示例性的，可穿戴设备可以为头戴显示设备。头戴显示设备可以为虚拟现实(VR，virtualreality)显示设备或第一人称视角(FPV，firstpersonview)显示设备。头戴显示设备例如可以为眼镜式显示设备或者头盔式显示设备等。如图1所示，可穿戴设备的控制方法包括步骤S110至步骤S130。S110、获取目标用户的手势动作的关键点信息。图2中的三角形用于标识目标用户手上的关键点，关键点例如包括手指关节、手指尖、腕关节等。关键点信息包括关键点的位置信息。本说明书以控制方法应用于头戴显示设备进行说明，根据本说明书可以理解控制方法应用于各种可穿戴设备的实施方式。在一些实施方式中，步骤S110获取目标用户的手势动作的关键点信息包括：获取头戴显示设备搭载的图像获取装置拍摄的用户图像；根据所述头戴显示设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。如图3所示为头戴显示设备的控制方法一实施方式的应用场景示意图。目标用户佩戴头戴显示设备，头戴显示设备自带图像获取装置或者通过通信接口连接图像获取装置。例如，图像获取装置位于头戴显示设备的下侧、上侧、左侧或右侧。图像获取装置例如为独立的摄像头或者为手机、相机等电子设备。如图3所示，目标用户将手伸出，位于头戴显示设备搭载的图像获取装置的拍摄视野内。从而头戴显示设备可以通过图像获取装置获取目标用户的手部图像。然后头戴显示设备可以根据目标用户的手部图像确定所述手部图像中的关键点，得到如图2所示的手势动作的关键点信息。示例性的，图像获取装置拍摄的用户图像包括背景区域和手部区域。头戴显示设备可以本文档来自技高网...

【技术保护点】
1.一种可穿戴设备的控制方法，其特征在于，包括：/n获取目标用户的手势动作的关键点信息；/n根据所述关键点信息识别输入指令；/n根据所述输入指令产生控制指令，以通过所述控制指令执行任务操作。/n

【技术特征摘要】
【国外来华专利技术】1.一种可穿戴设备的控制方法，其特征在于，包括：
获取目标用户的手势动作的关键点信息；
根据所述关键点信息识别输入指令；
根据所述输入指令产生控制指令，以通过所述控制指令执行任务操作。


2.根据权利要求1所述的控制方法，其特征在于，所述获取目标用户的手势动作的关键点信息，包括：
获取可穿戴设备搭载的图像获取装置拍摄的用户图像；
根据所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


3.根据权利要求2所述的控制方法，其特征在于，所述根据所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息，包括：
根据所述可穿戴设备搭载的至少两个图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


4.根据权利要求2所述的控制方法，其特征在于，还包括：
根据手持控制装置搭载的图像获取装置拍摄的用户图像和所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


5.根据权利要求2所述的控制方法，其特征在于，还包括：
根据可移动平台搭载的图像获取装置拍摄的用户图像和所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


6.根据权利要求2所述的控制方法，其特征在于，还包括：
根据所述可穿戴设备搭载的图像获取装置拍摄的用户图像判断目标用户的手势动作的关键点信息是否被遮挡；
若所述关键点信息被遮挡，获取手持控制装置搭载的图像获取装置拍摄的用户图像和/或获取可移动平台搭载的图像获取装置拍摄的用户图像；
根据所述可穿戴设备搭载的图像获取装置拍摄的用户图像，以及所述手持控制装置搭载的图像获取装置拍摄的用户图像和/或所述可移动平台搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


7.根据权利要求2所述的控制方法，其特征在于，所述获取目标用户的手势动作的关键点信息，包括：
识别所述用户图像中的手部区域，并获取所述手部区域中的关键点信息。


8.根据权利要求1所述的控制方法，其特征在于，所述根据所述关键点信息识别输入指令，包括：
将所述关键点信息发送给手势动作分类模型；
基于所述手势动作分类模型对所述关键点信息进行分类，以得到输入指令。


9.根据权利要求1所述的控制方法，其特征在于，所述输入指令包括确定指令、返回指令、模式切换指令中的至少一种。


10.根据权利要求9所述的控制方法，其特征在于，还包括：
若根据所述关键点信息识别出的输入指令为模式切换指令，根据所述模式切换指令开启或关闭肢体交互模式；
所述肢体交互模式用于根据识别出的输入指令产生的控制指令执行任务操作。


11.根据权利要求1所述的控制方法，其特征在于，所述根据所述输入指令产生控制指令，包括：
根据所述可穿戴设备当前显示的交互操作界面和所述输入指令确定操作控制信息；
根据所述操作控制信息产生对应的控制指令。


12.根据权利要求11所述的控制方法，其特征在于，所述根据所述交互操作界面和所述输入指令确定操作控制信息，包括：
确定所述交互操作界面中的功能按钮；
根据所述功能按钮和所述输入指令确定操作控制信息。


13.根据权利要求12所述的控制方法，其特征在于，所述确定所述交互操作界面中的功能按钮，包括：
根据所述关键点信息确定目标用户手部的预设部位在所述交互操作界面上的位置；
根据所述交互操作界面上的所述位置确定所述功能按钮。


14.根据权利要求11所述的控制方法，其特征在于，所述通过所述控制指令执行任务操作，包括：
根据所述控制指令切换所述可穿戴设备显示的交互操作界面，或者调整所述可穿戴设备当前显示的交互操作界面中的菜单。


15.根据权利要求1所述的控制方法，其特征在于，所述通过所述控制指令执行任务操作，包括：
根据所述控制指令开始存储或者结束存储所述可穿戴设备从可移动平台获取的数据。


16.根据权利要求1所述的控制方法，其特征在于，所述通过所述控制指令执行任务操作，包括：
根据所述控制指令向可移动平台发送平台控制指令，以控制所述可移动平台。


17.根据权利要求5所述的控制方法，其特征在于，所述可移动平台为无人飞行器、无人驾驶车辆或无人驾驶船艇。


18.根据权利要求1所述的控制方法，其特征在于，所述可穿戴设备为虚拟现实显示设备或第一人称视角显示设备。


19.根据权利要求2所述的控制方法，其特征在于，所述可穿戴设备搭载的图像获取装置包括彩色摄像头、深度传感器、RGB-D摄像头中的至少一种。


20.一种可穿戴设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取目标用户的手势动作的关键点信息；
根据所述关键点信息识别输入指令；
根据所述输入指令产生控制指令，以根据所述控制指令执行任务操作。


21.根据权利要求20所述的可穿戴设备，其特征在于，所述获取目标用户的手势动作的关键点信息，包括：
获取可穿戴设备搭载的图像获取装置拍摄的用户图像；
根据所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


22.根据权利要求21所述的可穿戴设备，其特征在于，所述根据所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息，包括：
根据所述可穿戴设备搭载的至少两个图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


23.根据权利要求21所述的可穿戴设备，其特征在于，所述处理器还实现：
根据手持控制装置搭载的图像获取装置拍摄的用户图像和所述可穿戴设备搭载的图像获取装置拍摄的用户图像确定所述手势动作的关键点信息。


24.根据权利要求21所述的可穿戴设备，其特征在于，所述处理器还实现：
根据可移动平台搭载的图像获取装置...

【专利技术属性】
技术研发人员：刘志鹏，李思晋，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44