手势控制方法、装置、计算机可读存储介质和电子设备制造方法及图纸

技术编号:34761766 阅读:23 留言:0更新日期:2022-08-31 19:01
本申请涉及手势虚拟操控领域,具体涉及一种手势控制方法、装置、计算机可读存储介质和电子设备,所述方法包括:对输入的原始图像进行全局检测,获取所述原始图像中手势图像的目标位置;对所述原始图像的所述目标位置所在区域进行精确检测,截取局部的手势图像;对所述手势图像进行手势分类识别,得到所述手势图像中的静态手势的手势分类;将多个连续识别得到手势分类的静态手势的结果形成上下文手势,根据所述上下文手势生成对应的控制指令。本申请能够根据准确的手势的识别结果进行准确控制。能够根据准确的手势的识别结果进行准确控制。能够根据准确的手势的识别结果进行准确控制。

【技术实现步骤摘要】
手势控制方法、装置、计算机可读存储介质和电子设备


[0001]本申请涉及手势虚拟操控领域,具体涉及一种手势控制方法、装置、计算机可读存储介质和电子设备。

技术介绍

[0002]随着手势探测和虚拟操控的推广适用,需要对手势的当前位置和状态的检测越来越精准。目前利用手势的做出的虚拟操控一般是根据所接收到的手势控制中的手势图像生成对应的控制信息。但是,往往鉴于手势动作运动过快或运动超过影像捕捉范围,或者环境因素的混淆,导致难以获取准确的手势的识别结果,并实现准确的虚拟操控。

技术实现思路

[0003]为克服现有的难以获取准确的手势的识别结果的问题,本申请提供一种手势控制方法、装置、计算机可读存储介质、电子设备和增强现实设备。
[0004]第一方面,本申请提供了一种手势控制方法,包括以下步骤:
[0005]对输入的原始图像进行全局检测,获取所述原始图像中手势图像的目标位置;
[0006]对所述原始图像的所述目标位置所在区域进行精确检测,截取局部的手势图像;
[0007]对所述手势图像进行手势分类识别,得到所述手势图像中的静态手势的手势分类;
[0008]将多个连续识别得到手势分类的静态手势的结果形成上下文手势,根据所述上下文手势生成对应的控制指令。
[0009]在第一方面的可选实施例中,所述对所述原始图像的所述目标位置所在区域进行精确检测,包括:
[0010]将截取的手势图像输入至手势图像识别模型,获取所述手势图像中的静态手势的识别信息;
[0011]其中,所述手势图像识别模型是根据预设手势分类进行训练得到的。
[0012]在第一方面的可选实施例中,所述识别信息包括手势图像的置信度;
[0013]所述获取所述手势图像中的静态手势的识别信息之后,还包括:
[0014]当所述置信度大于预设的置信度阈值时,确认所述手势图像为包含静态手势的手势图像。
[0015]在第一方面的可选实施例中,所述识别信息包括手势图像中的当前手势位置信息;
[0016]所述方法还包括:
[0017]根据所述当前手势位置信息确定当前手势的跟踪框,获取所述跟踪框的高宽比;
[0018]当所述高宽比不符合所述静态手势的识别结果所对应的预设手势分类的高宽比设定范围时,根据预设手势分类对静态手势的识别结果进行纠正,得到纠正后的静态手势的识别结果。
[0019]在第一方面的可选实施例中,所述根据所述当前手势位置信息确定当前手势的跟踪框之后,还包括:
[0020]当所述手势图像在原有的位置,且手势图像的手势分类没有变化时,利用凯尔曼位置滤波对所述跟踪框在界面上进行稳定处理。
[0021]在第一方面的可选实施例中,所述的手势控制方法,所述将多个连续识别得到手势分类的静态手势的结果形成上下文手势,根据所述上下文手势生成对应的控制指令,包括:
[0022]将多个连续所述静态手势的识别结果添加至手势列表中;其中,所述手势列表是由连续若干个得到识别结果的静态手势组成;
[0023]将所述静态手势与所述手势列表中相邻的静态手势形成上下文手势;
[0024]将所述上下文手势与预设的上下文手势分类进行匹配,当匹配成功时,确定当前上下文手势,触发对应的控制指令。
[0025]在第一方面的可选实施例中,所述确定当前上下文手势之后,还包括:
[0026]根据所述手势分类中的子分类分别确定所述静态手势与前一静态手势的子分类;
[0027]若属于同一子分类,维持所述前一静态手势对应的手势状态;
[0028]若属于不同子分类,获取所述静态手势的手势分类,根据预设的上下文手势分类对相邻静态手势的手势状态设定,触发跳转至静态手势对应的手势状态。
[0029]在第一方面的可选实施例中,当匹配失败时,以所述静态手势为起点,在所述手势列表中倒置获取连续设定数量的静态手势,以出现频率最高的手势分类作为静态手势的手势分类,对所述手势列表中的静态手势的手势分类进行更新,得到更新后的上下文手势;
[0030]将所述更新后的上下文手势与预设的上下文手势分类进行匹配,确定当前上下文手势,触发对应的控制指令。
[0031]在第一方面的可选实施例中,所述的手势控制方法,其特征在于,还包括:
[0032]当所述静态手势与其相邻的前一静态手势不属于同一手势分类时,根据预设的手势分类对静态手势的手势状态设定,从所述前一静态手势对应的手势状态跳转至所述静态手势对应的手势状态。
[0033]在第一方面的可选实施例中,所述识别信息包括为手势图像中的当前手势所分配的手势编号;
[0034]所述将所述手势图像与预设手势分类进行匹配之前,还包括:
[0035]根据所述手势编号跟踪所述手势图像的变化信息。
[0036]在第一方面的可选实施例中,所述根据所述手势编号跟踪所述手势图像的变化信息,包括:
[0037]根据所述手势编号,捕捉到的方向相对两个手势图像;
[0038]计算两个手势图像的尺寸差值,判断所述两个手势图像是否属于同一用户。
[0039]在第一方面的可选实施例中,所述将所述静态手势的识别结果添加至手势列表中,包括:
[0040]当所述两个手势图像属于同一用户时,将所述两个手势图像中得到识别结果的当前静态左手势和当前静态右手势分别添加到左手手势列表和右手手势列表。
[0041]在第一方面的可选实施例中,所述的手势控制方法,还包括:
[0042]分别利用左手手势列表和右手手势列表跟踪静态左手势和静态右手势的运动轨迹;
[0043]将在静态左手势和静态右手势的运动轨迹组合得到组合后的双手动态手势,根据预设的双手动态手势进行匹配,确定组合后的双手动态手势的组合状态,触发对应的控制指令。
[0044]第二方面,本申请还提供了一种手势控制装置,其包括:
[0045]目标位置获取模块,用于对输入的原始图像进行全局检测,获取所述原始图像中手势图像的目标位置;
[0046]图像截取模块,用于对所述原始图像的所述目标位置所在区域进行精确检测,截取局部的手势图像;
[0047]手势识别模块,用于对所述手势图像进行手势分类识别,得到所述手势图像中的静态手势的手势分类;
[0048]手势控制模块,用于将多个连续识别得到手势分类的静态手势的结果形成上下文手势,根据所述上下文手势生成对应的控制指令。
[0049]第三方面,本申请还提供了一种电子设备,该电子设备包括:
[0050]一个或多个处理器;
[0051]存储器;
[0052]一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行实现第一方面所述的手势控制方法。
[0053]第四方面,本申请还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种手势控制方法,其特征在于,包括以下步骤:对输入的原始图像进行全局检测,获取所述原始图像中手势图像的目标位置;对所述原始图像的所述目标位置所在区域进行精确检测,截取局部的手势图像;对所述手势图像进行手势分类识别,得到所述手势图像中的静态手势的手势分类;将多个连续识别得到手势分类的静态手势的结果形成上下文手势,根据所述上下文手势生成对应的控制指令。2.根据权利要求1所述的手势控制方法,其特征在于,所述对所述原始图像的所述目标位置所在区域进行精确检测,包括:将截取的手势图像输入至手势图像识别模型,获取所述手势图像中的静态手势的识别信息;其中,所述手势图像识别模型是根据预设手势分类进行训练得到的。3.根据权利要求2所述的手势控制方法,其特征在于,所述识别信息包括手势图像的置信度;所述获取所述手势图像中的静态手势的识别信息之后,还包括:当所述置信度大于预设的置信度阈值时,确认所述手势图像为包含静态手势的手势图像。4.根据权利要求2所述的手势控制方法,其特征在于,所述识别信息包括手势图像中的当前手势位置信息;所述方法还包括:根据所述当前手势位置信息确定当前手势的跟踪框,获取所述跟踪框的高宽比;当所述高宽比不符合所述静态手势的识别结果所对应的预设手势分类的高宽比设定范围时,根据预设手势分类对静态手势的识别结果进行纠正,得到纠正后的静态手势的识别结果。5.根据权利要求4所述的手势控制方法,其特征在于,所述根据所述当前手势位置信息确定当前手势的跟踪框之后,还包括:当所述手势图像在原有的位置,且手势图像的手势分类没有变化时,利用凯尔曼位置滤波对所述跟踪框在界面上进行稳定处理。6.根据权利要求1所述的手势控制方法,其特征在于,所述将多个连续识别得到手势分类的静态手势的结果形成上下文手势,根据所述上下文手势生成对应的控制指令,包括:将多个连续所述静态手势的识别结果添加至手势列表中;其中,所述手势列表是由连续若干个得到识别结果的静态手势组成;将所述静态手势与所述手势列表中相邻的静态手势形成上下文手势;将所述上下文手势与预设的上下文手势分类进行匹配;当匹配成功时,确定当前上下文手势,生成对应的控制指令。7.根据权利要求6所述的手势控制方法,其特征在于,所述确定当前上下文手势之后,还包括:根据所述手势分类中的子分类分别确定所述静态手势与前一静态手势的子分类;若属于同一子分类,维持所述前一静态手势对应的手势状态;
若属于不同子分类,获取所述静态手势的手势分类,根据预设的上下文手势分类对相邻静态手势的手势状态设定,触发跳转至静态手势对应的手势状态。8.根据权利要求6所述的手势控制方法,其特征在于,当匹配失败时,以所述静态手势为起点,在所述手势列表中倒...

【专利技术属性】
技术研发人员:甘东融
申请(专利权)人:广州视享科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1