用于虚拟现实设备的手势识别方法、装置及虚拟现实设备制造方法及图纸

本发明专利技术公开了一种用于虚拟现实设备的手势识别方法、装置及虚拟现实设备，该手势识别方法包括：控制深度摄像头采集当前用户的当前手部图像；根据当前手部图像判断当前用户是否执行敲击动作，如是，则：从当前手部图像中提取当前特征；将当前特征与模型中的参考特征进行匹配，根据匹配结果确定当前用户敲击的按键。就能够将虚拟键盘运用到现实中，可以很好的调高用户使用的灵活性，同时还释放了实体键盘空间，减少用户因复杂的字符输入产生的困扰，从而提高用户体验。

【技术实现步骤摘要】
用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
本专利技术涉及虚拟现实设备
，更具体地，涉及一种用于虚拟现实设备的手势识别方法、装置及虚拟现实设备。
技术介绍
虚拟现实(VirtualReality，简称VR)是近年来出现的高新技术。虚拟现实技术将是支撑一个定性和定量相结合，感性认识和理性认识相结合的综合集成多维信息空间的关键技术。随着网络的速度的提升，基于虚拟现实技术的一个互联网时代正悄然走来，它将极大地改变人们的生产和生活方式。可以想象我们可以通过VR头戴进行游太空、跳伞等等不敢去玩又想尝试的事，实现对虚拟世界进行体验和交互作用。目前，新兴的虚拟现实技术已渗透到办公、娱乐等领域，引起许多行业的变革。但是基于目前的VR头戴交互主要是语言、手势等，无法实现对文字的复杂处理。为了增加VR头戴的交互，提高用户体验，提出一种基于手部识别的VR虚拟键盘是十分有价值的。
技术实现思路
本专利技术的一个目的是提供一种用于虚拟现实设备的手势识别的新技术方案。根据本专利技术的第一方面，提供了一种用于虚拟现实设备的手势识别方法，所述虚拟现实设备包括深度摄像头，所述手势识别方法包括：控制所述深度摄像头采集当前用户的当前手部图像；根据所述当前手部图像判断所述当前用户是否执行敲击动作，如是，则：从所述当前手部图像中提取当前特征；将所述当前特征与模型中的参考特征进行匹配，根据匹配结果确定所述当前用户敲击的按键。可选的是，所述手势识别方法还包括：控制所述深度摄像头采集参考用户的参考手部图像；从所述参考手部图像中提取所述参考特征，并将所述参考特征存储在所述模型中。可选的是，所述虚拟现实设备还包括显示屏，所述根据所述当前图像判断所述当前用户是否敲击之前还包括：在所述显示屏上显示出键盘图像及所述当前用户的手指在所述键盘图像上的初始位置。可选的是，所述手势识别方法还包括：根据所述当前用户敲击的按键，在所述显示屏上显示出所述当前用户的手指在所述键盘图像上的当前位置。根据本专利技术的第二方面，提供了一种用于虚拟现实设备的手势识别装置，包括：第一控制模块，用于控制所述深度摄像头采集当前用户的当前手部图像；判断模块，用于根据所述当前手部图像判断所述当前用户是否执行敲击动作；当前特征提取模块，用于在所述判断模块的判断结果为是的情况下，从所述当前手部图像中提取当前特征；匹配模块，用于将所述当前特征与模型中的参考特征进行匹配，根据匹配结果确定所述当前用户敲击的按键。可选的是，所述手势识别装置还包括：第二控制模块，用于控制所述深度摄像头采集参考用户的参考手部图像；参考特征提取模块，用于从所述参考手部图像中提取所述参考特征，并将所述参考特征存储在所述模型中。可选的是，所述虚拟现实设备还包括显示屏，所述手势识别装置还包括：第一显示模块，用于在所述显示屏上显示出键盘图像及所述当前用户的手指在所述键盘图像上的初始位置。可选的是，所述手势识别装置还包括：第二显示模块，用于根据所述匹配模块确定的所述当前用户敲击的按键，在所述显示屏上显示出所述当前用户的手指在所述键盘图像上的当前位置。根据本专利技术的第三方面，提供了一种虚拟现实设备，包括根据本专利技术第二方面所述的手势识别装置。根据本专利技术的第四方面，提供了一种虚拟现实设备，包括深度摄像头、处理器和存储器，所述深度摄像头用于采集图像，所述存储器用于存储指令，所述指令用于控制所述处理器执行根据本专利技术第一方面所述的手势识别方法。本专利技术的专利技术人发现，在现有技术中，存在头戴式虚拟现实设备的交互主要是通过语言、手势等，无法实现对文字的复杂处理的问题。因此，本专利技术所要实现的技术任务或者所要解决的技术问题是本领域技术人员从未想到的或者没有预期到的，故本专利技术是一种新的技术方案。本专利技术的一个有益效果在于，本专利技术通过使用深度传感器的手势识别技术来区别各种手势、左右手确认以及手指指尖坐标获取，能够将虚拟键盘运用到现实中，可以很好的调高用户使用的灵活性，同时还释放了实体键盘空间，减少用户因复杂的字符输入产生的困扰，从而提高用户体验。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1为根据本专利技术一种用于虚拟现实设备的手势识别方法的一种实施方式的流程图；图2为根据本专利技术一种用于虚拟现实设备的手势识别装置的一种实施结构的方框原理图；图3为根据本专利技术一种虚拟现实设备的一种实施结构的方框原理图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。为了解决现有技术中存在的头戴式虚拟现实设备的交互主要是通过语言、手势等，无法实现对文字的复杂处理的问题，提供了一种用于虚拟现实设备的手势识别方法，该虚拟现实设备包括深度摄像头。深度摄像头也称为深度传感器或者3D传感器，例如可以是TOF摄像头，发出经调制的近红外光，遇物体后反射，摄像头通过计算光线发射和反射时间差或相位差，来换算被拍摄物体的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的图像呈现出来。图1为根据本专利技术一种用于虚拟现实设备的手势识别方法的一种实施方式的流程图。根据图1所示，该手势识别方法包括以下步骤：步骤S110，控制深度摄像头采集当前用户的当前手部图像。具体的，例如可以是控制TOF摄像头，发出经调制的近红外光，遇当前用户的手部后反射，摄像头通过计算光线发射和反射时间差或相位差，来换算当前用户手部任意位置的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将手部的三维轮廓以不同颜色代表不同距离的当前手部图像呈现出来。步骤S120，根据该当前手部图像判断当前用户是否执行敲击动作，如是，则执行步骤S130；如否，则继续执行步骤S110。根据深度摄像头采集得到当前手部图像中手部轮廓各点的曲率，可以计算得到指尖位置。对当前手部图像中手部轮廓的每一个点根据一定的步长确定每个点的曲率，手指指尖的曲率是有一定范围的，通过查看每个点的曲率判定是否在该范围内就可确定指尖的位置，通过手势判定的结果以及指尖的位置再通过形态学可推算手部其他关键点的位置，其中，其他关键点例如可以是关节。深度传感器可以设置在虚拟现实设备上面或者是用户手部前面的任意位置上。在本专利技术的一个具体实施例中，深度传感器的位置可以是设置在虚拟现实设备上。深度传感器采集到当前用户的当前手部图像后，通过当前手部图像中手部轮廓点的曲率的计算可得到当前用户的双手当前指尖坐标，根据本文档来自技高网...

【技术保护点】
一种用于虚拟现实设备的手势识别方法，所述虚拟现实设备包括深度摄像头，其特征在于，所述手势识别方法包括：控制所述深度摄像头采集当前用户的当前手部图像；根据所述当前手部图像判断所述当前用户是否执行敲击动作，如是，则：从所述当前手部图像中提取当前特征；将所述当前特征与模型中的参考特征进行匹配，根据匹配结果确定所述当前用户敲击的按键。

【技术特征摘要】
1.一种用于虚拟现实设备的手势识别方法，所述虚拟现实设备包括深度摄像头，其特征在于，所述手势识别方法包括：控制所述深度摄像头采集当前用户的当前手部图像；根据所述当前手部图像判断所述当前用户是否执行敲击动作，如是，则：从所述当前手部图像中提取当前特征；将所述当前特征与模型中的参考特征进行匹配，根据匹配结果确定所述当前用户敲击的按键。2.根据权利要求1所述的手势识别方法，其特征在于，所述手势识别方法还包括：控制所述深度摄像头采集参考用户的参考手部图像；从所述参考手部图像中提取所述参考特征，并将所述参考特征存储在所述模型中。3.根据权利要求1所述的手势识别方法，所述虚拟现实设备还包括显示屏，其特征在于，所述根据所述当前图像判断所述当前用户是否敲击之前还包括：在所述显示屏上显示出键盘图像及所述当前用户的手指在所述键盘图像上的初始位置。4.根据权利要求3所述的手势识别方法，其特征在于，所述手势识别方法还包括：根据所述当前用户敲击的按键，在所述显示屏上显示出所述当前用户的手指在所述键盘图像上的当前位置。5.一种用于虚拟现实设备的手势识别装置，其特征在于，包括：第一控制模块，用于控制所述深度摄像头采集当前用户的当前手部图像；判断模块，用于根据所述当前手部图像判断所述当前用户是否执行敲击动作；当前...

【专利技术属性】
技术研发人员：张茜，张绍谦，张超，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37