一种VR头戴设备的手势跟踪方法和VR头戴设备技术

本发明专利技术提供一种VR头戴设备的手势跟踪方法，包括以下步骤：采集多个训练图像；分离手部深度图像；标记三维手势，形成原始点云；计算法向量和曲率，去均值归一化；搭建CNN网络，CNN网络的输入端分别输入多法向量、曲率和手部深度图像，输出端输出包括掌心在内的多个关节点的三维坐标；训练后的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，特征提取器提取并处理实时动作深度图像中所包含的三维手势的法向量、曲率和手部深度图像信息，输出包含掌心的多个关节点的三维坐标，并对识别出的三维手势进行跟踪。还公开一种VR头戴设备。本发明专利技术融合了三维特征信息，具有模型识别率高的优点。

A gesture tracking method for VR head mounted equipment and VR head mounted equipment

The invention provides a method of tracking VR headset gestures, which comprises the following steps: collecting multiple training images; separation of hand depth image; marking 3D gesture, formed the original point cloud computing; normal vector and curvature, mean normalized; build a CNN network, CNN network input input vector, respectively curvature and hand depth image, 3D coordinates of multi joint output, including the palm; the trained CNN network as a feature extractor 3D gesture, through the depth camera real-time action depth image, normal vector, curvature and hand depth image information extraction and processing of 3D gesture feature extractor includes real-time action in depth image, 3D coordinates of multi joint output contains the palm, and the 3D gesture recognition of tracking. A VR head mounted device is also disclosed. The invention combines the three-dimensional characteristic information, and has the advantages of high model recognition rate.

【技术实现步骤摘要】
一种VR头戴设备的手势跟踪方法和VR头戴设备
本专利技术涉及虚拟现实
，尤其涉及一种VR头戴设备的手势跟踪方法以及VR头戴设备。
技术介绍
虚拟现实技术是仿真技术的一个重要分支方向。虚拟现实技术使用计算机，利用相关技术和软、硬件工具生成实时动态的、三维立体而且纹理逼真的图像和场景，并使其可以模仿人类的各种感知，并利用传感器与用户进行交互。从1963年虚拟现实技术萌芽至今，虚拟现实技术的理论已经比较完善，而且近年来，虚拟现实技术在军事仿真、娱乐游戏、医疗、建筑等多个行业中得到广泛和深入的研究和使用。在现有的虚拟现实设备的人机交互过程中，除了传统的按键操作之外，还有手势识别功能，VR头戴设备通过设置在设备中的摄像头采集视野中的图像，并从图像中分离识别手部图像，对手部图像进行模型匹配来判别手势类别或者跟踪手势坐标。其中分离识别动作建立模型训练的基础上且通常采用卷积神经网络进行手势数据训练。在现有的虚拟现实设备跟踪手势坐标的过程中，通常是采集手势深度数据并利用CNN进行回归训练得到模型。而现有CNN网络的训练核心是对二维图卷积提取特征，仅仅利用手势深度数据进行训练，所获得的信息可以说是从二维平面上提取的信息，手部的三维空间立体结构基本没有得到有效利用，由于CNN采集到的信息是平面信息，所以CNN的训练难度大，得到的数据误差大、跟踪的手势坐标也不够准确。
技术实现思路
为解决现有VR头戴设备图像采集时，手部的三维空间立体结构基本没有得到有效利用，导致数据误差大、跟踪手势坐标不准确的问题，本专利技术公开了一种VR头戴设备的手势跟踪方法。一种VR头戴设备的手势跟踪方法，包括以下步骤：通过摄像头采集得到多个训练图像；从多个所述训练图像中分离多个手部深度图像；对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；计算根据手部深度图像形成的原始点云数据的法向量和曲率；将法向量、曲率和手部深度图像去均值归一化到[-1,1]；搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，所述处理器对识别出的三维手势进行跟踪。进一步的，计算所述原始点云数据的法向量和曲率时，使用kd-tree算法构建所述原始点云的树结构，并利用原始点云的树结构查找计算手部深度图像原始点云数据的法向量和曲率。进一步的，利用随机森林算法将通过摄像头采集得到的多幅训练图像中的手部深度图像与背景深度数据分离；对所述手部深度图像进行降噪。进一步的，将降噪后的手部深度图像归一化降维，生成256×256的二维图像；将降噪后的手部深度图像中的关键点进行标记，所述关键点包括多个关节点和掌心；生成手部深度图像中任一点的图像坐标m＝(x，y)T；利用手部深度图像中任一点的图像中坐标m＝(x，y)T和相机坐标系下的空间坐标的关系求解所述手部深度图像中任一点的相机坐标系中的空间坐标xc，yc和zc，图像坐标和相机坐标系下空间坐标的关系如下：其中zc为相机的光轴；在相机坐标系下建立对应所述手部深度图像且包括多个关节点和掌心坐标的原始点云；利用kd-tree算法构建对应原始点云数据的树结构，并分别利用原始点云数据的树结构查找计算法向量和曲率。为了提高处理效率，并尽可能的保存图像特征，搭建CNN网络之前，利用PCA算法对手部深度图像降维到96×96。进一步的，所述CNN网络包括卷积层、池化层和全连接层，其中所述卷积层包括并行的第一卷积通道、第二卷积通道和第三卷积通道，所述第一卷积通道、第二卷积通道和第三卷积通道的输入端分别输入法向量、曲率和手部深度图像。进一步的，所述第一卷积通道、第二卷积通道和第三卷积通道均包括三级卷积，且每一级卷积层后均跟随一层池化层，第一卷积通道、第二卷积通道和第三卷积通道输出至全连接层，所述全连接层包括三级全连接层。优选的，所述CNN网络的激活函数为Relu函数。优选的，所述卷积层的卷积核为5×5，所述池化层的池化核为2×2。本专利技术在对原始手势深度数据的预处理过程中对数据的法向量、曲率这两种三维空间特征信息进行了提取，并在横向尺度和纵向层深上做了改进。通过对采集数据三维空间描述信息的提取和利用，弥补了手部深度图像特征纹理单一的不足，强化了手势深度数据所具有的三维空间特征，三维手势无需做分类，因此本专利技术所提供的方法可以适用于对连续变动手势的追踪，同时，由于在采集数据中增加了三维空间的描述信息，因此可以最大可能的排除相机采集角度带来的误差。本专利技术提高了CNN训练模型的精确度，进而提高了VR头戴设备对手势跟踪的精确度。一种VR头戴设备，采用VR头戴设备的手势跟踪方法控制，所述VR头戴设备的手势跟踪方法包括以下步骤：通过摄像头采集得到多个训练图像；从多个所述训练图像中分离多个手部深度图像；对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；计算根据手部深度图像形成的原始点云数据的法向量和曲率；将法向量、曲率和手部深度图像去均值归一化到[-1,1]；搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，所述处理器对识别出的三维手势进行跟踪。本专利技术所公开的VR头戴式设备，所采用的手势跟踪方法中提取融合的三维手势的空间特征，并且通过CNN网络充分利用手部三维信息，提升了卷积神经网络的训练效果，足以满足高精确度的仿真场景，扩大了VR头戴式设备的使用范围。同时由于本专利技术可以对连续变化的手势实现识别，因此可以脱离实体控制按键，实现远距离多种手部命令控制。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所公开的VR头戴设备手势跟踪方法一种实施例的流程图；图2为图1所公开的VR头戴设备手势跟踪方法中所搭建的CNN网络的网络架构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1所示为本专利技术所公开的VR头戴设备的手势跟踪方法一种实施例的流程示意图。具体来说本文档来自技高网...

【技术保护点】
一种VR头戴设备的手势跟踪方法，其特征在于,包括以下步骤：通过摄像头采集得到多个训练图像；从多个所述训练图像中分离多个手部深度图像；对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；计算根据手部深度图像形成的原始点云数据的法向量和曲率；将法向量、曲率和手部深度图像去均值归一化到[‑1,1]；搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，所述处理器对识别出的三维手势进行跟踪。

【技术特征摘要】
1.一种VR头戴设备的手势跟踪方法，其特征在于,包括以下步骤：通过摄像头采集得到多个训练图像；从多个所述训练图像中分离多个手部深度图像；对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；计算根据手部深度图像形成的原始点云数据的法向量和曲率；将法向量、曲率和手部深度图像去均值归一化到[-1,1]；搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，所述处理器对识别出的三维手势进行跟踪。2.根据权利要求1所述的VR头戴设备的手势跟踪方法，其特征在于：计算所述原始点云数据的法向量和曲率时，使用kd-tree算法构建所述原始点云的树结构，并利用原始点云的树结构查找计算手部深度图像原始点云数据的法向量和曲率。3.根据权利要求2所述的VR头戴设备的手势跟踪方法，其特征在于：从所述训练图像中分离手部深度图像包括以下步骤：利用随机森林算法将通过摄像头采集得到的多幅训练图像中的手部深度图像与背景深度数据分离；对分离出的所述手部深度图像进行降噪。4.根据权利要求3所述的VR头戴设备的手势跟踪方法，其特征在于，还包括以下步骤：将降噪后的手部深度图像归一化降维，生成256×256的二维图像；将降噪后的手部深度图像中的关键点进行标记，所述关键点包括多个关节...

【专利技术属性】
技术研发人员：仇璐，张绍谦，张超，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37