一种基于增强现实的手势识别方法、系统及装置制造方法及图纸

本申请公开了一种基于增强现实的手势识别方法、系统及装置，该方法包括：获取人手的手势深度图和手势深度信息，将手势深度图分为训练集和测试集，将训练集和测试集中的手势深度图剪切为大小相等的n个单元，利用DTW算法对两个集合中的动态视频帧进行优化，建立一双结构网络识别模型，然后将测试集输入至该识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据手势深度信息和该识别模型，对手势进行识别。该系统包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块。该装置包括处理器以及与其通信连接的存储器。通过本申请，能够有效提高手势识别的实时性和手势识别率，从而提高用户体验。

A Gesture Recognition Method, System and Device Based on Augmented Reality

【技术实现步骤摘要】
一种基于增强现实的手势识别方法、系统及装置
本申请涉及信息处理
，特别是涉及一种基于增强现实的手势识别方法、系统及装置。
技术介绍
增强现实又称AR(AugmentedReality，增强现实)，随着人机交互技术的发展，增强现实作为一种提升现实和虚拟之间交互能力的技术，越来越受到人们的关注。目前的增强现实技术中，多数是基于数据手套等穿戴设备或者利用手势识别传感器来完成真实手和虚拟场景的融合。因此，如何在增强现实技术中进行手势识别，是个重要问题。目前，比较常用的一种手势识别方法是基于几何特征的手势识别方法。具体地，该方法主要是针对训练样本集中的测试对象，对每个测试对象的对手势的边缘和手势区域特征进行识别，提取出手势图像的边缘，把图像的边缘看成一条曲线，然后对曲线进行处理，从而确定手势识别的模型，然后根据该识别模型对测试集中的手势进行识别。然而，目前的手势识别方法中，由于该方法所需要的训练样本比较复杂或者训练样本集比较大，导致计算速度较低，使得手势识别的实时性较低。而且，由于在基于几何特征的手势识别的方法中，根据需要首先采用局部平均法对图像进行平滑，再对图像采用最大方差法进行二值化，最后用八方向邻域搜索法对二值化图像做轮廓提取过程中，对轮廓提取得误差比较大，使得手势识别率较低，从而导致用户对真实自然空间的沉浸感较低，用户体检较差。
技术实现思路
本申请提供了一种基于增强现实的手势识别方法、系统及装置，以解决现有技术的手势识别方法中手势识别的实时性较差以及手势识别率较低的问题。为了解决上述技术问题，本申请实施例公开了如下技术方案：一种基于增强现实的手势识别方法，所述方法包括：获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数；分别利用DTW(DynamicTimeWarping，动态时间归整)算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN(ConvolutionalNeuralNetwork，卷积神经网络)神经网络识别的动态视频帧；利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。可选地，所述分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数，包括：将训练集中手势深度图的人手区域剪切为n个单元；对训练集中n个单元的人手区域进行调整，获取大小相等的n个单元的训练集人手区域；将测试集中手势深度图的人手区域剪切为n个单元；对测试集中n个单元的人手区域进行调整，获取大小相等的n个单元的测试集人手区域。可选地，所述利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型，包括：将训练集中的全部手势深度图分别输入CNN神经网络和DBN(DeepBeliefNetwork，深度信念网络)神经网络中，提取手势特征；利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；根据所述k维向量，确定k类手势深度图中每一个类的概率；分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络训练得到的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。可选地，所述分类器为softmax分类器。可选地，所述在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别，包括：分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度；判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等；如果是，判定当前的手势为静止；如果否，判定当前的手势为双结构网络识别模型对应的手势识别结果。可选地，所述手部关节自由度根据所述关节点坐标在真实空间中的映射以及深度三维坐标确定，且所述关节点坐标与真实空间之间的映射关系为：其中，(KinectX,KinectY,KinectZ)是真实空间中利用深度摄像头获取的手部关节坐标，(UX,UY,UZ)是unity环境下的虚拟场景坐标，W是在场景中控制虚拟物体与真实手的坐标对应的比例关系，(valX,valY,valZ)是真实空间的人手与虚拟物体视点原点的对应关系。一种基于增强现实的手势识别系统，所述系统包括：信息获取模块，用于获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；集合分类模块，用于按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；剪切模块，用于分别将训练集和测试集中手势深度图剪切为大小相等的n个单元，n为自然数；优化模块，用于分别利用DTW算法对训练集和测试集中的所述动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧；识别模型建立模块，用于利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；测试模块，用于将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；识别模块，用于在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。可选地，所述识别模型建立模块包括：提取单元，用于将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征；向量获取单元，用于利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；概率确定单元，用于根据所述k维向量，确定k类手势深度图中每一个类的概率；累计概率密度计算单元，分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；双结构网络识别模型建立单元，用于根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络训练得到的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。可选地，所述识别模块包括：关节点坐标本文档来自技高网...

【技术保护点】
1.一种基于增强现实的手势识别方法，其特征在于，所述方法包括：获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数；分别利用DTW算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧；利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。

【技术特征摘要】
1.一种基于增强现实的手势识别方法，其特征在于，所述方法包括：获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数；分别利用DTW算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧；利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。2.根据权利要求1所述的一种基于增强现实的手势识别方法，其特征在于，所述分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数，包括：将训练集中手势深度图的人手区域剪切为n个单元；对训练集中n个单元的人手区域进行调整，获取大小相等的n个单元的训练集人手区域；将测试集中手势深度图的人手区域剪切为n个单元；对测试集中n个单元的人手区域进行调整，获取大小相等的n个单元的测试集人手区域。3.根据权利要求1所述的一种基于增强现实的手势识别方法，其特征在于，所述利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型，包括：将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征；利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；根据所述k维向量，确定k类手势深度图中每一个类的概率；分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络训练得到的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。4.根据权利要求3所述的一种基于增强现实的手势识别方法，其特征在于，所述分类器为softmax分类器。5.根据权利要求1所述的一种基于增强现实的手势识别方法，其特征在于，所述在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别，包括：分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度；判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等；如果是，判定当前的手势为静止；如果否，判定当前的手势为双结构网络识别模型对应的手势识别结果。6.根据权利要求5所述的一种基于增强现实的手势识别方法，其特征在于，所述手部关节自由度根据所述关节点坐标在真实空间中的映射以及深度三维坐标确定，且所述关节点坐标与真实空间之间的映射关系为：其中，(KinectX,KinectY,Kin...

【专利技术属性】
技术研发人员：冯志全，肖梦婷，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37