一种基于虚拟现实的手势识别方法和系统技术方案

本发明专利技术涉及人工智能和虚拟现实设备技术领域，具体涉及一种基于虚拟现实的手势识别方法和系统。该方法包括：根据预测手势动作类别与真实手势动作类别的差异程度对初始切分帧数和初始遗忘系数进行评价，获得综合评价指标；获得初始切分帧数和初始遗忘系数的修正概率以及增大、减小修正方向的概率；根据修正概率和修正方向的概率选择初始切分帧数或初始遗忘系数进行增大或减小的修正；当综合评价指标趋于稳定时停止修正，获得最优的切分帧数和遗忘系数，并将最优的切分帧数和遗忘系数用于后续的手势识别。本发明专利技术提高了手势识别的准确性和手势识别网络的泛化能力，减少了因使用者的自身因素而导致的手势动作的误判。的自身因素而导致的手势动作的误判。的自身因素而导致的手势动作的误判。

【技术实现步骤摘要】
一种基于虚拟现实的手势识别方法和系统


[0001]本专利技术涉及人工智能和虚拟现实设备
，具体涉及一种基于虚拟现实的手势识别方法和系统。

技术介绍

[0002]随着科技的发展，虚拟现实、人机交互、图像识别等等相关技术也在不断的提高，各行业对于精准的手势识别的需求越来越多。主要用于智能家居控制、车载操作控制、PC及移动端操控、工业设计等各个方面，其商业价值也逐日增长。
[0003]现有技术进行手势识别的方法也多种多样，主要可大致分为三种技术：基于光技术的图像识别技术、基于惯性传感器的动作捕捉技术以及基于机械结构的手部形态仿真技术，三种方法各不相同，各有优劣。且为了提高手势识别的准确率，在上述方法的基础上，现有技术通常通过提高所获取手部信息的准确率以提高后续手势识别的准确率，如CN106648103A一种VR头戴设备的手势跟踪方法和VR头戴设备，通过融合手部三维特征信息，提高了识别的准确性。
[0004]现有技术的问题在于，不同设备使用者的手势行为习惯不同，而现有技术未考虑设备使用者自身的手势行为习惯，仅依靠训练集的样本难以将手势识别网络泛化至具体的设备使用者，导致手势识别准确率难以提高。且在手势识别过程中，VR设备不能提前渲染手势识别结果获得的指令信息所应用的场景，导致用户的使用体验变差。

技术实现思路

[0005]为了解决上述技术问题，本专利技术的目的在于提供一种基于虚拟现实的手势识别方法和系统，所采用的技术方案具体如下：
[0006]第一方面，本专利技术一个实施例提供了一种基于虚拟现实的手势识别方法：
[0007]利用历史手势轨迹信息预测得到预测时刻的预测手势轨迹信息，同时获得预测时刻对应的真实手势轨迹信息；其中，历史手势轨迹信息与真实手势轨迹信息的获取方式：根据初始遗忘系数对初始切分帧数的手部关键点热力图叠加得到对应的手势轨迹信息；
[0008]根据预测手势轨迹信息与真实手势轨迹信息的动作类别的比较结果得到置信度评价指标；以预测时段内所有预测时刻的置信度评价指标的均值为综合评价指标，进行系数修正；根据预测时段内预测时刻的置信度评价指标时序上值的变化趋势获得初始切分帧数和初始遗忘系数的修正概率；根据修正概率选择初始切分帧数或初始遗忘系数作为待修正系数，由修正方向的概率对待修正系数进行对应修正方向的调整，并根据修正的有效性更新修正方向的概率，所述修正方向包括增大方向、减小方向；获取待修正系数调整后的综合评价指标；
[0009]持续进行所述系数修正直至综合性评价指标趋于稳定时停止修正，获得最优的切分帧数和遗忘系数，并将最优的切分帧数和遗忘系数用于后续的手势识别。
[0010]优选地，置信度评价指标具体为：
[0011][0012]其中，β
n
为置信度评价指标，n表示预测时段内第n个预测时刻；C表示手势动作分类结果分类类别的个数；表示第n个预测时刻的真实手势轨迹信息动作类别属于第c个分类类别的置信度；表示第n个预测时刻的预测手势轨迹信息动作类别属于第c个分类类别的置信度；需要说明的是，手势轨迹信息的动作类别分类结果为一个置信度序列，表征该手势轨迹信息属于对应分类类别的概率。
[0013]优选地，初始切分帧数的修正概率具体为：对置信度评价指标进行标号，该标号表示置信度评价指标时间上的顺序；将标号后的置信度评价指标进行线性拟合，拟合直线的纵坐标为置信度评价指标，横坐标为置信度评价指标的标号，获得拟合后直线斜率；给定初始切分帧数修正概率，利用直线斜率获得初始切分帧数修正概率：
[0014][0015]其中，G
M
′
为初始切分帧数修正概率，k为拟合直线斜率，G
M
为给定初始切分帧数修正概率。
[0016]优选地，初始遗忘系数的修正概率具体为：
[0017]G
α
＝1
‑
G
M
′
[0018]其中G
α
表示初始遗忘系数修正概率；G
M
′
表示初始切分帧数修正概率。
[0019]优选地，修正的有效性根据有效性评价指标判断，所述有效性评价指标为：
[0020][0021]其中为有效性评价指标；β为切分帧数和遗忘系数未修正时的综合评价指标，β
′
为修正后的综合评价指标；k为切分帧数和遗忘系数未修正时的拟合直线斜率，k
′
为修正后的拟合直线斜率。
[0022]优选地，根据修正的有效性更新修正方向的概率包括：将有效性评价指标与实际进行调整的修正方向的概率的相乘，将相乘结果与未进行调整的修正方向的概率归一化，得到更新后修正方向的概率。
[0023]优选地，最优的切分帧数和遗忘系数获取包括：构建系数预测网络，输入连续固定帧的手部动作深度图像，输出最优的切分帧数和遗忘系数。
[0024]第二方面，本专利技术另一个实施例提供了一种基于虚拟现实的手势识别系统。系统包括：手势轨迹信息获取模块，用于利用历史手势轨迹信息预测得到预测时刻的预测手势轨迹信息，同时获得预测时刻对应的真实手势轨迹信息；其中，历史手势轨迹信息与真实手势轨迹信息的获取方式：根据初始遗忘系数对初始切分帧数的手部关键点热力图叠加得到对应的手势轨迹信息；
[0025]系数修正模块，用于根据预测手势轨迹信息与真实手势轨迹信息的动作类别的比较结果得到置信度评价指标；以预测时段内所有预测时刻的置信度评价指标的均值为综合评价指标，进行系数修正；根据预测时段内预测时刻的置信度评价指标时序上值的上升或下降趋势获得初始切分帧数和初始遗忘系数的修正概率；根据修正概率选择初始切分帧数
或初始遗忘系数作为待修正系数，由修正方向的概率对待修正系数进行对应修正方向的调整，并根据修正的有效性更新修正方向的概率，所述修正方向包括增大方向、减小方向；获取待修正系数调整后的综合评价指标；持续进行所述系数修正直至综合性评价指标趋于稳定时停止修正；
[0026]手势识别模块，用于在修正停止时，获得最优的切分帧数和遗忘系数，并将最优的切分帧数和遗忘系数用于后续的手势识别。
[0027]优选地，系数修正模块还用于获取置信度评价指标，具体为：
[0028][0029]其中，β
n
为置信度评价指标，n表示预测时段内第n个预测时刻；C表示手势动作分类结果分类类别的个数；表示第n个预测时刻的真实手势轨迹信息动作类别属于第c个分类类别的置信度；表示第n个预测时刻的预测手势轨迹信息动作类别属于第c个分类类别的置信度；需要说明的是，手势轨迹信息的动作类别分类结果为一个置信度序列，表征该手势轨迹信息属于对应分类类别的概率。
[0030]优选地，系数修正模块还用于修正的有效性根据有效性评价指标判断，所述有效性评价指标为：
[0031][0032]其中为有效性评价指标；β为切分帧数和遗忘系数未修正时的综合评价指标，β
′
为修正后的综合评价指标；k为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实的手势识别方法，其特征在于，该方法包括：利用历史手势轨迹信息预测得到预测时刻的预测手势轨迹信息，同时获得预测时刻对应的真实手势轨迹信息；其中，历史手势轨迹信息与真实手势轨迹信息的获取方式：根据初始遗忘系数对初始切分帧数的手部关键点热力图叠加得到对应的手势轨迹信息；根据预测手势轨迹信息与真实手势轨迹信息的动作类别的比较结果得到置信度评价指标；以预测时段内所有预测时刻的置信度评价指标的均值为综合评价指标，进行系数修正：根据预测时段内预测时刻的置信度评价指标时序上值的变化趋势获得初始切分帧数和初始遗忘系数的修正概率；根据修正概率选择初始切分帧数或初始遗忘系数作为待修正系数，由修正方向的概率对待修正系数进行对应修正方向的调整，并根据修正的有效性更新修正方向的概率，所述修正方向包括增大方向、减小方向；获取待修正系数调整后的综合评价指标；持续进行所述系数修正直至综合性评价指标趋于稳定时停止修正，获得最优的切分帧数和遗忘系数，并将最优的切分帧数和遗忘系数用于后续的手势识别。2.根据权利要求1所述的一种基于虚拟现实的手势识别方法，其特征在于，所述置信度评价指标具体为：其中，β
n
为置信度评价指标，n表示预测时段内第n个预测时刻；C表示手势动作分类结果分类类别的个数；表示第n个预测时刻的真实手势轨迹信息动作类别属于第c个分类类别的置信度；表示第n个预测时刻的预测手势轨迹信息动作类别属于第c个分类类别的置信度；需要说明的是，手势轨迹信息的动作类别分类结果为一个置信度序列，表征该手势轨迹信息属于对应分类类别的概率。3.根据权利要求1所述的一种基于虚拟现实的手势识别方法，其特征在于，所述初始切分帧数的修正概率具体为：对置信度评价指标进行标号，该标号表示置信度评价指标时间上的顺序；将标号后的置信度评价指标进行线性拟合，拟合直线的纵坐标为置信度评价指标，横坐标为置信度评价指标的标号，获得拟合后直线斜率；给定初始切分帧数修正概率，利用直线斜率获得初始切分帧数修正概率：其中，G
M
′
为初始切分帧数修正概率，k为拟合直线斜率，G
M
为给定初始切分帧数修正概率。4.根据权利要求1所述的一种基于虚拟现实的手势识别方法，其特征在于，所述初始遗忘系数的修正概率具体为：G
α
＝1
‑
G
M
′
其中G
α
表示初始遗忘系数修正概率；G
M
′
表示初始切分帧数修正概率。5.根据权利要求1所述的一种基于虚拟现实的手势识别方法，其特征在于，所述修正的有效性根据有效性评价指标判断，所述有效性评价指标为：
其中为有效性评价指标；β为切分帧数和遗忘系数未修正时的综合评价指标，β

【专利技术属性】
技术研发人员：王瑞娟，王灏，陈慧民，
申请(专利权)人：郑州大学，
类型：发明
国别省市：