一种手势识别方法及VR系统技术方案

本发明专利技术公开了一种手势识别方法及VR系统，方法包括：利用置信度算法对卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正；利用虚拟相机获取手势图像，并将手势图像输入到卷积网络模型；根据手势图像获取第一实时空间特征，第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；利用卷积网络模型中的时间模块将第一实时空间空间特征转换为时间序列特征；将时间序列特征进行融合，获取第二实时空间特征，利用卷积网络模型对第二实时空间特征进行识别，获取识别结果。利用置信度算法对卷积网络模型中间预测结果进行修正，提高了识别精度，设置虚拟相机，对获取的手势图像进行转换，使得手势图像的分布一致，保证了预测精度。证了预测精度。证了预测精度。

【技术实现步骤摘要】
一种手势识别方法及VR系统


[0001]本专利技术涉及虚拟交互
，特别涉及一种手势识别方法及VR系统。

技术介绍

[0002]虚拟现实技术具有沉浸感、交互性和想象性特点，沉浸感是虚拟现实重要的技术特征，是指用户借助交互设备和自身感知觉系统，置身于虚拟环境时的真实程度感，最理想的是人们在模拟世界中，能够感受到虚拟世界里的环境和事物是真实存在的。交互性是指用户进入虚拟环境后，通过多种传感器与多维化信息的环境发生交互作用，体验者可以利用传感设备通过自己的动作控制改变感受的内容，虚拟环境中做出的相应响应，亦与真实的一样。虚拟现实是用计算机生成的一种特殊交互环境，不仅可以再现真实存在的环境，也可以生成想象中实际不存在的甚至根本不可能实现的环境。
[0003]虚拟现实的交互技术一般包括：基于触控的交互、基于手势或姿势的交互、基于控制器的交互、手持投影仪交互、实物交互和多模态交互。基于手势或姿势的虚拟交互技术与日常生活贴近，具有交互自然的特点，符合人们的交互行为习惯。
[0004]但由于手势本身的多义性、人手形态变化的高维度以及手指之间存在无法预测的遮挡, 常常难以区分连续运动过程中用户的哪些动作是有意识的交互行为, 哪些动作是下意识的动作，在需要连续控制虚拟对象时，手势识别精度较低。

技术实现思路

[0005]现有技术中，在进行连续的虚拟交互时，手势识别精度低。
[0006]针对上述问题，提出一种手势识别方法及VR系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。
[0007]一种手势识别方法，包括步骤：训练阶段；识别阶段；所述步骤：训练阶段，包括步骤：构建卷积网络模型；利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练；所述步骤：识别阶段，包括步骤：利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型；
根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；利用所述卷积网络模型中的时间模块将所述第一实时空间特征转换为时间序列特征；将所述时间序列特征进行融合，获取第二实时空间特征，利用所述卷积网络模型对所述第二实时空间特征进行识别，获取识别结果。
[0008]结合本专利技术所述的手势识别方法，第一种可能的实施方式中，所述步骤：利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练，包括步骤：从数据库获取手势样本数据，所述手势数据样本包括手势样本、手骨铰接特征样本及手骨姿态特征样本；利用手骨铰接特征样本及手骨姿态特征样本、采用置信度预测算法对所述卷积网络模型关于手势的第一手骨铰接特征及第一手骨姿态特征预测结果的置信度进行预测；根据置信度预测结果，对所述第一手骨铰接特征及第一手骨姿态特征的预测结果进行修正，获取第二手骨铰接特征及第二手骨姿态特征；将所述第二手骨铰接特征及第二手骨姿态特征输入所述卷积网络模型进行训练。
[0009]结合本专利技术第一种可能的实施方式，第二种可能的实施方式中，所述步骤：利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型，包括步骤：获取原始物理相机的世界坐标；在所述原始物理相机坐标位置构建虚拟相机；将其中的一个虚拟相机作为参考相机；对所述虚拟相机的内参矩阵进行设定，以使得手的所有要素均位于所述手势图像的边框内。
[0010]结合本专利技术第二种可能的实施方式，第三种可能的实施方式中，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，包括步骤：利用手骨原始铰接点的空间坐标获取其它手骨铰接点的第一铰接点空间坐标，并利用所述第一铰接点空间坐标获取第一手骨的空间位置；对所述第一手骨的长度进行标准化处理，获取第二手骨特征；利用所述第一铰接点空间坐标及所述第二手骨特征获取第三手骨铰接特征。
[0011]结合本专利技术第三种可能的实施方式，第四种可能的实施方式中，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，还包括步骤：获取相邻手骨的相对空间位置；利用所述相邻手骨的相对空间位置，采用四元数算法获取第三手势姿态特征。
[0012]第二方面，一种VR系统，采用第一方面所述的识别方法对手势进行识别，包括：VR主机；3D眼镜；所述VR主机包括：
显示模块；识别模块；所述识别模块用于对用户的操作手势进行实时识别；所述显示模块用于输出VR内容到所述3D眼镜。
[0013]实施本专利技术所述的手势识别方法及VR系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。
附图说明
[0014]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本专利技术手势识别方法第一示意图；图2为本专利技术手势识别方法第二示意图；图3为本专利技术手势识别方法第三示意图；图4为本专利技术手势识别方法第四示意图；图5为本专利技术手势识别方法第五示意图；图6为本专利技术手势识别方法第六示意图；图7为本专利技术手势识别方法第七示意图；图8为VR系统第一示意图；图9为VR系统第二示意图；附图中各数字所指代的部位名称为：10——VR主机、20——3D眼镜、11——显示模块、12——识别模块。
实施方式
[0016]下面将结合专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本专利技术保护的范围。
[0017]现有技术中，在进行连续的虚拟交互时，手势识别精度低。
[0018]针对上述问题，提出一种手势识别方法及VR系统。
[0019]一种手势识别方法，如图1，图1为本专利技术手势识别方法第一示意图；本申请中实施方式中，在训练阶段主要构建卷积网络模型，利用置信度算法对中间预测结果进行修正，并将修正后的特征输入卷积网络模型进行训练，包括：
[0020]步骤100、训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括步骤：训练阶段；识别阶段；所述步骤：训练阶段，包括步骤：构建卷积网络模型；利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练；所述步骤：识别阶段，包括步骤：利用N个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型；根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；利用所述卷积网络模型中的时间模块将所述第一实时空间特征转换为时间序列特征；将所述时间序列特征进行融合，获取第二实时空间特征，利用所述卷积网络模型对所述第二实时空间特征进行识别，获取识别结果。2.根据权利要求1所述的手势识别方法，其特征在于，所述步骤：利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练，包括步骤：从数据库获取手势样本数据，所述手势样本数据包括手势样本、手骨铰接特征样本及手骨姿态特征样本；利用手骨铰接特征样本及手骨姿态特征样本、采用置信度预测算法对所述卷积网络模型关于手势的第一手骨铰接特征及第一手骨姿态特征预测结果的置信度进行预测；根据置信度预测结果，对所述第一手骨铰接特征及第一手骨姿态特征的预测结果进行修正，获取第二手骨铰接特征及第二手骨姿态特征；将所述第二手骨铰接特征及第二手骨姿态特征输入所述卷积网络模型...

【专利技术属性】
技术研发人员：阮仕叠，
申请(专利权)人：深圳未来立体教育科技有限公司，
类型：发明
国别省市：