一种基于虚拟现实的姿态捕获方法和装置制造方法及图纸

本发明专利技术提供了一种基于虚拟现实的姿态捕获方法和装置，涉及人工智能技术领域，通过获得第一手部姿态信息；将第一手部姿态信息输入训练模型，其中，训练模型通过多组训练数据训练获得，多组中的训练数据中的每一组训练数据均包括：第一手部姿态信息、深度图像；获得训练模型的输出信息，其中，输出信息包括手部区域轮廓信息；根据随机森林对手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。

【技术实现步骤摘要】
一种基于虚拟现实的姿态捕获方法和装置
本专利技术涉及人工智能
，尤其涉及一种基于虚拟现实的姿态捕获方法和装置。
技术介绍
当前虚拟化身素材制作过程中，皮肤材质的获取方式复杂，依赖于大量手工操作以及专业人员的经验，面部表情的捕获需要复杂预处理操作以获取面部基模型与图像的映射数据；佩戴头盔情况下用户表情及手势数据难以获取，虚拟现实头盔会在一定程度上遮挡用户面部，增加了用户表情获取的难度。目前虚拟化身交互模式简单，缺乏整体解决方案，虚拟化身的概念虽然早已出现但鲜有成型的可交互系统，尚缺乏整体解决方案将手势识别、眼动识别、动作捕捉等各通道数据融合处理。但本专利技术申请人发现现有技术至少存在如下技术问题：现有的虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低。
技术实现思路
本专利技术实施例提供了一种基于虚拟现实的姿态捕获方法和装置，解决了现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。鉴于上述问题，提出了本申请实施例以便提供一种基于虚拟现实的姿态捕获方法和装置。第一方面，本专利技术提供了一种基于虚拟现实的姿态捕获方法，所述方法包括：获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。优选地，所述离线训练包括：获得手部3D姿态基础数据库；根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。优选地，所述根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。优选地，所述方法还包括：判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。优选地，所述判断所述第一手部部位运动序列是否符合第一预设条件，包括：当所述第一手部部位运动序列不符合第一预设条件时，根据隐马尔可夫模型、神经网络、支持向量机进行联合预测，确定第二手势姿态重建信息。优选地，所述根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。第二方面，本专利技术提供了一种基于虚拟现实的姿态捕获装置，所述装置包括：第一获得单元，所述第一获得单元用于获得第一手部姿态信息；第一训练单元，所述第一训练单元用于将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；第二获得单元，所述第二获得单元用于获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；第三获得单元，所述第三获得单元用于根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；第四获得单元，所述第四获得单元用于对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；第五获得单元，所述第五获得单元用于根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。优选地，所述第三获得单元中离线训练包括：第六获得单元，所述第六获得单元用于获得手部3D姿态基础数据库；第一确定单元，所述第一确定单元用于根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；第一构建单元，所述第一构建单元用于将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。优选地，所述第三获得单元中根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：第七获得单元，所述第七获得单元用于将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；第八获得单元，所述第八获得单元用于将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。优选地，所述装置还包括：第一判断单元，所述第一判断单元用于判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；第二确定单元，所述第二确定单元用于当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。优选地，所述第一判断单元中判断所述第一手部部位运动序列是否符合第一预设条件，包括：第三确定单元，所述第三确定单元用于当所述第一手部部位运动序列不符合第一预设条件时，根据模板法结合隐马尔可夫模型、神经网络、支持向量机联合预测，确定第二手势姿态重建信息。优选地，所述第五获得单元中根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：第四确定单元，所述第四确定单元用于根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；第九获得单元，所述第九获得单元用于根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。第三方面，本专利技术提供了一种基于虚拟现实的姿态捕获装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法的步骤。第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：本专利技术实施例提供的一种基于虚拟现实的姿态捕获方本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实的姿态捕获方法，其特征在于，所述方法包括：/n获得第一手部姿态信息；/n将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；/n获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；/n根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；/n对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；/n根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。/n

【技术特征摘要】
1.一种基于虚拟现实的姿态捕获方法，其特征在于，所述方法包括：
获得第一手部姿态信息；
将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；
获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；
根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；
对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；
根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。


2.如权利要求1所述的方法，其特征在于，所述离线训练包括：
获得手部3D姿态基础数据库；
根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；
将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。


3.如权利要求2所述的方法，其特征在于，所述根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：
将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；
将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。


4.如权利要求1所述的方法，其特征在于，所述方法还包括：
判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；
当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。


5.如权利要求4所述的方法，其特征在于，所述判断所...

【专利技术属性】
技术研发人员：张炜，
申请(专利权)人：广州市大湾区虚拟现实研究院，
类型：发明
国别省市：广东;44