一种手型联动方法技术

本申请实施例提供了一种手型联动方法

【技术实现步骤摘要】
一种手型联动方法、装置、设备及存储介质


[0001]本申请涉及人机交互
，尤其涉及一种手型联动方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]为了提高
VR/AR
虚实结合的沉浸感，提高用户体验度，人机交互必不可少
。
目前的手势识别大多都停留在一些简单常规的手势操作上面，比如点击一些菜单或者按钮，或对图片做一些放大
、
缩小等简单操作
。
但在
VR
或
AR
游戏场景下，上述手势识别的精度与稳定性已经不能满足用户对沉浸感的需求
。
因此，如何实时精准的还原真实手部的动作，实现真实手部与虚拟手部的高质量联动，成为亟需解决的问题
。

技术实现思路

[0003]有鉴于此，本申请提供了一种手型联动方法
、
装置
、
设备及存储介质，根据虚拟手部模型的初始姿态以及真实手部的手部姿态，来调整虚拟手部模型，使得虚拟手部模型与真实手部的姿态保持一致
。
实现真实手部与虚拟手部模型的联动
。
[0004]本申请实施例第一方面提供了一种手型联动方法，该方法包括：
[0005]在虚拟环境中创建虚拟手部模型，并获取虚拟手部模型相对于标准轴的初始角度信息
。
其中，虚拟环境对应标准轴
。
[0006]获取真实手部的手部图像，根据标准轴确定手部图像对应的第一旋转角度信息
。
[0007]根据手部图像对应的第一旋转角度信息和初始角度信息，确定虚拟手部模型对应的第二旋转角度信息
。
[0008]根据第二旋转角度信息，调整虚拟手部模型的姿态，并在虚拟环境中展示姿态调整后的虚拟手部模型
。
[0009]在一个可选的实施方式中，在调整虚拟手部模型的姿态之后，该方法还包括：
[0010]当真实手部的手部姿态发生变化时，获取真实手部的手部图像的旋转变化角度
。
[0011]根据旋转变化角度对虚拟手部模型再次进行旋转处理，并在虚拟环境中展示旋转处理后的虚拟手部模型
。
[0012]在一个可选的实施方式中，虚拟手部模型包括多个虚拟关节特征点，真实手部包括多个手部关节特征点
。
多个虚拟关节特征点和多个手部关节特征点一一对应
。
获取虚拟手部模型相对于标准轴的初始角度信息，包括：
[0013]根据多个虚拟关节特征点确定多个初始虚拟指节向量
。
[0014]针对多个初始虚拟指节向量中每个初始虚拟指节向量，获取每个初始虚拟指节向量与标准轴对应的向量之间的向量夹角
。
[0015]将每个初始虚拟指节向量对应的向量夹角确定每个初始虚拟指节向量对应的初始角度
。
[0016]在一个可选的实施方式中，根据标准轴确定手部图像对应的第一旋转角度信息，
包括：
[0017]根据多个手部关节特征点确定多个初始手部指节向量
。
[0018]针对多个初始手部指节向量中每个初始手部指节向量，获取每个初始手部指节向量与标准轴对应的向量之间的向量夹角
。
[0019]根据每个初始手部指节向量对应的向量夹角确定每个初始手部指节向量对应的第一旋转角度
。
[0020]在一个可选的实施方式中，根据手部图像对应的第一旋转角度信息和初始角度信息，确定虚拟手部模型对应的第二旋转角度信息，包括：
[0021]确定每个初始虚拟指节向量对应的初始手部指节向量
。
[0022]根据每个初始虚拟指节向量对应的初始角度和初始手部指节向量对应的第一旋转角度，确定每个初始虚拟指节向量对应的第二旋转角度
。
[0023]在一个可选的实施方式中，根据第二旋转角度信息，调整虚拟手部模型的姿态，包括：
[0024]根据每个初始虚拟指节向量和每个初始虚拟指节向量对应的第二旋转角度，确定每个初始虚拟指节向量对应的目标虚拟指节向量
。
[0025]根据每个初始虚拟指节向量对应的目标虚拟指节向量，确定虚拟手部模型的目标姿态
。
[0026]在一个可选的实施方式中，该方法还包括：
[0027]获取每个初始虚拟指节向量对应的位置坐标信息以及每个初始手部指节向量对应的位置坐标信息
。
[0028]根据每个初始虚拟指节向量对应的位置坐标信息以及每个初始手部指节向量对应的位置坐标信息，确定每个初始虚拟指节向量中包括的虚拟关节特征点的坐标变化量
。
[0029]根据虚拟关节特征点的坐标变化量，确定每个初始虚拟指节向量对应的目标虚拟指节向量
。
[0030]在一个可选的实施方式中，多个虚拟关节特征点包括每一个虚拟手指的虚拟指末端特征点
、
第一虚拟指关节特征点
、
第二虚拟指关节特征点和虚拟指尖特征点
。
根据多个虚拟关节特征点确定初始虚拟指节向量，包括：
[0031]根据多个虚拟关节特征点确定每一个虚拟手指对应的第一初始虚拟指节向量
、
第二初始虚拟指节向量和第三初始虚拟指节向量
。
[0032]其中，第一初始虚拟指节向量为虚拟指末端特征点指向第一虚拟指关节特征点的向量
。
第二初始虚拟指节向量为第一虚拟指关节特征点指向第二虚拟指关节特征点的向量
。
第三初始虚拟指节向量为第二虚拟指关节特征点指向虚拟指尖特征点的向量
。
[0033]在一个可选的实施方式中，多个手部关节特征点包括每一个真实手指的指末端特征点
、
第一指关节特征点
、
第二指关节特征点和指尖特征点
。
根据多个手部关节特征点确定多个初始手部指节向量，包括：
[0034]根据多个手部关节特征点确定每一个真实手指对应的第一初始手部指节向量
、
第二初始手部指节向量和第三初始手部指节向量
。
[0035]其中，第一初始手部指节向量为指末端特征点指向第一指关节特征点的向量
。
第二初始手部指节向量为第一指关节特征点指向第二指关节特征点的向量
。
第三初始手部指
节向量为第二指关节特征点指向指尖特征点的向量
。
[0036]在一个可选的实施方式中，确定每个初始虚拟指节向量对应的初始手部指节向量，包括：
[0037]确定每个初始虚拟指节向量对应的两个虚拟关节特征点
。
[0038]确定两个虚拟关节特征点中每一个虚拟关节特征点对应的手部关节特征点
。
[0039]根据每一个虚拟关节特征点对应的手部关节特征点确定初始虚拟指节向量对应的初始手部指节向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手型联动方法，其特征在于，所述方法包括：在虚拟环境中创建虚拟手部模型，并获取所述虚拟手部模型相对于标准轴的初始角度信息；其中，所述虚拟环境对应所述标准轴；获取真实手部的手部图像，根据所述标准轴确定所述手部图像对应的第一旋转角度信息；根据所述手部图像对应的第一旋转角度信息和所述初始角度信息，确定所述虚拟手部模型对应的第二旋转角度信息；根据所述第二旋转角度信息，调整所述虚拟手部模型的姿态，并在所述虚拟环境中展示姿态调整后的所述虚拟手部模型
。2.
根据权利要求1所述的手型联动方法，其特征在于，在调整所述虚拟手部模型的姿态之后，所述方法还包括：当所述真实手部的手部姿态发生变化时，获取所述真实手部的手部图像的旋转变化角度；根据所述旋转变化角度对所述虚拟手部模型再次进行旋转处理，并在所述虚拟环境中展示旋转处理后的所述虚拟手部模型
。3.
根据权利要求1至2任一项所述的方法，其特征在于，所述虚拟手部模型包括多个虚拟关节特征点，所述真实手部包括多个手部关节特征点；所述多个虚拟关节特征点和所述多个手部关节特征点一一对应；所述获取所述虚拟手部模型相对于标准轴的初始角度信息，包括：根据所述多个虚拟关节特征点确定多个初始虚拟指节向量；针对所述多个初始虚拟指节向量中每个初始虚拟指节向量，获取每个初始虚拟指节向量与所述标准轴对应的向量之间的向量夹角；将所述每个初始虚拟指节向量对应的向量夹角确定所述每个初始虚拟指节向量对应的初始角度
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述标准轴确定所述手部图像对应的第一旋转角度信息，包括：根据所述多个手部关节特征点确定多个初始手部指节向量；针对所述多个初始手部指节向量中每个初始手部指节向量，获取每个初始手部指节向量与所述标准轴对应的向量之间的向量夹角；根据所述每个初始手部指节向量对应的向量夹角确定所述每个初始手部指节向量对应的第一旋转角度
。5.
根据权利要求4所述的方法，其特征在于，所述根据所述手部图像对应的第一旋转角度信息和所述初始角度信息，确定所述虚拟手部模型对应的第二旋转角度信息，包括：确定所述每个初始虚拟指节向量对应的初始手部指节向量；根据所述每个初始虚拟指节向量对应的初始角度和所述初始手部指节向量对应的第一旋转角度，确定所述每个初始虚拟指节向量对应的第二旋转角度
。6.
根据权利要求5所述的方法，其特征在于，所述根据所述第二旋转角度信息，调整所述虚拟手部模型的姿态，包括：根据所述每个初始虚拟指节向量和所述每个初始虚拟指节向量对应的第二旋转角度，
确定所述每个初始虚拟指节向量对应的目标虚拟指节向量；根据所述每个初始虚拟指节向量对应的目标虚拟指节向量，确定所述虚拟手部模型的目标姿态
。7.
根据权利要求6所述的方法，其特征在于，所述方法还包括：获取所述每个初始虚拟指节向量对应的位置坐标信息以及所述每个初始手部指节向量对应的位置坐标信息；根据所述每个初始虚拟指节向量对应的位置坐标信息以及所述每个初始手部指节向量对应的位置坐标信息，确定所述每个初始虚拟指节向量中包括的虚拟关节特征点的坐标变化量；根据所述虚拟关节特征点的坐标变化量，确定所述每个初始虚拟指节向量对应的所述目标虚拟指节向量
。...

【专利技术属性】
技术研发人员：王兴，伍锦良，蒋洁强，王震，张超，黄欣欣，关文浩，倪成华，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：