一种三维手势估计方法及头戴式显示设备技术

本申请涉及基于VR/AR技术的人机交互领域，提供一种三维手势估计方法及头戴式显示设备，针对双目相机实时获取的人手图像，进行手部检测和二维关节点的提取，通过构建包含从多个层面约束手势异常的子损失函数的能量损失函数，对同一手部类型中的多个二维关节点和标准手部模型骨架进行多轮迭代优化，在进行三维手势估计的同时，完成三维手势的优化，提高了三维手势的估计效率和准确性。由于在原有的能量损失函数中增加了从多个层面约束手势异常的子损失项，从而解决三维手势估计中手势异常扭曲、重叠等现象，提高三维手势估计的合理性。

【技术实现步骤摘要】

本申请涉及基于虚拟现实(virtual reality，vr)或增强现实(augmentedreality，ar)技术的人机交互领域，提供一种三维手势估计方法及头戴式显示设备。

技术介绍

1、三维手势技术是vr/ar领域中最重要的交互方式之一，在vr/ar领域的人机交互场景中，人们可以使用自己的双手和vr/ar场景中的虚拟物体进行自然、直接地互动。

2、三维手势交互需要获得手部骨骼的三维深度信息，才可以直接使用这些信息驱动虚拟物体的物理模型，与虚拟物体产生捏取、抓握等各种自然交互。

3、目前，在进行三维手势估计时，大多数方法使用深度相机来直接获得手部骨骼的深度信息，然而，深度相机造价较为昂贵，且成像质量容易受到场景、温度、光线、颜色、视差等影响，导致三维手势估计效果不稳定，影响交互质量，进而降低了用户的趣味性体验。

技术实现思路

1、本申请实施例提供了一种三维手势估计方法及头戴式显示设备，用于提高三维手势估计的准确性。

2、一方面，本申请实施例提供一种三维手势估计方法，包括本文档来自技高网...

【技术保护点】

1.一种三维手势估计方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述能量损失函数至少包含：基于多个自由度是否在预设的手指约束边界区间，确定的手指变换边界子损失函数；

3.如权利要求1所述的方法，其特征在于，所述能量损失函数至少包含：基于两关节点间的欧式距离确定的手指碰撞子损失函数；

4.如权利要求2或3所述的方法，其特征在于，所述能量损失函数至少还包含：基于每路相机的前一帧人手灰度图像对应的自由度，和当前帧人手灰度图像对应的自由度，确定的视频流时序子损失函数；

5.如权利要求2或3所述的方法，其特征在于，所述能量损失函...

【技术特征摘要】

1.一种三维手势估计方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述能量损失函数至少包含：基于多个自由度是否在预设的手指约束边界区间，确定的手指变换边界子损失函数；

3.如权利要求1所述的方法，其特征在于，所述能量损失函数至少包含：基于两关节点间的欧式距离确定的手指碰撞子损失函数；

4.如权利要求2或3所述的方法，其特征在于，所述能量损失函数至少还包含：基于每路相机的前一帧人手灰度图像对应的自由度，和当前帧人手灰度图像对应的自由度，确定的视频流时序子损失函数；

5.如权利要求2或3所述的方法，其特征在于，所述能量损失函数至少还包含：基于每路相机采集的人手灰度图像对应的同一类别手部的多个关节点的2d坐标，和所述标准手部模型骨架对应的多个关节点的3d坐标，确定的3d空间与2d空间的投影子损失函数；

6.如权利要求1-3中任一项所述...

【专利技术属性】
技术研发人员：任攀，姜晓东，王志文，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：