手部关键点预测模型训练方法、预测方法及装置制造方法及图纸

本申请公开了一种手部关键点预测模型训练方法、预测方法及装置，该方法包括：获取手部训练样本数据，手部训练样本数据包括手部样本图像以及手部样本图像中各个手部关键点的标注三维坐标信息以及标注遮挡信息；将手部样本图像输入手部关键点预测模型，得到手部样本图像中各个手部关键点的预测三维坐标信息和预测遮挡概率信息；根据手部样本图像中各个手部关键点的预测三维坐标信息、预测遮挡概率信息、标注三维坐标信息以及标注遮挡信息，对手部关键点预测模型进行训练，得到训练好的手部关键点预测模型，训练好的手部关键点预测模型用于对待测手部图像的手部关键点进行预测，提高了手部三维图像的精确度。

【技术实现步骤摘要】

本申请属于图像识别，尤其涉及一种手部关键点预测模型训练方法、预测方法及装置。

技术介绍

1、随着科技的不断发展，扩展现实(extended reality，xr)、虚拟现实(virtualreality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)等技术也逐渐进入各个行业。以vr设备为例，用户可以采用vr设备，例如vr眼镜等，观看虚拟现实场景。

2、以头戴式vr设备为例，在相机视角下，某些手指会被手部其他区域遮挡，在这种情况下，若采用相关技术中的手部关键点预测模型输出的手部关键点位置来生成手部三维图像，会导致手部三维图像出现畸变。

技术实现思路

1、本申请实施例提供一种手部关键点预测模型训练方法、预测方法及装置，以提高生成的手部三维图像的精度。

2、第一方面，本申请实施例提供一种手部关键点预测模型训练方法，包括：获取手部训练样本数据，手部训练样本数据包括手部样本图像以及手部样本图像中各个手部关键点的标注三维坐标信息以及标注遮本文档来自技高网...

【技术保护点】

1.一种手部关键点预测模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述手部关键点预测模型包括特征提取子模型、位置预测子模型和概率预测子模型；

3.根据权利要求2所述的方法，其特征在于，所述位置预测子模型包括上采样子模型和回归子模型；所述预测三维坐标信息包括预测二维坐标信息以及预测相对深度信息；

4.根据权利要求3所述的方法，其特征在于，所述将所述预测手部视觉特征输入所述上采样子模型，得到所述手部样本图像中各个手部关键点的预测二维坐标信息，包括：

5.根据权利要求3所述的方法，其特征在于，所述标注三维坐标信息包...

【技术特征摘要】

1.一种手部关键点预测模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述手部关键点预测模型包括特征提取子模型、位置预测子模型和概率预测子模型；

3.根据权利要求2所述的方法，其特征在于，所述位置预测子模型包括上采样子模型和回归子模型；所述预测三维坐标信息包括预测二维坐标信息以及预测相对深度信息；

4.根据权利要求3所述的方法，其特征在于，所述将所述预测手部视觉特征输入所述上采样子模型，得到所述手部样本图像中各个手部关键点的预测二维坐标信息，包括：

5.根据权利要求3所述的方法，其特征在于，所述标注三维坐标信息包括标注二维坐标信息以及标注相对深度信息；

6.根据权利要求5所述的方法，其特征在于，所述根据所述手部样本图像中各个手部关键点的所述预测二维坐标信息和所述标注二维坐标信息，计算第一损失函数，并根据所述第一损失函数调整所述上采样子模型的参数，包括：

7.根据权利要求5或6所述的方法，其特征在于，

8.一种手部关键点预测方法，其特征在于，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述各个手部关键点的所述遮挡概率...

【专利技术属性】
技术研发人员：樊凯旋，王远江，吴涛，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：