【技术实现步骤摘要】
本申请属于图像识别，尤其涉及一种手部关键点预测模型训练方法、预测方法及装置。
技术介绍
1、随着科技的不断发展，扩展现实(extended reality，xr)、虚拟现实(virtualreality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)等技术也逐渐进入各个行业。以vr设备为例，用户可以采用vr设备，例如vr眼镜等，观看虚拟现实场景。
2、以头戴式vr设备为例，在相机视角下，某些手指会被手部其他区域遮挡，在这种情况下，若采用相关技术中的手部关键点预测模型输出的手部关键点位置来生成手部三维图像，会导致手部三维图像出现畸变。
技术实现思路
1、本申请实施例提供一种手部关键点预测模型训练方法、预测方法及装置，以提高生成的手部三维图像的精度。
2、第一方面，本申请实施例提供一种手部关键点预测模型训练方法，包括：获取手部训练样本数据，手部训练样本数据包括手部样本图像以及手部样本图像中各个手部关键点的标注三维坐标信息以及标注遮挡信息；将手部样本图像输入手部关键点预测模型，得到手部样本图像中各个手部关键点的预测三维坐标信息和预测遮挡概率信息；根据手部样本图像中各个手部关键点的预测三维坐标信息、预测遮挡概率信息、标注三维坐标信息以及标注遮挡信息，对手部关键点预测模型进行训练，得到训练好的手部关键点预测模型，训练好的手部关键点预测模型用于对待测手部图像的手部关键点进行预测。
3、第二方面，本申
4、第三方面，本申请实施例提供一种手部关键点预测模型训练装置，包括：第一获取单元，被配置为获取手部训练样本数据，手部训练样本数据包括手部样本图像以及手部样本图像中各个手部关键点的标注三维坐标信息以及标注遮挡信息；输入单元，被配置为将手部样本图像输入手部关键点预测模型，得到手部样本图像中各个手部关键点的预测三维坐标信息和预测遮挡概率信息；训练单元，被配置为根据手部样本图像中各个手部关键点的预测三维坐标信息、预测遮挡概率信息、标注三维坐标信息以及标注遮挡信息，对手部关键点预测模型进行训练，得到训练好的手部关键点预测模型，训练好的手部关键点预测模型用于对待测手部图像进行处理得到待测手部图像中各个手部关键点的三维坐标信息以及遮挡概率信息，以根据各个手部关键点的遮挡概率信息，从各个手部关键点的三维坐标信息中筛选出未被遮挡的手部关键点对应的目标三维坐标信息，以生成位置信息集合。
5、第四方面，本申请实施例提供一种手部关键点预测装置，包括：第二获取单元，被配置为获取待测手部图像；处理单元，被配置为根据训练好的手部关键点预测模型对待测手部图像进行处理，得到待测手部图像中各个手部关键点的三维坐标信息以及遮挡概率信息，其中，训练好的手部关键点预测模型是根据上述任一项所述的手部关键点预测模型训练方法进行训练得到的；生成单元，被配置为根据各个手部关键点的遮挡概率信息，从各个手部关键点的三维坐标信息中筛选出未被遮挡的手部关键点对应的目标三维坐标信息，以生成位置信息集合。
6、第五方面，本申请实施例提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行如上任一实施例中的方法。
7、第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例中的方法。
8、第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一实施例中的方法。
9、本申请实施例提供的手部关键点预测模型训练方法、预测方法及装置，通过采用包括手部样本图像以及手部样本图像中各个手部关键点的标注三维坐标信息以及标注遮挡信息的手部样本训练数据对手部关键点预测模型进行训练，从而使得训练好的关键点预测模型能够输出手部关键点的三维坐标信息和遮挡概率信息，通过遮挡概率信息可以筛选出不被遮挡的手部关键点的三维坐标信息，并将筛选出的三维坐标信息用于生成手部的三维图像，相比于相关技术中的采用被遮挡的手部关键点的三维坐标信息生成手部三维图像，可以减少手部三维图像的畸变，提高了手部三维图像的精确度。
本文档来自技高网...【技术保护点】
1.一种手部关键点预测模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述手部关键点预测模型包括特征提取子模型、位置预测子模型和概率预测子模型；
3.根据权利要求2所述的方法，其特征在于，所述位置预测子模型包括上采样子模型和回归子模型；所述预测三维坐标信息包括预测二维坐标信息以及预测相对深度信息；
4.根据权利要求3所述的方法，其特征在于，所述将所述预测手部视觉特征输入所述上采样子模型，得到所述手部样本图像中各个手部关键点的预测二维坐标信息，包括：
5.根据权利要求3所述的方法，其特征在于，所述标注三维坐标信息包括标注二维坐标信息以及标注相对深度信息；
6.根据权利要求5所述的方法，其特征在于，所述根据所述手部样本图像中各个手部关键点的所述预测二维坐标信息和所述标注二维坐标信息，计算第一损失函数，并根据所述第一损失函数调整所述上采样子模型的参数，包括：
7.根据权利要求5或6所述的方法，其特征在于，
8.一种手部关键点预测方法，其特征在于，包括：
9.根据权
10.根据权利要求9所述的方法，其特征在于，所述三维坐标信息包括二维坐标信息以及相对深度信息；所述方法还包括：
11.根据权利要求8-10中任一项所述的方法，其特征在于，还包括：
12.根据权利要求8-10中任一项所述的方法，其特征在于，还包括：
13.根据权利要求12所述的方法，其特征在于，
14.根据权利要求8-10中任一项所述的方法，其特征在于，所述获取待测手部图像，包括：
15.一种手部关键点预测模型训练装置，其特征在于，包括：
16.一种手部关键点预测装置，其特征在于，包括：
17.一种电子设备，其特征在于，包括：
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7或8-14任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7或8-14任一项所述的方法。
...【技术特征摘要】
1.一种手部关键点预测模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述手部关键点预测模型包括特征提取子模型、位置预测子模型和概率预测子模型；
3.根据权利要求2所述的方法，其特征在于，所述位置预测子模型包括上采样子模型和回归子模型；所述预测三维坐标信息包括预测二维坐标信息以及预测相对深度信息；
4.根据权利要求3所述的方法，其特征在于，所述将所述预测手部视觉特征输入所述上采样子模型，得到所述手部样本图像中各个手部关键点的预测二维坐标信息，包括：
5.根据权利要求3所述的方法，其特征在于，所述标注三维坐标信息包括标注二维坐标信息以及标注相对深度信息；
6.根据权利要求5所述的方法，其特征在于，所述根据所述手部样本图像中各个手部关键点的所述预测二维坐标信息和所述标注二维坐标信息，计算第一损失函数，并根据所述第一损失函数调整所述上采样子模型的参数，包括：
7.根据权利要求5或6所述的方法，其特征在于，
8.一种手部关键点预测方法，其特征在于，包括：
9.根据权利要求8所述的方法，其特征在于，所述根据所述各个手部关键点的所述遮挡概率...
【专利技术属性】
技术研发人员：樊凯旋，王远江，吴涛，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。