手部关键点检测模型的训练方法、装置及电子设备制造方法及图纸

本公开关于一种手部关键点检测模型的训练方法、装置、电子设备及存储介质，该方法包括：获取真实手势样本图像中的手势特征点的三维位置标注信息；三维位置标注信息通过预先训练的第一手部关键点检测模型对真实手部样本图像识别得到，预先训练的第一手部关键点检测模型通过真实手部样本集和虚拟手部样本集训练得到；根据真实手部样本图像以及真实手部样本图像中的手部关键点的三维位置标注信息，对待训练的第二手部关键点检测模型进行训练，得到训练完成的第二手部关键点检测模型；第一手部关键点检测模型为教师模型，第二手部关键点检测模型为学生模型。采用本方法，提高了通过第二手部关键点检测模型对手部关键点的检测准确度。

【技术实现步骤摘要】
手部关键点检测模型的训练方法、装置及电子设备
本公开涉及手部关键点识别
，尤其涉及一种手部关键点检测模型的训练方法、装置、电子设备及存储介质。
技术介绍
手部关键点检测技术是与AR(AugmentedReality，增强现实)、VR(VirtualReality，虚拟现实)等混合现实场景交互中的重要组成部分，在手部关键点检测技术中，一般是通过移动终端中训练得到的手部关键点检测模型识别真实手部图像中的手部关键点的三维位置信息。相关技术中，手部关键点检测模型的训练方法，由于真实手部关键点的三维位置信息的标注非常困难，一般是通过计算机生成的虚拟手部样本图像以及所述虚拟手部样本图像中的手部关键点的三维位置信息，对手部关键点检测模型进行训练，并将训练完成的手部关键点检测模型搭载在移动终端中，以对拍摄得到的手部图像进行手部关键点识别；但是，通过计算机生成的虚拟手部样本图像以及所述虚拟手部样本图像中的手部关键点的三维位置信息等虚拟手部数据，与真实手部数据还有一定差距，达不到以假乱真的水平，导致通过训练得到的手部关键点检测模型对手部关键点本文档来自技高网...

【技术保护点】
1.一种手部关键点检测模型的训练方法，其特征在于，包括：/n获取真实手部样本图像中的手部关键点的三维位置标注信息；所述三维位置标注信息通过预先训练的第一手部关键点检测模型对所述真实手部样本图像识别得到，所述预先训练的第一手部关键点检测模型通过真实手部样本集和虚拟手部样本集训练得到；所述真实手部样本集包括所述真实手部样本图像以及所述真实手部样本图像中的手部关键点的二维位置标注信息，所述虚拟手部样本集包括虚拟手部样本图像以及所述虚拟手部样本图像中的手部关键点的三维位置标注信息；/n根据所述真实手部样本图像以及所述真实手部样本图像中的手部关键点的三维位置标注信息，对待训练的第二手部关键点检测模型进行...

【技术特征摘要】
1.一种手部关键点检测模型的训练方法，其特征在于，包括：
获取真实手部样本图像中的手部关键点的三维位置标注信息；所述三维位置标注信息通过预先训练的第一手部关键点检测模型对所述真实手部样本图像识别得到，所述预先训练的第一手部关键点检测模型通过真实手部样本集和虚拟手部样本集训练得到；所述真实手部样本集包括所述真实手部样本图像以及所述真实手部样本图像中的手部关键点的二维位置标注信息，所述虚拟手部样本集包括虚拟手部样本图像以及所述虚拟手部样本图像中的手部关键点的三维位置标注信息；
根据所述真实手部样本图像以及所述真实手部样本图像中的手部关键点的三维位置标注信息，对待训练的第二手部关键点检测模型进行训练，得到训练完成的第二手部关键点检测模型；所述预先训练的第一手部关键点检测模型为教师模型，所述训练完成的第二手部关键点检测模型为学生模型。


2.根据权利要求1所述的手部关键点检测模型的训练方法，其特征在于，所述根据所述真实手部样本图像以及所述真实手部样本图像中的手部关键点的三维位置标注信息，对待训练的第二手部关键点检测模型进行训练，得到训练完成的第二手部关键点检测模型，包括：
将所述真实手部样本图像输入待训练的第二手部关键点检测模型，得到所述真实手部样本图像中的手部关键点的三维位置预测信息；
根据所述三维位置预测信息与所述三维位置标注信息之间的差值，确定所述待训练的第二手部关键点检测模型的损失值；
根据所述损失值，对所述待训练的第二手部关键点检测模型的模型参数进行调整，得到所述训练完成的第二手部关键点检测模型。


3.根据权利要求2所述的手部关键点检测模型的训练方法，其特征在于，所述将所述真实手部样本图像输入待训练的第二手部关键点检测模型，得到所述真实手部样本图像中的手部关键点的三维位置预测信息，包括：
将所述真实手部样本图像进行分割处理，得到所述真实手部样本图像中的多个关键区域图像；所述关键区域图像包含手部关键点；
将所述真实手部样本图像中的多个关键区域图像输入待训练的第二手部关键点检测模型，通过所述待训练的第二手部关键点检测模型分别对所述多个关键区域图像进行卷积处理和全连接处理，得到所述真实手部样本图像中的手部关键点的三维位置预测信息。


4.根据权利要求1所述的手部关键点检测模型的训练方法，其特征在于，所述预先训练的第一手部关键点检测模型通过下述方式训练得到：
分别将所述真实手部样本图像和所述虚拟手部样本图像输入待训练的第一手部关键点检测模型，得到所述真实手部样本图像中的手部关键点的二维位置预测信息，以及所述虚拟手部样本图像中的手部关键点的三维位置预测信息；
根据所述真实手部样本图像中的手部关键点的二维位置预测信息与所述二维位置标注信息之间的差值，得到第一子损失值，以及根据所述虚拟手部样本图像中的手部关键点的三维位置预测信息与所述三维位置标注信息之间的差值，得到第二子损失值，根据所述第一子损失值和所述第二子损失值，得到所述待训练的第一手部关键点检测模型的总损失值；
根据所述总损失值，对所述待训练的第一手部关键点检测模型的模型参数进行调...

【专利技术属性】
技术研发人员：董亚娇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11