This application discloses a training method, server and storage medium for SMPL parameter prediction model. The method includes: acquiring sample pictures; inputting sample pictures into attitude parameter prediction model to get attitude prediction parameters; inputting sample pictures into shape parameter prediction model to get shape prediction parameters; constructing human body three-dimensional model by SMPL model based on attitude prediction parameters and shape prediction parameters; and combining SMPL prediction parameters and/or human body three-dimensional model with sample images. The tagging information of the slice is used to calculate the model to predict the loss, and the attitude parameter prediction model and the morphological parameter prediction model are trained according to the model to predict the loss. In the embodiment of this application, the sample image is directly used as model input for model training, and the model of extracting human body information in the picture is not required to be trained separately, thus reducing the complexity of model training and improving the efficiency of model training.
【技术实现步骤摘要】
SMPL参数预测模型的训练方法、服务器及存储介质
本申请实施例涉及计算机视觉领域，尤其涉及一种SMPL参数预测模型的训练方法、服务器及存储介质。
技术介绍
三维人体重建是计算机视觉研究中的重要课题之一，在虚拟现实(VR，VirtualReality)、人体动画、游戏等领域具有重要的应用价值。相关技术中采用多人线性蒙皮(SMPL，SkinnedMulti-PersonLinear)模型对二维图像中的人体进行三维人体重建。在一种三维人体重建方式中，首先利用人体信息提取模型提取二维图像中人体的二维关节点、三维关节点、二维人体分割图、三维体素等人体信息，然后将提取到的人体信息输入参数预测模型进行SMPL参数预测，进而将预测得到的SMPL参数输入SMPL模型进行三维人体重建。然而，采用上述方式进行三维人体重建前，需要分别训练人体信息提取模型和参数预测模型，然后再次对训练得到的模型进行联合训练，导致模型训练过程复杂，需要耗费大量时间。
技术实现思路
本申请实施例提供了一种SMPL参数预测模型的训练方法、服务器及存储介质，可以解决相关技术中模型训练过程复杂，且需要耗费大量时间的问题...
【技术保护点】
1.一种多人线性蒙皮SMPL参数预测模型的训练方法，其特征在于，所述方法包括：获取样本图片，所述样本图片中包含人体图像；将所述样本图片输入姿态参数预测模型，得到姿态预测参数，所述姿态预测参数是SMPL预测参数中用于指示人体姿态的参数；将所述样本图片输入形态参数预测模型，得到形态预测参数，所述形态预测参数是所述SMPL预测参数中用于指示人体形态的参数；根据所述姿态预测参数和所述形态预测参数，通过SMPL模型构建人体三维模型；根据所述SMPL预测参数和/或所述人体三维模型，并结合所述样本图片的标注信息，计算模型预测损失；根据所述模型预测损失反向训练所述姿态参数预测模型和所述形态参数预测模型。
【技术特征摘要】
1.一种多人线性蒙皮SMPL参数预测模型的训练方法，其特征在于，所述方法包括：获取样本图片，所述样本图片中包含人体图像；将所述样本图片输入姿态参数预测模型，得到姿态预测参数，所述姿态预测参数是SMPL预测参数中用于指示人体姿态的参数；将所述样本图片输入形态参数预测模型，得到形态预测参数，所述形态预测参数是所述SMPL预测参数中用于指示人体形态的参数；根据所述姿态预测参数和所述形态预测参数，通过SMPL模型构建人体三维模型；根据所述SMPL预测参数和/或所述人体三维模型，并结合所述样本图片的标注信息，计算模型预测损失；根据所述模型预测损失反向训练所述姿态参数预测模型和所述形态参数预测模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述SMPL预测参数和/或所述人体三维模型，并结合所述样本图片的标注信息，计算模型预测损失，包括：根据所述SMPL预测参数，以及所述标注信息中的SMPL标注参数，计算第一模型预测损失，所述SMPL标注参数中包括姿态标注参数和形态标注参数；和/或，根据所述人体三维模型中关节点的关节点预测坐标，以及所述标注信息中关节点的关节点标注坐标，计算第二模型预测损失；和/或，根据所述人体三维模型的预测二维人体轮廓，以及所述标注信息中的标注二维人体轮廓，计算第三模型预测损失。3.根据权利要求2所述的方法，其特征在于，所述根据所述SMPL预测参数，以及所述标注信息中的SMPL标注参数，计算第一模型预测损失，包括：计算所述姿态标注参数与所述姿态预测参数之间的第一欧式距离；计算所述形态标注参数与所述形态预测参数之间的第二欧式距离；根据所述第一欧式距离和所述第二欧式距离确定所述第一模型预测损失。4.根据权利要求2所述的方法，其特征在于，所述关节点标注坐标中包含三维关节点标注坐标和/或二维关节点标注坐标；所述根据所述人体三维模型中关节点的关节点预测坐标，以及所述标注信息中关节点的关节点标注坐标，计算第二模型预测损失，包括：计算所述人体三维模型中关节点的三维关节点预测坐标和所述三维关节点标注坐标之间的第三欧式距离；计算所述人体三维模型中关节点的二维关节点预测坐标和所述二维关节点标注坐标之间的第四欧式距离；根据所述第三欧式距离和/或所述第四欧式距离计算所述第二模型预测损失。5.根据权利要求4所述的方法，其特征在于，所述计算所述人体三维模型中关节点的三维关节点预测坐标和所述三维关节点标注坐标之间的第三欧式距离，包括：根据所述人体三维模型中关节点周侧模型顶点的顶点坐标，确定所述人体三维模型中关节点的所述三维关节点预测坐标；计算所述三维关节点预测坐标和所述三维关节点标注坐标之间的所述第三欧式距离。6.根据权利要求4所述的方法，其特征在于，所述姿态参数预测模型还用于根据输入的所述样本图片输出投影参数，所述投影参数用于将三维空间的点投影到二维空间；所述计算所述人体三维模型中关节点的二维关节点预测坐标和所述二维关节点标注坐标之间的第四欧式距离，包括：根据所述人体三维模型中关节点周侧模型顶点的顶点坐标，确定所述人体三维模型中关节点的所述三维关节点预测坐标；根据所述投影参数，对所述三维关节点预测坐标进行投影处理，得到所述二维关节点预测坐标；计算所述二维关节点预测坐标和所述二维关节点标注坐标之间的所述第四欧式距离。7.根据权利要求2所述的方法，其特征在于，所述姿态参数预测模型还用于根据输入的所述样本图片输出投影参数，所述投影参数用于将三维空间的点投影到二维空间；所述根据所述人体三维模型的预测二维人体轮廓，以及所述标注信息中的标注二维人体轮廓，计算第三模型预测损失，包括：根据所述投影参数，将所述人体三维模型中的模型顶点投影到二维空间，并生成所述预测二维人体轮廓；根据所述预测二维人体轮廓和所述标注二维人体轮廓，计算第一轮廓损失和第二轮廓损失；根据所述第一轮廓损失和所述第二轮廓损失确定所述第三模型预测损失。8.根据权利要求7所述的方法，其特征在于，所述根据所述预测二维人体轮廓和所述标注二维人体轮廓，计算第一轮廓损失和第二轮廓损失，包括：计算所述预测二维人体轮廓中轮廓点到所述标注二维人体轮廓的第一最短距离；根据所述预测二维人体轮廓中各个轮廓点对应的所述第一最短距离，计算所述第一轮廓损失；计算所述标注二...
【专利技术属性】
技术研发人员：孙爽，李琛，戴宇荣，贾佳亚，沈小勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。