本申请公开了一种训练顶点重建模型的方法、图像重建方法及电子设备。其中，训练顶点重建模型的方法包括：将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；基于所述总损失值更新所述顶点重建模型的权重参数。失值更新所述顶点重建模型的权重参数。失值更新所述顶点重建模型的权重参数。
【技术实现步骤摘要】
训练顶点重建模型的方法、图像重建方法及电子设备
[0001]本申请涉及图像处理领域，尤其涉及一种训练顶点重建模型的方法、图像重建方法及电子设备。
技术介绍
[0002]相关技术中，通过人体参数化模型(SMPL，Skinned Multi
‑
Person Linear Model)重建出二维图像中的人体图像对应的三维人体网格，但无法重建出有衣服的三维人体图像。
技术实现思路
[0003]有鉴于此，本申请实施例期望提供一种训练顶点重建模型的方法、图像重建方法及电子设备，以解决相关技术中无法重建出有衣服的三维人体图像的技术问题。
[0004]为达到上述目的，本申请的技术方案是这样实现的：
[0005]本申请实施例提供了一种训练顶点重建模型的方法，包括：
[0006]将第一三基色RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
[0007]基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
[0008]基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
[0009]基于所述总损失值更新所述顶点重建模型的权重参数。
[0010]上述方案中，所述顶点重建模型包括图卷积网络和残差网络；所述将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据，包括：
[0011]将所述第一数据输入至顶点重建模型中的图卷积网络，得到所述三维人体网格的第一语义特征；
[0012]将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到所述第一RGB图像样本对应的第二语义特征；
[0013]基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。
[0014]上述方案中，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法包括：
[0015]基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；
[0016]基于重建出的三维人体图像，确定出第二损失值和第三损失值；其中，
[0017]所述第一损失值表征所述第一RGB图像样本和重建出的二维投影图像之间的相似度；
[0018]所述第二损失值表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；
[0019]所述第三损失值表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值。
[0020]上述方案中，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法还包括：
[0021]基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，
[0022]所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；
[0023]所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；
[0024]所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
[0025]上述方案中，所述第一人体特征和所述第二人体特征通过相同的特征提取模型得到。
[0026]上述方案中，所述特征提取模型通过以下方式训练得到：
[0027]将至少一张第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到所述至少一张第二RGB图像样本中每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征；
[0028]基于每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征，确定出每张第二RGB图像样本和对应的二维投影图像样本之间的相似度；
[0029]基于确定出的相似度调整所述特征提取模型的权重参数。
[0030]上述方案中，所述方法还包括：
[0031]基于第二RGB图像样本和对应的三维人体图像样本，确定出对应的二维投影图像样本；其中，
[0032]对应的二维投影图像样本包括：
[0033]第一二维投影图像样本，表征由第二RGB图像样本对应的三维人体网格投影得到的二维投影图像；以及
[0034]第二二维投影图像样本，表征由第二RGB图像样本对应的三维人体图像样本投影得到的二维投影图像。
[0035]本申请实施例还提供了一种图像重建方法，包括：
[0036]将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
[0037]基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
[0038]所述顶点重建模型为采用上述任一种所述的训练顶点重建模型的方法练得到的顶点重建模型。
[0039]本申请实施例还提供了一种电子设备，包括：
[0040]顶点重建单元，用于将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
[0041]图像重建单元，基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
[0042]确定单元，用于基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
[0043]更新单元，用于基于所述总损失值更新所述顶点重建模型的权重参数。
[0044]本申请实施例还提供了一种电子设备，包括：
[0045]顶点重建单元，用于将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
[0046]图像重建单元，用于基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
[0047]所述顶点重建模型为采用上述任一种训练顶点重建模型的方法练得到的顶点重建模型。
[0048]本申请实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行以下至少之一：
[0049]上述任一种训练顶点重建模型的方法的步骤；
[0050]上述任一种图像重建方法的步骤。
[0051]本申请实施例还提供了一种存储介质，其上存储有计算机程序本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种训练顶点重建模型的方法，其特征在于，包括：将第一三基色RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；基于所述总损失值更新所述顶点重建模型的权重参数。2.根据权利要求1所述的方法，其特征在于，所述顶点重建模型包括图卷积网络和残差网络；所述将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据，包括：将所述第一数据输入至顶点重建模型中的图卷积网络，得到所述三维人体网格的第一语义特征；将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到所述第一RGB图像样本对应的第二语义特征；基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法包括：基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；基于重建出的三维人体图像，确定出第二损失值和第三损失值；其中，所述第一损失值表征所述第一RGB图像样本和重建出的二维投影图像之间的相似度；所述第二损失值表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；所述第三损失值表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法还包括：基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。5.根据权利要求3所述的方法，其特征在于，所述第一人体特征和所述第二人体特征通
过相同的特征提取模型得到。6.根据权利要求5所述的方法，其特征在于，所述特征提取模型通过以下方式训练得到：将至少一张第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到...
【专利技术属性】
技术研发人员：陈立梁，黄晗，郭彦东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。