一种人物三维模型的重建方法及电子设备技术

本申请实施例提供一种人物三维模型的重建方法及电子设备，涉及三维模型重建领域，能够提高生成目标人物的三维模型的效率。该方法包括：在目标人物穿戴第一服装的情况下，从目标人物的特征信息中提取第一全局特征和第一细节特征；第一全局特征用于反映目标人物穿戴第一服装时第一服装的全局状态；第一细节特征用于反映目标人物穿戴第一服装时第一服装的细节状态；根据第一全局特征对预设服装特征图进行调制，得到第一服装特征图；根据第一细节特征对第一服装特征图进行调制，得到目标人物穿戴目标服装的特征图；根据目标服装的特征图生成目标人物穿戴目标服装的三维模型。生成目标人物穿戴目标服装的三维模型。生成目标人物穿戴目标服装的三维模型。

【技术实现步骤摘要】
一种人物三维模型的重建方法及电子设备


[0001]本申请实施例涉及三维模型重建领域，尤其涉及一种人物三维模型的重建方法及电子设备。

技术介绍

[0002]随着计算机技术的日益发展，人体三维模型重建在计算机领域中已成为重要的热点问题之一。
[0003]传统的人体三维模型重建包括：采用多个照相机或单个照相机采集目标人物不同角度的多张图像，其次，根据该多张图像生成与目标人物相关的多个三维点云，然后，将该多个三维点云进行融合得到目标人物的目标三维点云，最后，根据该目标三维点云生成目标人物的三维模型。
[0004]然而，上述人体三维模型重建的方法在生成多个三维点云，并将该多个三维点云进行融合的过程中计算量较大，从而导致生成目标人物的三维模型的效率较低。

技术实现思路

[0005]本申请实施例提供一种人物三维模型的重建方法及电子设备，能够提高生成目标人物的三维模型的效率，为达到上述目的，本申请实施例采用如下技术方案：
[0006]第一方面，本申请实施例提供一种人物三维模型的重建方法，该方法包括：在目标人物穿戴第一服装的情况下，从该目标人物的特征信息中提取第一全局特征和第一细节特征；第一全局特征用于反映目标人物穿戴第一服装时该第一服装的全局状态；该第一细节特征用于反映目标人物穿戴第一服装时该第一服装的细节状态；根据第一全局特征对预设服装特征图进行调制，得到第一服装特征图；根据第一细节特征对第一服装特征图进行调制，得到目标人物穿戴目标服装的特征图；根据目标服装的特征图生成目标人物穿戴目标服装的三维模型。
[0007]本申请实施例提供的人物三维模型的重建方法，在目标人物穿戴第一服装的情况下，电子设备从目标人物的特征信息中提取第一全局特征和第一细节特征；其次，电子设备根据第一全局特征对预设服装特征图进行调制，得到第一服装特征图；然后，电子设备根据第一细节特征对第一服装特征图进行调制，得到目标人物穿戴目标服装的特征图；最后，电子设备根据目标服装的特征图生成目标人物穿戴目标服装的三维模型。如此，相较于现有生成三维模型的方法，本申请实施例提供的人物三维模型的重建方法并不需要根据多角度目标人物的图像生成目标人物的三维点云图，从而减少了在生成目标人物三维模型过程中的计算量，进而提高了生成目标三维模型的效率。
[0008]一种可能的实现方式中，上述人物三维模型的重建方法，还包括：目标服装为第一服装。
[0009]一种可能的实现方式中，上述第一服装特征图为仅包括第一服装的特征信息或包括目标人物和第一服装的特征信息。
[0010]一种可能的实现方式中，上述任一调制过程包括了至少一个卷积层。
[0011]一种可能的实现方式中，通过至少一个卷积层生成上述预设服装特征图。
[0012]一种可能的实现方式中，上述人物三维模型的重建方法，还包括：上述目标服装为第二服装，该第二服装为上述目标人物待换的服装；上述根据第一全局特征对预设服装特征图进行调制，得到第一服装特征图，包括：根据上述第一全局特征，在待换服装的特征库中确定第二全局特征；该第二全局特征为待换服装的特征库中的全局特征中，与第一全局特征之间的误差最小的全局特征；使用该第二全局特征对上述预设服装特征图进行调制，得到第一服装特征图。
[0013]本申请实施例提供的人物三维模型的重建方法，电子设备根据第一全局特征，在待换服装的特征库中确定第二全局特征；然后，电子设备使用第二全局特征对预设服装特征图进行调制，得到第一服装特征图，其后，电子设备根据第一细节特征调制第一服装特征图的细节特征，得到目标人物穿戴待换服装的特征图；最后，电子设备根据待换服装的特征图生成目标人物穿戴目标服装的三维模型，如此，解决了三维模型中的目标人物的进行换装的问题。
[0014]一种可能的实现方式中，上述根据第一全局特征对预设服装特征图进行调制，得到第一服装特征图，包括：根据上述第一全局特征调整预设服装特征图的全局特征，得到调整后的全局特征；将调整后的全局特征和上述预设服装特征图进行融合，得到上述第一服装特征图；上述根据第一细节特征对第一服装特征图进行调制，得到目标人物穿戴目标服装的特征图，包括：根据上述第一细节特征调整第一服装特征图的细节特征，得到调整后的细节特征；将调整后的细节特征和上述第一服装特征图进行融合，得到该目标人物穿戴目标服装的特征图。
[0015]一种可能的实现方式中，上述根据第一全局特征调整预设服装特征图的全局特征，得到调整后的全局特征，包括：基于第一风格调制网络，使用第一全局特征调整预设服装特征图的全局特征，得到调整后的全局特征；上述根据第一细节特征调整第一服装特征图的细节特征，得到调整后的细节特征，包括：基于第二风格调制网络，使用上述第一细节特征调整第一服装特征图的细节特征，得到调整后的细节特征。
[0016]一种可能的实现方式中，上述将调整后的全局特征和＝预设服装特征图进行融合，得到第一服装特征图，包括：基于第一融合网络，将调整后的全局特征和预设服装特征图进行融合，得到上述第一服装特征图；上述将调整后的细节特征和第一服装特征图进行融合，得到目标人物穿戴目标服装的特征图，包括：基于第二融合网络，将调整后的细节特征和第一服装特征图进行融合，得到该目标人物穿戴上述目标服装的特征图。
[0017]一种可能的实现方式中，上述人物三维模型的重建方法，还包括：基于特征提取网络，从上述目标人物的特征信息中提取第一全局特征和第一细节特征。
[0018]一种可能的实现方式中，上述人物三维模型的重建方法，还包括：上述特征提取网络、上述第一风格调制网络、上述第二风格调制网络、上述第一融合网络以及上述第二融合网络是根据训练样本集训练得到的，该训练样本集包括目标人物的特征信息，以及人物样本穿戴服装样本时的服装特征图。
[0019]一种可能的实现方式中，上述人物三维模型的重建方法，还包括：根据目标人物穿戴目标服装的特征图和上述目标人物穿戴目标服装的真实特征图，确定服装一致性损失；
根据该服装一致性损失，更新上述第一风格调制网络和第二风格调制网络。
[0020]本申请实施例提供的人物三维模型的重建方法，电子设备根据第一全局特征，在待换服装的特征库中确定第二全局特征；然后，电子设备使用第二全局特征对预设服装特征图进行调制，得到第一服装特征图，其后，电子设备根据第一细节特征对第一服装特征图进行调制，得到目标人物穿戴待换服装的特征图；最后，电子设备根据目标人物穿戴目标服装的特征图和目标人物穿戴目标服装的真实特征图，确定服装一致性损失，并根据该服装一致性损失，更新第一风格调制网络和第二风格调制网络，以使电子设备根据更新后的第一风格调制网络和第二风格调制网络对全局特征和细节特征进行调整进而生成真实度较高的目标人物换装后的三维模型。
[0021]一种可能的实现方式中，上述人物三维模型的重建方法，还包括：从目标图像中提取目标人物的特征信息，目标图像为该目标人物穿戴上述第一服装的图像。
[0022]第二方面，本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人物三维模型的重建方法，其特征在于，包括：在所述目标人物穿戴第一服装的情况下，从所述目标人物的特征信息中提取第一全局特征和第一细节特征；所述第一全局特征用于反映所述目标人物穿戴所述第一服装时所述第一服装的全局状态；所述第一细节特征用于反映所述目标人物穿戴所述第一服装时所述第一服装的细节状态；根据所述第一全局特征对预设服装特征图进行调制，得到第一服装特征图；根据所述第一细节特征对所述第一服装特征图进行调制，得到所述目标人物穿戴目标服装的特征图；根据所述目标服装的特征图生成所述目标人物穿戴所述目标服装的三维模型。2.根据权利要求1所述的方法，其特征在于，所述目标服装为所述第一服装。3.根据权利要求1所述的方法，其特征在于，所述目标服装为第二服装，所述第二服装为所述目标人物待换的服装；所述根据所述第一全局特征对预设服装特征图进行调制，得到第一服装特征图，包括：根据所述第一全局特征，在待换服装的特征库中确定第二全局特征；所述第二全局特征为所述待换服装的特征库中的全局特征中，与所述第一全局特征之间的误差最小的全局特征；使用所述第二全局特征对所述预设服装特征图进行调制，得到所述第一服装特征图。4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一全局特征对预设服装特征图进行调制，得到第一服装特征图，包括：根据所述第一全局特征调整预设服装特征图的全局特征，得到调整后的全局特征；将所述调整后的全局特征和所述预设服装特征图进行融合，得到所述第一服装特征图；所述根据所述第一细节特征对所述第一服装特征图进行调制，得到所述目标人物穿戴目标服装的特征图，包括：根据所述第一细节特征调整所述第一服装特征图的细节特征，得到调整后的细节特征；将所述调整后的细节特征和所述第一服装特征图进行融合，得到所述目标人物穿戴所述目标服装的特征图。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一全局特征调整预设服装特征图的全局特征，得到调整后的全局特征，包括：基于第一风格调制网络，使用所述第一全局特征调整预设服装特征图的全局特征，得到所述调整后的全局特征；所述根据所述第一细节特征调整所述第一服装特征图的细节特征，得到调整后的细节特征，包括：基于第二风格调制网络，使用所述第一细节特征调整所述第一服装特征图的细节特征，得到所述调整后的细节特征。6.根据权利要求4或5所述的方法，其特征在于，
所述将所述调整后的全局特征和所述预设服装特征图进行融合，得到所述第一服装特征图，包括：基于第一融合网络，将所述调整后的全局特征和所述预设服装特征图进行融合，得到所述第一服装特征图；所述将所述调整后的细节特征和所述第一服装特征图进行融合，得到所述目标人物穿戴目标服装的特征图，包括：基于第二融合网络，将所述调整后的细节特征和所述第一服装特征图进行融合，得到所述目标人物穿戴所述目标服装的特征图。7.根据权利要求1至6任一项所述方法，其特征在于，所述从所述目标人物的特征信息中提取第一全局特征和第一细节特征，包括：基于特征提取网络，从所述目标人物的特征信息中提取第一全局特征和第一细节特征。8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：所述特征提取网络、所述第一风格调制网络、所述第二风格调制网络、所述第一融合网络以及所述第二融合网络是根据训练样本集训练得到的，所述训练样本集包括目标人物的特征信息，以及人物样本穿戴服装样本时的服装特征图。9.根据权利要求1至7任一项所述的方法，其特征在于，所述目标服装为所述第二服装时，所述方法还包括：根据所述目标人物穿戴目标服装的特征图和所述目标人物穿戴目标服装的真实特征图，确定服装一致性损失；根据所述服装一致性损失，更新所述第一风格调制网络和所述第二风格调制网络。10.根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：从目标图像中提取所述目标人物的特征信息，所述目标图像为所述目标人物穿戴所述第一服装的图像。11.一种人物三维模型的重建装置，其特征在于，包括：提取模块、处理模块和生成模块；所述提取模块，用...

【专利技术属性】
技术研发人员：胡守刚，李明，邵睿智，刘烨斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：