三维对象重建方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及一种三维对象重建方法、装置、计算机设备及存储介质。方法包括：对包括建模对象的二维对象图进行特征提取，得到建模对象中间特征；根据建模对象中间特征对建模对象进行三维形状参数估计，得到形状参数；根据建模对象中间特征估计建模对象的三维关键点；根据三维关键点的坐标，确定三维关键点在摆动方向上的旋转，得到摆动旋转姿态；根据建模对象中间特征进行轴向的旋转姿态估计，得到轴向旋转姿态；根据形状参数、摆动旋转姿态和轴向旋转姿态，对标准的三维对象模型进行形变处理，得到建模对象在世界坐标空间的三维对象模型。采用本申请能够提高三维对象重建的准确性。用本申请能够提高三维对象重建的准确性。用本申请能够提高三维对象重建的准确性。

【技术实现步骤摘要】
三维对象重建方法、装置、计算机设备及存储介质


[0001]本申请涉及建模
，特别是涉及一种三维对象重建方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着计算机技术的不断发展，三维对象重建一直是研究者们关注的热点。比如，将三维人体重建的技术应用在三维人体特效方面，为重建出的三维人体添加虚拟衣服特效。
[0003]目前，对三维对象进行姿态估计的方法通常直接回归三维对象的关键点的姿态参数，比如旋转角度。但是，该回归方式具有高度的非线性，这会导致模型学习相对困难，从而影响后续进行三维对象重建的准确性。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种三维对象重建方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高三维对象重建的准确性。
[0005]第一方面，本申请提供了一种三维对象重建方法，包括：
[0006]对包括建模对象的二维对象图进行特征提取，得到建模对象中间特征；
[0007]根据建模对象中间特征对建模对象进行三维形状参数估计，得到形状参数；
[0008]根据建模对象中间特征估计建模对象的三维关键点；
[0009]根据三维关键点的坐标，确定三维关键点在摆动方向上的旋转，得到摆动旋转姿态；
[0010]根据建模对象中间特征进行轴向的旋转姿态估计，得到轴向旋转姿态；
[0011]根据形状参数、三维关键点的摆动旋转姿态和轴向旋转姿态，对标准的三维对象模型进行形变处理，得到建模对象的三维对象模型。
[0012]第二方面，本申请提供了一种三维对象重建装置，包括：
[0013]特征提取模块，用于对包括建模对象的二维对象图进行特征提取，得到建模对象中间特征；
[0014]形状估计模块，用于根据建模对象中间特征对建模对象进行三维形状参数估计，得到形状参数；
[0015]关键点估计模块，用于根据建模对象中间特征估计建模对象的三维关键点；
[0016]姿态估计模块，用于根据三维关键点的坐标，确定三维关键点在摆动方向上的旋转，得到摆动旋转姿态；根据建模对象中间特征进行轴向的旋转姿态估计，得到轴向旋转姿态；
[0017]三维重建模块，用于根据形状参数、三维关键点的摆动旋转姿态和轴向旋转姿态，对标准的三维对象模型进行形变处理，得到建模对象的三维对象模型。
[0018]在一些实施例中，形状估计模块，还用于将建模对象中间特征输入至形状预测子模型，通过形状预测子模型对建模对象的形状进行预测，得到表征建模对象在三维形态下
的形状参数；形状预测子模型是通过预先采集的形状监督标签对原始的形状预测子模型进行有监督学习得到的。
[0019]在一些实施例中，关键点估计模块，还用于对建模对象中间特征图进行二维的关键点估计，得到二维关键点特征图；通过二维关键点特征图进行三维的关键点估计，得到三维关键点特征图；根据三维关键点特征图，确定建模对象的三维关键点。
[0020]在一些实施例中，关键点估计模块，还用于根据建模对象中间特征对二维对象图进行语义分割，得到包括建模对象的二维分割图；对二维分割图和三维关键点特征图进行融合，得到融合特征图；通过局部注意力机制对融合特征图进行三维的关键点估计，得到三维关键点。
[0021]在一些实施例中，三维重建模块，还用于对摆动旋转姿态和轴向旋转姿态进行混合处理，以得到建模对象在三维空间中的目标姿态参数；根据形状参数和目标姿态参数对标准的三维对象模型进行形变处理，得到建模对象在世界坐标空间的三维对象模型。
[0022]在一些实施例中，建模对象的三维对象模型为三维模型，本申请的三维对象重建装置还包括虚拟换装模块。虚拟换装模块，用于将预设的三维虚拟衣服贴合到三维模型上，得到虚拟换装后的三维模型；估计二维对象图对应的相机参数；通过相机参数将虚拟换装后的三维模型投影到二维对象图上，得到目标对象图；目标对象图包括虚拟换装后的建模对象。
[0023]在一些实施例中，相机参数的外参包括平移参数和旋转参数，虚拟换装模块，还用于将建模对象中间特征输入至平移参数预测子模型，通过平移参数预测子模型预测得到平移参数；平移参数预测子模型是通过预先采集的平移参数监督标签对原始的平移参数预测子模型进行有监督学习得到的；根据建模对象中第一预设关键点和第二预设关键点在三维空间中的三维坐标之间的相对位置关系，确定旋转参数。
[0024]第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
[0025]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
[0026]第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
[0027]上述三维对象重建方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，对包括建模对象的二维对象图进行特征提取，得到建模对象中间特征。根据建模对象中间特征对建模对象进行三维形状参数估计，得到形状参数。根据建模对象中间特征估计建模对象的三维关键点。由于建模对象的旋转是一个复杂的转换，既包括三维关键点在摆动方向上的旋转也包括在轴向上的旋转，因此在本申请中并不是直接回归建模对象的姿态参数，而是考虑对三维关键点的姿态进行解耦，将三维关键点的姿态分为摆动旋转姿态和轴向旋转姿态。具体地，根据三维关键点的坐标确定三维关键点在摆动方向上的摆动旋转姿态，根据建模对象中间特征进行轴向的旋转姿态估计得到轴向旋转姿态。根据形状参数、摆动旋转姿态和轴向旋转姿态，对标准的三维对象模型进行形变处理，得到建模对象的三维对象模型。本申请通过上述对三维关键点的旋转进行解耦的方式，相比起直接回归姿态参数的方式，可以缓解直接估计姿态参数的高度非线性问题，有效降低模型学习的难度，从而
提升姿态估计的准确性。
附图说明
[0028]图1为本申请实施例提供的一种三维对象重建方法的流程示意图；
[0029]图2为本申请实施例提供的一种三维人体的旋转姿态示意图；
[0030]图3为本申请实施例提供的标准的三维模型的示意图；
[0031]图4为本申请实施例提供的另一种三维对象重建方法的流程示意图；
[0032]图5为本申请实施例提供的一种三维对象重建装置的结构框图；
[0033]图6为本申请实施例提供的一种计算机设备的内部结构图；
[0034]图7为本申请实施例提供的另一种计算机设备的内部结构图。
具体实施方式
[0035]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0036]如图1所示，本申请实施例提供了一种三维对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维对象重建方法，其特征在于，包括：对包括建模对象的二维对象图进行特征提取，得到建模对象中间特征；根据所述建模对象中间特征对所述建模对象进行三维形状参数估计，得到形状参数；根据所述建模对象中间特征估计所述建模对象的三维关键点；根据所述三维关键点的坐标，确定所述三维关键点在摆动方向上的旋转，得到摆动旋转姿态；根据所述建模对象中间特征进行轴向的旋转姿态估计，得到轴向旋转姿态；根据所述形状参数、所述三维关键点的摆动旋转姿态和轴向旋转姿态，对标准的三维对象模型进行形变处理，得到所述建模对象在世界坐标空间的三维对象模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述建模对象中间特征对所述建模对象进行三维形状参数估计，得到形状参数，包括：将所述建模对象中间特征输入至形状预测子模型，通过所述形状预测子模型对所述建模对象的形状进行预测，得到表征所述建模对象在三维形态下的形状参数；所述形状预测子模型是通过预先采集的形状监督标签对原始的形状预测子模型进行有监督学习得到的。3.根据权利要求1所述的方法，其特征在于，所述建模对象中间特征为建模对象中间特征图；所述根据所述建模对象中间特征估计所述建模对象的三维关键点，包括：对所述建模对象中间特征图进行二维的关键点估计，得到二维关键点特征图；通过所述二维关键点特征图进行三维的关键点估计，得到三维关键点特征图；根据所述三维关键点特征图，确定所述建模对象的三维关键点。4.根据权利要求3所述的方法，其特征在于，所述根据所述三维关键点特征图，确定所述建模对象的三维关键点，包括：根据所述建模对象中间特征对所述二维对象图进行语义分割，得到包括所述建模对象的二维分割图；对所述二维分割图和所述三维关键点特征图进行融合，得到融合特征图；通过局部注意力机制对所述融合特征图进行三维的关键点估计，得到三维关键点。5.根据权利要求1所述的方法，其特征在于，所述根据所述形状参数、所述摆动旋转姿态和所述轴向旋转姿态，对标准的三维对象模型进行形变处理，得到所述建模对象的三维对象模型，包括：对所述摆动旋转姿态和所述轴向旋转姿态进行混合处理，以得到所述建模对象在所述三维空间中的目标姿态参数；根据所述形状参数和所述目标姿态参数对标准的三维对象...

【专利技术属性】
技术研发人员：刘利朋，曲晓超，陈云鹏，刘洛麒，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：