三维重建方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种三维重建方法、装置、设备、存储介质及程序产品；在本申请实施例中，获取待构建对象的目标二维图像，以及获取对所述待构建对象所在的三维空间进行采样得到的采样点；根据所述目标二维图像，确定所述采样点与所述待构建对象之间的目标距离以及所述目标距离对应的目标梯度；对所述目标距离和所述目标梯度进行融合处理，得到所述采样点的距离向量；根据所述采样点的距离向量对所述采样点的坐标进行调整，得到所述待构建对象的表面点的三维坐标；根据所述待构建对象的表面点的三维坐标，对所述待构建对象进行三维重建。本申请实施例可以提高三维重建的效率。本申请实施例可以提高三维重建的效率。本申请实施例可以提高三维重建的效率。

【技术实现步骤摘要】
三维重建方法、装置、设备、存储介质及程序产品


[0001]本申请涉及图像处理
，具体涉及一种三维重建方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]三维重建指根据物体的二维图像确定物体的三维信息，并根据物体的三维信息构建物体的技术。
[0003]相关技术中存在多种三维重建方法，比如，通过符号距离函数(signed distance function，SDF)进行三维重建。然而，目前通过符号距离函数进行三维重建的方法的效率较低。

技术实现思路

[0004]本申请实施例提供一种三维重建方法、装置、设备、存储介质及程序产品，可以解决目前三维重建的方法的效率较低的技术问题。
[0005]本申请实施例提供一种三维重建方法，包括：
[0006]获取待构建对象的目标二维图像，以及获取对上述待构建对象所在的三维空间进行采样得到的采样点；
[0007]根据上述目标二维图像，确定上述采样点与上述待构建对象之间的目标距离以及上述目标距离对应的目标梯度；
[0008]对上述目标距离和上述目标梯度进行融合处理，得到上述采样点的距离向量；
[0009]根据上述采样点的距离向量对上述采样点的坐标进行调整，得到上述待构建对象的表面点的三维坐标；
[0010]根据上述待构建对象的表面点的三维坐标，对上述待构建对象进行三维重建。
[0011]相应地，本申请实施例提供另一种三维重建方法，包括：
[0012]获取初始距离函数，以及获取样本对象的训练集，上述训练集中包括上述样本对象的样本二维图像；
[0013]获取对样本对象所在的三维空间进行采样得到的样本采样点，以及获取上述样本采样点与上述样本对象的表面点之间的样本距离和上述样本距离对应的样本梯度；
[0014]通过上述初始距离函数，根据上述样本二维图像，确定上述样本采样点与上述样本对象的表面点之间的预测样本距离和上述预测样本距离对应的预测样本梯度；
[0015]根据上述样本距离、上述样本梯度、上述预测样本距离以及上述预测样本梯度，对上述初始距离函数进行调整，得到上述预设距离函数，上述预设距离函数用于进行三维重建。
[0016]相应地，本申请实施例提供一种三维重建装置，包括：
[0017]获取模块，用于获取待构建对象的目标二维图像，以及获取对上述待构建对象所在的三维空间进行采样得到的采样点；
[0018]确定模块，用于根据上述目标二维图像，确定上述采样点与上述待构建对象之间的目标距离以及上述目标距离对应的目标梯度；
[0019]融合模块，用于对上述目标距离和上述目标梯度进行融合处理，得到上述采样点的距离向量；
[0020]调整模块，用于根据上述采样点的距离向量对上述采样点的坐标进行调整，得到上述待构建对象的表面点的三维坐标；
[0021]重建模块，用于根据上述待构建对象的表面点的三维坐标，对上述待构建对象进行三维重建。
[0022]可选地，调整模块具体用于执行：
[0023]对上述采样点的坐标和上述采样点的距离向量进行第一融合处理，得到融合处理后向量；
[0024]根据上述融合处理后向量，确定上述待构建对象的表面点的三维坐标。
[0025]可选地，融合模块具体用于执行：
[0026]从上述目标距离中提取出不满足预设条件的目标距离，得到候选距离；
[0027]对上述候选距离和上述候选距离对应的目标梯度进行融合处理，得到上述采样点的距离向量。
[0028]可选地，融合模块具体用于执行：
[0029]对上述目标梯度的模长进行调整处理，得到调整后目标梯度；
[0030]对上述目标距离和上述调整后目标梯度进行融合处理，得到上述采样点的距离向量。
[0031]可选地，融合模块具体用于执行：
[0032]对上述目标距离进行绝对值处理，得到处理后目标距离；
[0033]对上述处理后目标距离和上述目标梯度进行融合处理，得到上述采样点的距离向量。
[0034]可选地，上述目标二维图像包括上述待构建对象在不同视角下的图像。相应地，确定模块具体用于执行：
[0035]对上述目标二维图像进行特征提取，得到上述目标二维图像对应的目标特征；
[0036]确定上述采样点在上述目标特征中对应的子特征；
[0037]对上述采样点对应的子特征进行第二融合处理，得到上述采样点对应的特征；
[0038]根据上述采样点对应的特征，确定上述采样点与上述待构建对象之间的目标距离以及上述目标距离对应的目标梯度。
[0039]可选地，上述目标距离和上述目标梯度通过预设距离函数得到。相应地，三维重建装置还包括：
[0040]训练模块，用于执行：
[0041]获取初始距离函数，以及获取样本对象的训练集，上述训练集中包括上述样本对象的样本二维图像；
[0042]获取对样本对象所在的三维空间进行采样得到的样本采样点，以及获取上述样本采样点与上述样本对象的表面点之间的样本距离和上述样本距离对应的样本梯度；
[0043]通过上述初始距离函数，根据上述样本二维图像，确定上述样本采样点与上述样
本对象的表面点之间的预测样本距离和上述预测样本距离对应的预测样本梯度；
[0044]根据上述样本距离、上述样本梯度、上述预测样本距离以及上述预测样本梯度，对上述初始距离函数进行调整，得到上述预设距离函数。
[0045]可选地，训练模块具体用于执行：
[0046]根据上述样本距离和上述预测样本距离，确定距离损失值；
[0047]根据上述样本梯度和上述预测样本梯度，确定梯度损失值；
[0048]根据上述距离损失值和上述梯度损失值，对上述初始距离函数进行调整，得到上述预设距离函数。
[0049]可选地，训练模块具体用于执行：
[0050]根据上述距离损失值和上述梯度损失值，确定目标损失值；
[0051]若上述目标损失值不满足预设损失条件，则根据上述目标损失值，对上述初始距离函数进行调整，并返回执行获取对样本对象所在的三维空间进行采样得到的样本采样点的步骤；
[0052]若上述目标损失值满足预设损失条件，则将上述初始距离函数作为上述预设距离函数。
[0053]可选地，训练模块具体用于执行：
[0054]确定上述样本对象所在的三维空间；
[0055]对上述样本对象所在的三维空间进行采样，得到样本采样点集合，上述样本采样点集合包括至少一个初始样本采样点；
[0056]从上述样本采样点集合中提取出初始样本采样点作为样本采样点。
[0057]可选地，训练模块具体用于执行：
[0058]按照随机规则，从上述训练集中提取出初始样本二维图像；
[0059]通过上述初始距离函数，根据上述初始样本二维图像，确定上述样本采样点与上述样本对象的表面点之间的预测样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取待构建对象的目标二维图像，以及获取对所述待构建对象所在的三维空间进行采样得到的采样点；根据所述目标二维图像，确定所述采样点与所述待构建对象之间的目标距离以及所述目标距离对应的目标梯度；对所述目标距离和所述目标梯度进行融合处理，得到所述采样点的距离向量；根据所述采样点的距离向量对所述采样点的坐标进行调整，得到所述待构建对象的表面点的三维坐标；根据所述待构建对象的表面点的三维坐标，对所述待构建对象进行三维重建。2.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述采样点的距离向量对所述采样点的坐标进行调整，得到所述待构建对象的表面点的三维坐标，包括：对所述采样点的坐标和所述采样点的距离向量进行第一融合处理，得到融合处理后向量；根据所述融合处理后向量，确定所述待构建对象的表面点的三维坐标。3.根据权利要求1所述的三维重建方法，其特征在于，所述对所述目标距离和所述目标梯度进行融合处理，得到所述采样点的距离向量，包括：从所述目标距离中提取出不满足预设条件的目标距离，得到候选距离；对所述候选距离和所述候选距离对应的目标梯度进行融合处理，得到所述采样点的距离向量。4.根据权利要求1所述的三维重建方法，其特征在于，所述对所述目标距离和所述目标梯度进行融合处理，得到所述采样点的距离向量，包括：对所述目标梯度的模长进行调整处理，得到调整后目标梯度；对所述目标距离和所述调整后目标梯度进行融合处理，得到所述采样点的距离向量。5.根据权利要求1所述的三维重建方法，其特征在于，所述对所述目标距离和所述目标梯度进行融合处理，得到所述采样点的距离向量，包括：对所述目标距离进行绝对值处理，得到处理后目标距离；对所述处理后目标距离和所述目标梯度进行融合处理，得到所述采样点的距离向量。6.根据权利要求1所述的三维重建方法，其特征在于，所述目标二维图像包括所述待构建对象在不同视角下的图像，所述根据所述目标二维图像，确定各个所述采样点与所述待构建对象之间的目标距离以及所述目标距离对应的目标梯度，包括：对所述目标二维图像进行特征提取，得到所述目标二维图像对应的目标特征；确定所述采样点在所述目标特征中对应的子特征；对所述采样点对应的子特征进行第二融合处理，得到所述采样点对应的特征；根据所述采样点对应的特征，确定所述采样点与所述待构建对象之间的目标距离以及所述目标距离对应的目标梯度。7.根据权利要求1
‑
6任一项所述的三维重建方法，其特征在于，所述目标距离和所述目标梯度通过预设距离函数得到；在所述根据所述目标图像，确定各个所述采样点到所述待构建对象的表面点之间的目标距离以及所述目标距离对应的目标梯度之前，还包括：
获取初始距离函数，以及获取样本对象的训练集，所述训练集中包括所述样本对象的样本二维图像；获取对样本对象所在的三维空间进行采样得到的样本采样点，以及获取所述样本采样点与所述样本对象的表面点之间的样本距离和所述样本距离对应的样本梯度；通过所述初始距离函数，根据所述样本二维图像，确定所述样本采样点与所述样本对象的表面点之间的预测样本距离和所述预测样本距离对应的预测样本梯度；根据所述样本距离、所述样本梯度、所述预测样本距离以及所述预测样本梯度，对所述初始距离函数进行调整，得到所述预设距离函数。8.根据权利要求7所述的三维重建方法，其特征在于，所述根据所述样本距离、所述样本梯度、所述预测样本距离以及所述预测样本梯度，对所述初始距离函数进行调整，得到所述预设距离...

【专利技术属性】
技术研发人员：周易，余晓铭，易阳，李峰，左小祥，宋秉一，罗青，江林燕，王茹，雷海波，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：