三维重建方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

本申请涉及一种三维重建方法、装置、计算机设备及计算机可读存储介质，涉及三维建模技术领域。方法包括：获取图像采集设备采集到的样本图像和多个训练采样点；针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表征训练采样点到建模对象的表面的最小距离增量；根据表面增量参数，确定训练采样点的不透明度；基于各训练采样点的颜色和不透明度经渲染得到预测图像；根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。采用本申请能够有效提高所重建的三维模型的准确性。建的三维模型的准确性。建的三维模型的准确性。

【技术实现步骤摘要】
三维重建方法、装置、计算机设备及计算机可读存储介质


[0001]本申请涉及三维重建
，特别是涉及一种三维重建方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]随着计算机技术和多媒体技术的不断发展，对图像中场景或物体的三维重建越来越受到人们的重视。
[0003]目前，在进行三维重建时，可以通过对三维重建模型进行训练，使其预测各个采样点的颜色和密度，从而根据颜色和密度进行三维重建。但是，采用上述方法训练出的三维重建模型所输出的密度只能体现每个采样点独立的属性，这导致基于该三维重建模型进行三维重建的准确性不高。

技术实现思路

[0004]本申请提供一种三维重建方法、装置、计算机设备及计算机可读存储介质，能够有效提高所重建的三维模型的准确性。
[0005]第一方面，本申请提供了一种三维重建方法，包括：获取图像采集设备采集到的样本图像和多个训练采样点，图像采集设备是针对三维空间中的建模对象进行采集的；针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表征训练采样点到建模对象的表面的最小距离增量；根据表面增量参数，确定训练采样点的不透明度；基于各训练采样点的颜色和不透明度经渲染得到预测图像；根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
[0006]第二方面，本申请还提供了另一种三维重建方法，包括：获取针对三维空间中的建模对象采样得到的多个采样点；根据各采样点的采样位置信息，确定采样点的颜色和表面增量参数；表面增量参数用于表征采样点到建模对象的表面的最小距离增量；将各采样点的表面增量参数转换成不透明度；根据各采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
[0007]第三方面，本申请提供了一种三维重建装置，包括：获取模块，用于获取图像采集设备采集到的样本图像和多个训练采样点，图像采集设备是针对三维空间中的建模对象进行采集的；处理模块，用于针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表
征训练采样点到建模对象的表面的最小距离增量；计算模块，用于根据表面增量参数，确定训练采样点的不透明度；渲染模块，用于基于各训练采样点的颜色和不透明度经渲染得到预测图像；训练模块，用于根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
[0008]第四方面，本申请还提供了一种三维重建装置，包括：采样模块，用于获取针对三维空间中的建模对象采样得到的多个采样点；确定模块，用于根据各采样点的采样位置信息，确定采样点的颜色和表面增量参数；表面增量参数用于表征采样点到建模对象的表面的最小距离增量；转换模块，用于将各采样点的表面增量参数转换成不透明度；重建模块，用于根据各采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
[0009]第五方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述三维重建方法中的步骤。
[0010]第六方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述三维重建方法中的步骤。
[0011]第七方面，本申请还提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述三维重建方法中的步骤。
[0012]上述三维重建方法、装置、计算机设备及计算机可读存储介质，获取图像采集设备针对三维空间中的建模对象采集得到的样本图像和多个训练采样点；针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型中，并将待训练的三维重建模型默认输出的采样点的密度修改成采样点的表面增量参数，由于表面增量参数与密度相比，能够更准确地体现出每个采样点到建模对象表面之间的位置关系和方向关系，所以更加适用于三维重建任务，将目标采样点的表面增量参数转换成不透明度，并基于各训练采样点的颜色和不透明度渲染得到预测图像，根据样本图像和预测图像之间的差异进一步监督三维重建模型的学习过程，以保证训练得到的三维重建模型对采样点的颜色和表面增量参数的预测更为准确，从而有效提高基于采样点的颜色和表面增量参数所构建的三维模型的准确性。
附图说明
[0013]图1为本申请实施例提供的第一种三维重建方法的流程示意图；图2为本申请实施例提供的第一种采样点和建模对象之间的位置示意图；图3为本申请实施例提供的第二种采样点和建模对象之间的位置示意图；图4为本申请实施例提供的第二种三维重建方法的流程示意图；图5为本申请实施例提供的第一种三维重建装置的结构框图；图6为本申请实施例提供的第二种三维重建装置的结构框图；图7为本申请实施例提供的一种计算机设备的内部结构图；图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
[0014]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0015]在一些实施例中，如图1所示，提供了一种三维重建方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该计算机设备可以是服务器或终端，该方法可以由服务器或终端单独实现，也可以通过服务器和终端之间的交互来实现。本实施例中，该方法包括以下步骤：步骤102，获取图像采集设备采集到的样本图像和多个训练采样点。
[0016]其中，图像采集设备指的是具备拍照功能的设备，可以但不限于是各种相机和移动设备，通过图像采集设备针对三维空间中的建模对象进行采集得到样本图像。
[0017]三维空间，指的是由长、宽、高三个维度所构成的空间，三维空间中任意点的位置由三个坐标决定，具有长度、宽度和高度。
[0018]可以理解，本申请通过图像采集设备针对三维空间中的建模对象进行图像采集得到的样本图像为二维图像，用于进行后续的模型训练。其中，建模对象指的是在三维空间中真实存在的待建模物体，二维图像指的是不包含深度信息的平面图像。
[0019]训练采样点，指的是在三维空间中，通过图像采集设备的光线穿过建模对象路径上的空间点。
[0020]具体地，图像采集设备针对三维空间中的建模对象进行图像采集，得到样本图像和多个训练采样点。计算机设备获取图像采集设备对建模对象进行图像采集得到的样本图像和多个训练采样点。
[0021]步骤104，针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数。
[0022]其中，训练采样点的采样位置信息包括训练采样点的三维坐标和二维视角方向。
[0023]待训练的三维重建模型，指的是用于进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取图像采集设备采集到的样本图像和多个训练采样点，所述图像采集设备是针对三维空间中的建模对象进行采集的；针对每个训练采样点，将所述训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出所述训练采样点的颜色和表面增量参数；所述表面增量参数用于表征所述训练采样点到所述建模对象的表面的最小距离增量；根据所述表面增量参数，确定所述训练采样点的不透明度；基于各所述训练采样点的颜色和不透明度经渲染得到预测图像；根据所述样本图像和所述预测图像之间的差异，对所述待训练的三维重建模型进行训练，得到已训练的三维重建模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述表面增量参数，确定所述训练采样点的不透明度，包括：确定用于控制表面敏感度的全局变量；根据所述全局变量和所述表面增量参数，确定所述训练采样点的不透明度；其中，所述不透明度和所述表面增量参数呈负相关。3.根据权利要求1所述的方法，其特征在于，所述多个训练采样点是对多条采样射线进行采样得到的；所述采样射线是由所述图像采集设备发射的、且在三维空间中的射线路径穿过所述建模对象的表面；所述基于各所述训练采样点的颜色和不透明度经渲染得到预测图像，包括：针对每个所述采样射线，根据所述采样射线上的各所述训练采样点的颜色和所述不透明度进行体素渲染，得到所述采样射线的预测像素颜色；将所述多条采样射线各自对应的所述预测像素颜色进行组合处理，得到预测图像。4.根据权利要求3所述的方法，其特征在于，所述根据所述样本图像和所述预测图像之间的差异，对所述待训练的三维重建模型进行训练，得到已训练的三维重建模型，包括：通过所述样本图像中的真实像素颜色与所述预测图像中相应的所述预测像素颜色之间的差异，得到颜色损失值；基于所述颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型之前，所述方法还包括：针对每个所述训练采样点，根据所述训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值；所述相邻训练采样点与所述训练采样点位于同一采样射线且相邻；所述基于所述颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型，包括：基于所述颜色损失值和所述第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。6.根据权利要求5所述的方法，其特征在于，所述针对每个所述训练采样点，根据所述训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值，包括：针对每个所述训练采样点，确定所述训练采样点和相邻训练采样点在所述建模对象的
表面上的同一目标点之间的距离之差，以得到第一平滑损失值。7.根据权利要求6所述的方法，其特征在于，所述针对每个所述训练采样点，确定所述训练采样点和相邻训练采样点在所述建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值，包括：针对每个所述训练采样点，根据所述训练采样点的三维坐标和所述表面增量参数确定所述...

【专利技术属性】
技术研发人员：胡涛，刘枢，吕江波，沈小勇，
申请(专利权)人：深圳思谋信息科技有限公司，
类型：发明
国别省市：