三维几何重建方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及三维计算机视觉技术领域，特别涉及一种三维几何重建方法、装置、电子设备及存储介质，其中，方法包括：采集目标在不同光照条件下的图像数据；识别图像数据中目标在不同光照条件下投射的阴影信息；基于阴影信息对目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何。由此，解决了相关技术中三维几何重建成本高、标定复杂且难以推广等问题。难以推广等问题。难以推广等问题。

【技术实现步骤摘要】
三维几何重建方法、装置、电子设备及存储介质


[0001]本申请涉及三维计算机视觉
，特别涉及一种三维几何重建方法、装置、设备及存储介质。

技术介绍

[0002]基于单张单视角图片进行三维重建是一个欠定问题。一些方法通过引入一些先验信息减少欠定性，实现三维重建，但它们需要额外构建先验信息且往往只适用于一类物体。另一些方法通过用多种光照照射场景来采集更多场景信息，比较典型的是光度立体法(Photometric Stereo)，但是它们往往只能重建出以二维法向图或者深度图表达的几何。
[0003]神经场是一种涉及神经网络的新兴三维几何表示方式，有着精度高、拓扑结构灵活等优势。这类方法通常用一个多层感知机网络表达三维场景，这个网络输入查询的三维位置信息，输出查询点的几何信息比如距离物体表面的有向距离。目前基于神经场的三维重建方法往往需要多视角拍摄的图片作为输入，导致重建成本高。

技术实现思路

[0004]本申请提供一种三维几何重建方法、装置、电子设备及存储介质，以解决相关技术中三维几何重建成本高、标定复杂且难以推广等问题。
[0005]本申请第一方面实施例提供一种三维几何重建方法，包括以下步骤：采集目标在不同光照条件下的图像数据；识别所述图像数据中所述目标在不同光照条件下投射的阴影信息；基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何。
[0006]可选地，所述基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何，包括：将所述目标的三维几何表示为全连接神经网络；基于可导渲染算法模拟不同光照条件下的光线传播方向，对所述全连接神经网络的参数进行优化迭代，直到满足迭代停止条件时，得到所述目标的神经距离场，完成对所述目标的可见区域与不可见区域的三维几何重建。
[0007]可选地，每个迭代步骤包括：将拟合目标设定为随机一张图像中的随机一部分像素，像素对应已知方向的光线，模拟已知方向的光线行进的过程，用光线行进算法找到第一条光线和有向距离场表示的表面的第一个交点，其中，如果光线不和有向距离场相交，则将表面点设为光线和已知地面的交点，并使用隐式微分法将交点位置变为对神经网络参数可导的形式；从表面位置出发，沿着已知的光源方向对第二条光线模拟，建模对光源的可见性，在第二条光线上均匀采样采样点，查询每个点的有向距离，并可导得到将有向距离转换成密度值，对密度值进行体积渲染得到光源发出的光线在到达表面交点时的入射光强度；查询所述全连接神经网络得到表面的材质信息和法向信息，结合入射光强度构建渲染方程，基于所述渲染方程计算表面点在采集视角下的出射光颜色，并利用损失约束所述出射光颜色与相机拍摄到的像素值，优化所述神经网络中表示有向距离和材质的参数，完成一
个迭代步骤。
[0008]可选地，所述采集目标在不同光照条件下的图像数据，包括：固定单视角相机的采集视角，使得所述目标位于采集视角的预设位置；在所述目标的不同方向放置光源，每次拍摄时的光源位置不同，以采集得到不同光照条件下的多张图像。
[0009]可选地，在采集目标在不同光照条件下的图像数据之后，还包括：拍摄完毕后保持所述单视角相机不动，对地面的位置和朝向进行标定。
[0010]可选地，所述识别所述图像数据中所述目标在不同光照条件下投射的阴影信息，包括：识别所述图像数据中每张图像的阴影区域；根据所述每张图像拍摄时对应的光源位置和所述阴影区域确定所述目标在不同光照条件下投射的阴影信息。
[0011]可选地，在基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何之后，还包括：从所述神经距离场中提取出三角网格，用于下游应用。
[0012]本申请第二方面实施例提供一种三维几何重建装置，包括：采集模块，用于采集目标在不同光照条件下的图像数据；识别模块，用于识别所述图像数据中所述目标在不同光照条件下投射的阴影信息；重建模块，用于基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何。
[0013]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的三维几何重建方法。
[0014]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的三维几何重建方法。
[0015]由此，本申请至少具有如下有益效果：
[0016]本申请可以基于单视角、多光照拍摄的输入照片进行三维神经场的重建；利用多种光照条件照射场景能够为单身视角相机提供丰富的阴影信息，实现三维几何重建；使用单个点光源从多个方向照射待测物体，用固定视角的相机拍摄待测物体，从而得到不同光照方向下物体的阴影信息，并利用这些阴影信息重建三维几何，将几何表示为神经有向距离场，重建成本低，标定简单，从而更容易推广。由此，解决了相关技术中三维几何重建成本高、标定复杂且难以推广等技术问题。
[0017]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0018]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0019]图1为根据本申请实施例提供的一种三维几何重建方法的流程图；
[0020]图2为根据本申请实施例提供的拍摄条件和样例拍摄图片示意图；
[0021]图3为根据本申请实施例提供的三维几何重建装置的示意图；
[0022]图4为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0023]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0024]下面参考附图描述本申请实施例的三维几何重建方法、装置、电子设备及存储介质。针对上述
技术介绍
中提到的目前利用多视角相机实现了高质量、完整的三维重建，但是基于多目相机阵列的三维重建涉及成本高，标定复杂且难以推广的问题，本申请提供了一种三维几何重建方法，在该方法中，采用固定视角的单个相机拍摄物体在不同方向的光源下投射的阴影，对物体可见和不直接可见的区域进行三维重建，并将重建几何表示为使用神经网络编码的有向距离场。由此，解决了相关技术中三维几何重建成本高、标定复杂且难以推广等问题。
[0025]具体而言，图1为本申请实施例所提供的一种三维几何重建方法的流程示意图。
[0026]如图1所示，该三维几何重建方法包括以下步骤：
[0027]在步骤S101中，采集目标在不同光照条件下的图像数据。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维几何重建方法，其特征在于，包括以下步骤：采集目标在不同光照条件下的图像数据；识别所述图像数据中所述目标在不同光照条件下投射的阴影信息；基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何。2.根据权利要求1所述的方法，其特征在于，所述基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建，得到以神经距离场表达的三维几何，包括：将所述目标的三维几何表示为全连接神经网络；基于可导渲染算法模拟不同光照条件下的光线传播方向，对所述全连接神经网络的参数进行优化迭代，直到满足迭代停止条件时，得到所述目标的神经距离场，完成对所述目标的可见区域与不可见区域的三维几何重建。3.根据权利要求2所述的方法，其特征在于，每个迭代步骤包括：将拟合目标设定为随机一张图像中的随机一部分像素，像素对应已知方向的光线，模拟已知方向的光线行进的过程，用光线行进算法找到第一条光线和有向距离场表示的表面的第一个交点，其中，如果光线不和有向距离场相交，则将表面点设为光线和已知地面的交点，并使用隐式微分法将交点位置变为对神经网络参数可导的形式；从表面位置出发，沿着已知的光源方向对第二条光线模拟，建模对光源的可见性，在第二条光线上均匀采样采样点，查询每个点的有向距离，并可导得到将有向距离转换成密度值，对密度值进行体积渲染得到光源发出的光线在到达表面交点时的入射光强度；查询所述全连接神经网络得到表面的材质信息和法向信息，结合入射光强度构建渲染方程，基于所述渲染方程计算表面点在采集视角下的出射光颜色，并利用损失约束所述出射光颜色与相机拍摄到的像素值，优化所述神经网络中表示有向距离和材质的参数，完成一个迭代步骤。4.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：徐枫，凌精望，
申请(专利权)人：清华大学，
类型：发明
国别省市：