一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法技术

本发明专利技术公开一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法，包括预处理阶段、映射处理阶段、渐进处理阶段和输出信息融合阶段，预处理阶段由边缘信息处理模块和骨架信息处理模块两部分组成，对单张输入图片进行处理，得到携带边缘信息的边缘图片和携带骨架信息的骨架图片；映射处理阶段为采样点设置一个采样的终止条件，对于不同的输入图片类型，经过骨架信息处理模块所得到的骨架图片也并不相同，将骨架图片中的包含的骨架信息即中轴信息作为采样的终点，能够提高针对不同形状物体重建的准确度；渐进式计算阶段得到所有采样点深度信息；输出信息融合阶段将所有层的每个采样点信息融合为网格信息。采样点信息融合为网格信息。采样点信息融合为网格信息。

【技术实现步骤摘要】
一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法


[0001]本专利技术主要涉及计算机图形学领域，尤其涉及一种Lambert光照模型下单目RGB图片的渐进式的三维重建方法。

技术介绍

[0002]广义上的三维重建技术，被定义为对客观世界中的三维物体建立可以由计算机处理的数学模型。根据定义，三维重建技术可以理解为计算机对客观世界进行分析和处理的基础，也是在计算机中建立客观世界映射的核心技术。而在计算机图形学和计算机视觉领域，狭义上的三维重建技术是其中的重要研究内容之一。它被定义为使用相关仪器来获取物体的二维图片数据信息作为输入，利用三维重建的相关理论重建出物体表面的轮廓信息的技术。本方法涉及到的三维重建技术指的是狭义上的三维重建技术。
[0003]就三维重建技术在计算机视觉方面的意义和价值而言，该技术在自动驾驶技术、人机交互技术、虚拟现实技术和增强现实技术等当前计算机热点领域都有着广泛的应用价值和理论研究价值。例如在计算机游戏领域，利用三维重建技术对真实物体进行快速建模；在自动驾驶领域，利用雷达等辅助设备获取环境信息并重建虚拟环境。此外，在建筑、医疗等领域，三维重建也发挥了重要的应用价值。在理论研究上，随着重建对象的材质和结构越来越复杂、对重建效果的要求越来越高，三维重建技术也推动了可微渲染理论、图卷积神经网络等理论的研究，以实现更精确更鲁棒的重建能力。
[0004]目前的三维重建技术根据输入的数据类型不同，主要可以分为主动视觉法和被动视觉法两种类型。在被动视觉法的基础上，随着近年来深度学习技术的快速发展，以及生成式对抗网络(Generative Adversarial Networks，简称GAN)在其中的广泛应用，一些基于深度学习和GAN的三维重建方法取得了较为良好的重建效果。对于三维重建领域的深度学习技术而言，它通常由包含着大量参数的卷积神经网络、图卷积神经网络或多层感知机等模块组成。这些基于深度学习的方法大多数采用大规模的二维图片——三维模型数据集进行网络训练。这种方式的缺点是训练的时间较长，且依赖于GPU的性能。
[0005]和深度学习技术对三维重建研究的切入点不同，从计算机图形学的角度来看，从二维图片重建三维物体，相当于光照模型的逆向过程。光照模型指的是根据客观光学规律，在计算机中模拟真实世界光照效果的物理过程。光照模型根据模拟效果的真实度不同，有不同的分类，但其核心均包括物体的材质和光线的性质。因此，二维图片数据可以视作物体本身和光照作为输入经光照模型计算得到的结果。而根据二维图片数据对物体进行重建的过程需要排除光照效果的影响。目前的研究大多将输入的二维图片信息视作一个整体，未考虑到二维图片数据中隐含的光照信息对实际像素的影响。因此，亟需从光照模型的角度出发，对三维重建技术进行研究。

技术实现思路

[0006]本专利技术的目的在于解决从单目二维图片重建三维物体的问题。提供一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法，在Lambert光照模型下，本方法可以不依赖于任何数据集直接重建出较为准确的三维模型网格信息，并且能够自定义模型的顶点数和面片数。
[0007]本专利技术的目的是通过以下技术方案实现的：
[0008]一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法，包括预处理阶段、映射处理阶段、渐进处理阶段和输出信息融合阶段，具体步骤如下：
[0009](1)预处理阶段：由边缘信息处理模块和骨架信息处理模块两部分组成，对单张输入图片进行处理，得到携带边缘信息的边缘图片和携带骨架信息的骨架图片；
[0010](2)映射处理阶段；为采样点设置一个采样的终止条件，对于不同的输入图片类型，经过骨架信息处理模块所得到的骨架图片也并不相同，将骨架图片中的包含的骨架信息即中轴信息作为采样的终点，能够提高针对不同形状物体重建的准确度；具体的，对于采样区间的每一个采样点，将与某采样点最近的骨架点定义为该采样点的终点；
[0011](3)渐进式计算阶段；具体步骤如下：
[0012](301)根据已知的外层采样点的法线信息，求出外层采样点光照夹角；
[0013](302)根据图片像素信息，依照Lambert光照模型的计算方程，求出内层采样点光照夹角；
[0014](303)将外层采样点法线进行旋转得到内层采样点法线并存储到采样区间中；
[0015](304)将上述内层采样点光照夹角带入深度公式，更新内层采样点深度信息；
[0016](305)若未到达采样终止点，重复步骤(301)至步骤(303)；
[0017](4)输出信息融合阶段；将所有层的每个采样点信息融合为网格信息。这里是一个迭代的过程，即当前的内层在下一轮迭代的过程中就是外层，点信息指的是所有层的所有采样点。
[0018]进一步的，预处理阶段中首先使用圆形作为收缩的起始几何形状，对于同一个采样环上的点，称为一个采样区间；对于不同精度的输入图片，圆的半径R代表图片分辨率大小；然后，通过设置渐进步长和每一代的采样点个数自定义多边形网格三维模型的重建精度；通过设渐进步长为s，每一代采样点个数为n，对于最终的多边形网格三维模型输出结果，其顶点数V
n
可以表示为：
[0019][0020]多边形网格三维模型输出结果的面数F
n
表示为：
[0021][0022]对于输入的边缘图片所携带的边缘信息，在每个采样区间都会进行检测，只有同一个采样区间的所有采样点都获取到了边界信息，才会进入正式的渐进处理流程。
[0023]进一步的，渐进式计算阶段中，定义外层采样区间的一个采样点为A，与点A对应的内层采样区间的采样点为B，根据渐进步长s的定义，采样点A和采样点B在xOy平面上的距离为s；对于一个已知的给定光照方向l，它与采样点A的法线n
A
形成的光照夹角定义为θ
outer
，
与采样点A的法线n
B
形成的光照夹角定义为θ
inner
，则对于在局部切面拟合为圆弧的物体，计算采样点B与采样点A之间的深度差：
[0024][0025]特别的，当切面拟合为直线的物体，即θ
outer
和θ
inner
相等，上述公式退化为：
[0026][0027]根据上述公式，在最外层采样区间的深度信息已知的情况下，即能够根据自定义的步长和采样精度进行重建，得到精确的重建结果；
[0028]此外，在上述公式描述中，法线是计算过程中必不可少的变量之一，渐进公式需要通过已知的外层采样点对应法线向量来计算外层采样点的光照夹角θ
outer
，对于外层采样点法线的计算也采用渐进式的模式，首先在最外层的采样点中设置一个起始的法线向量，当渐进式计算阶段开始时，法线信息根据内层采样点的像素值进行计算，给出Lambert光照模型下光强的计算公式：
[0029][0030]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法，其特征在于，包括预处理阶段、映射处理阶段、渐进处理阶段和输出信息融合阶段，具体步骤如下：(1)预处理阶段：由边缘信息处理模块和骨架信息处理模块两部分组成，对单张输入图片进行处理，得到携带边缘信息的边缘图片和携带骨架信息的骨架图片；(2)映射处理阶段；为采样点设置一个采样的终止条件，对于不同的输入图片类型，经过骨架信息处理模块所得到的骨架图片也并不相同，将骨架图片中的包含的骨架信息即中轴信息作为采样的终点，能够提高针对不同形状物体重建的准确度；具体的，对于采样区间的每一个采样点，将与某采样点最近的骨架点定义为该采样点的终点。(3)渐进式计算阶段；具体步骤如下：(301)根据已知的外层采样点的法线信息，求出外层采样点光照夹角；(302)根据图片像素信息，依照Lambert光照模型的计算方程，求出内层采样点光照夹角；(303)将外层采样点法线进行旋转得到内层采样点法线并存储到采样区间中；(304)将上述内层采样点光照夹角带入深度公式，更新内层采样点深度信息；(305)若未到达采样终止点，重复步骤(301)至步骤(303)；(4)输出信息融合阶段；将所有层的每个采样点信息融合为网格信息。2.根据权利要求1所述一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法，其特征在于，预处理阶段中首先使用圆形作为收缩的起始几何形状，对于同一个采样环上的点，称为一个采样区间；对于不同精度的输入图片，圆的半径R代表图片分辨率大小；然后，通过设置渐进步长和每一代的采样点个数自定义多边形网格三维模型的重建精度；通过设渐进步长为s，每一代采样点个数为n，对于最终的多边形网格三维模型输出结果，其顶点数V
n
表示为：多边形网格三维模型输出结果的面数F
n
表示为：对于输入的边缘图片所携带的边缘信息，在每个采样区间都会进行检测，只有同一个采样区间的所有采样点都获取到了边界信息，才会进入正式的渐进处理流程。3.根据权利要求1所述一种在Lambert光照模型下单目RGB图片的渐进式三维重建方法，其特征在于，渐进式计算阶段中，定义外层采样区间的一个采样点为A，与点A对应的内层采样区间的采样点为B，根据渐进步长s的定义，采样点A和采样点B在xOy平面上的距离为s；对于一个已知的给定...

【专利技术属性】
技术研发人员：孙倩，马毓航，
申请(专利权)人：天津大学，
类型：发明
国别省市：