【技术实现步骤摘要】
本专利技术涉及三维重建，具体涉及一种基于材质和阴影建模的未标定光度立体表面重建方法。
技术介绍
1、未标定光度立体是三维视觉领域中非常具有挑战性的任务，其目的是利用多张图像且在物体形状、材料反射和光照均未知的情况下重建表面法向量进而恢复物体的三维形状。因其具备能够恢复精细的物体表面的能力，目前已广泛应用于各个领域，包括工业缺陷检测、医学诊断和文物保护。
2、然而现有一些基于深度学习的未标定光度立体方法缺失对任意材质反射(包括各向异性和各向同性材质)的重建能力。除此之外，还缺乏对阴影区域的显式处理，因此在阴影区域产生了不准确的法线估计结果。
技术实现思路
1、本专利技术的目的在于提供一种基于材质和阴影建模的未标定光度立体表面重建方法，旨在利用可学习的通用材质反射模型来表示各向异性和各向同性材质的镜面反射，并通过阴影渲染模型显式处理阴影区域，克服现有的基于深度学习的未标定光度立体方法在三维重建中准确性不高的技术问题。
2、为实现上述目的，本专利技术提供了一种基于材质和阴影建模的未标定光度立体表面重建方法，包括下列步骤：
3、步骤1：从不同的光源位置照射待重建物体并拍摄图像，获得图像集；
4、步骤2：将所述图像集输入光照网络模型中预测每张图像的光照方向和光照强度；
5、步骤3：对图像中的有效像素点进行位置编码；
6、步骤4：将位置编码输入表面mlp网络估计深度、空间变化权重和漫反射率；
7、步骤5：利用深
8、步骤6：计算法向量，并基于各向异性高斯函数计算模拟镜面反射率；
9、步骤7：利用法向量、光照方向、光照强度、漫反射率、镜面反射率以及阴影渲染重建图像；
10、步骤8：对光照网络模型和表面mlp网络模型无监督训练并优化，收敛得到准确的表面法向量；
11、步骤9：使用所述表面法向量进行物体表面的三维形状重建。
12、可选的，在步骤1中，使用单个远点光源从不同的光源位置照射待重建物体，获得图像集m＝{m1,m2,…,mn}，其中n表示拍摄图像的数量。
13、可选的，所述光照网络模型为具有局部特征和全局特征融合的全卷积网络模型，包括共享局部特征提取模块、全局-局部特征融合模块和光照回归模块，步骤2的执行过程，包括下列步骤：
14、步骤2.1：首先将图像集m中每张图像mi分别输入到具有共享局部特征提取模块得到对应的特征φi，其中1≤i≤n；
15、步骤2.2：其次将所有提取的局部特征集合φl＝{φ1,φ2,…,φn}进行最大池化操作得到一个与局部特征维度一致的全局特征φg；
16、步骤2.3：最后，将每张图像对应的局部特征φi和全局特征φg在特征通道上进行联合并依次输入到光照回归模块中预测得到对应的光照方向lk和强度ek，其中1≤k≤n。
17、可选的，步骤3进行位置编码的过程，包括下列步骤：
18、步骤3.1：根据物体掩模获取有效像素点并计算有效像素点的位置坐标，获得坐标集其中h,w分别表示图像的高度和宽度，(u,v)表示像素坐标；
19、步骤3.2：将坐标集x进行位置编码，得到编码集其中q为有效像素点的个数。
20、可选的，位置编码的公式具体为
21、γ(p)＝(sin(20πp),cos(20πp),…,sin(219πp),cos(219πp))
22、其中p表示坐标集x中的横坐标和纵坐标。
23、可选的，所述表面mlp网络为12层全连接层结构，其中第1～8层全连接层每层包含128个神经元，第9～12层均有64个神经元，且每层均使用“relu”激活函数。
24、可选的，步骤5中的阴影渲染公式为：其中h(·)为二值函数，当输入为正数时，s＝1，否则s＝0；是从待计算的表面点x出发，沿着光源方向的一条直线上均匀采样点到相机的距离，z(xi)是采样点投影到表面上的点xi到相机的距离。
25、可选的，步骤6的执行过程，包括下列步骤：
26、步骤6.1：依据深度信息和坐标集x逐像素计算对应的法向量n；
27、步骤6.2：利用各向异性高斯基计算镜面反射率ρs，公式为其中nk表示各向异性高斯基的数量，ωk为空间权重，分别表示x方向和y方向的波瓣宽度，h为视角方向和光照方向之间的半单位向量，x,y分别表示切向量和副法线向量。
28、可选的，步骤6的波瓣宽度设置为可学习参数，当表示为各向同性材质，时，表示为各向异性材质；半单位向量其中v,l分别表示视角方向和光照方向。
29、可选的，步骤6的法向量计算公式具体为：其中分别表示待计算像素点周围上下和左右的四个像素点的空间坐标。
30、本专利技术提供了一种基于材质和阴影建模的未标定光度立体表面重建方法，首先将rgb图像输入到具有局部与全局特征融合的光照估计模型中预测每张图像的光照方向和强度，同时将像素位置编码后输入到表面mlp网络获取深度、空间变化权重和漫反射率，然后基于各向异性高斯函数计算不同材质的镜面反射率，接着使用阴影模型来处理阴影区域，之后基于渲染公式得到重建图像，最后构建重建图像与原始图像的损失函数以无监督方式训练优化得到准确的表面法向量、光照方向和强度。与现有技术相比，本专利技术能表示任意材质的镜面反射和有效降低阴影区域的法线估计误差，因此能够更准确地估计表面法线。
本文档来自技高网...【技术保护点】
1.一种基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，包括下列步骤：
2.如权利要求1所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
3.如权利要求2所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
4.如权利要求3所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
5.如权利要求4所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
6.如权利要求5所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
7.如权利要求6所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
8.如权利要求7所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
9.如权利要求8所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
10.如权利要求9所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
【技术特征摘要】
1.一种基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，包括下列步骤：
2.如权利要求1所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
3.如权利要求2所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
4.如权利要求3所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
5.如权利要求4所述的基于材质和阴影建模的未标定光度立体表面重建方法，其特征在于，
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。