基于自适应网格细分的重建模型几何与纹理优化方法技术

本发明专利技术公开提供一种基于自适应网格细分的重建模型几何与纹理优化方法，对于同一场景的彩色图像、深度图像和掩码图像，通过三维重建产生初始的三维模型以及每个图像对应的相机位姿，利用三维模型顶点投影至图像，经过纹理重建的加权融合生成初始纹理图像、几何模型以及纹理模型，使用可微分渲染模块来渲染三维模型至图像，实现相机位姿矫正、几何形状矫正、纹理优化、几何细化额外采用自适应性细分策略对重建模型进行细分，更易恢复出模型高频几何细节，提升模型在重建误差较大场景下的鲁棒性和健壮性。和健壮性。和健壮性。

【技术实现步骤摘要】
基于自适应网格细分的重建模型几何与纹理优化方法


[0001]本专利技术涉及计算机视觉、纹理优化技术，具体涉及一种基于自适应网格细分的重建模型几何与纹理优化方法。

技术介绍

[0002]虽然利用三维重建技术可以准确恢复出场景的形状和外观。然而，现有的三维重建技术在重建过程中会遭受各种噪声的影响，导致重建模型几何细节缺失以及表面纹理存在伪影、模糊和裂缝等问题，无法直接应用到真实场景中。为了提高三维重建模型的纹理质量，近年来，专家和学者在实现三维重建与纹理映射方面取得了显著进展。从影响纹理优化结果的因素出发，现有三维重建与纹理映射相关算法分为以下几类。
[0003]一、基于面投影的方法。此类方法首先为每个三角形面片选择一张最合适的彩色图像，然后将三角形面片投影到图片上生成面纹理，并存储在二维图像上；同时，计算每个顶点的UV坐标，建立模型顶点和纹理图像像素的映射关系；采用面投影方法生成纹理图像面临一个挑战，即如何降低相邻纹理块之间的视觉不连续性，这类方法根源在于相机位姿估计不准或重建的几何形状存在缺陷，导致纹理图像和模型发生错位。例如，Lempitsky等人提出全局颜色校正方案，调整不同块边界顶点的颜色，以使相邻块之间的颜色趋近一致。
[0004]Waechter等人对此进行了改进并提出了一种新的全局色彩调整算法，不仅考虑相邻顶点之间的颜色差异，还额外考虑了相邻边的颜色，得到更为鲁棒的结果。在全局颜色调整之后，接着使用泊松编辑调整目标图像区域的边界像素颜色，进一步减少细缝。Fu等人提出了一种全局到局部的非刚性优化方法来校正相机的位姿漂移。利用重投影误差优化相机外参，并提出局部扭曲纹理坐标方法，以纠正几何误差引起的纹理坐标漂移。由于相机曝光、位姿和几何误差等因素无法完全消除，以上基于面投影的方法，在局部区域都会产生未完全对齐的纹理块。
[0005]二、基于顶点加权融合的方法。此类方法为三维模型的顶点赋予颜色，直接作为物体表面纹理，具体地，首先将三维模型中每个顶点投影到可见的彩色图像上，得到初始颜色，然后利用加权平均算法计算出该顶点的最终颜色，重复此步骤直到生成所有模型顶点的颜色纹理。这类方法对相机位姿误差十分敏感，由于基于光度一致性假设，顶点投影到不同视角时应该得到相同颜色，但由于重建模型中存在各种误差，顶点可能会投影到错误的位置，导致得到的颜色不一致，加权平均后会出现模糊的颜色。为了弥补相机估计误差，Zhou等人采用了模型顶点的重投影误差优化相机位姿，并对图像施加变形场的方法，然而由于是以顶点颜色表示整个场景的纹理，为得到更清晰的外观颜色，需要在优化之前细分网格模型，增加顶点数，这会显著增加计算代价和内存代价，限制算法的适用范围。
[0006]三、基于块合成的方法。此类方法源于图像编辑与以往的纹理优化方案不同，基于块合成方案为每个图像合成一个与三维模型对齐的纹理图像，纠正由几何、相机姿势和光学畸变引起的图像失真。例如，Bi等人借助图像和视频编辑任务领域的块合成技术，首次提出纹理图像合成算法，保留原始图像内容的同时，为几何模型生成一张完全对齐的纹理图
像，避免纹理映射结果中的模糊伪影以及裂缝现象。最近Fu等人提出了一种新的纹理映射方法，该方法使用一个三向相似度函数来重新合成纹理图边界内条纹的图像上下文，减少纹理接缝的出现；此外，引入全局颜色协同方法解决从不同视点捕获的纹理图像之间的颜色不一致问题，最终生成视觉逼真的纹理映射结果。基于块的合成方案虽然简单灵活，但是合成每一个视角的纹理图像时需要参考其他视角以保证纹理图像的多视角一致性，这显然增加了计算代价。
[0007]四、基于联合优化的方法：联合优化方案对重建过程中各种误差进行优化纠正，并使用交替循环策略进行联合优化。例如，Robert Maier等人提出了一种基于阴影恢复形状(shape
‑
from
‑
shading，SFS)和空间变化的球谐光照函数的子体优化方法，该方法同时优化几何、纹理、相机姿态和场景照明，获得全局一致的高质量三维重建模型与纹理，然而，该方法依赖于SFS，需要分解场景的光照，容易导致纹理拷贝问题。最近Fu等人提出一种基于颜色和几何一致性以及高频法线线索对重建网格进行优化的方法，这种方法虽然能够克服SFS产生的纹理拷贝问题，然而仍然需要为每个目标设计不同的损失函数，在优化时要么需要高昂的计算时间，要么容易陷入局部最小值影响优化效果。
[0008]五、基于深度学习的方法。此类方法通过生成对抗网络来生成与真实世界充分接近的高质量彩色图片。受基于块合成纹理方法的启发，Huang等人使用从弱监督视图中获得的条件对抗损失，以近似表面生成逼真的纹理，使用基于学习的方法训练纹理目标函数，以保持对相机位姿和几何畸变的鲁棒性。Zhang等人同样借助于可微分渲染方法提出了一种联合优化方法，将几何、纹理和相机姿态共同纳入一个统一的优化框架中，并采用自适应交织策略，提高优化的稳定性和效率。

技术实现思路

[0009]专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于自适应网格细分的重建模型几何与纹理优化方法，额外采用自适应性细分策略对重建模型进行细分，更易恢复出模型高频几何细节，提升模型在重建误差较大场景下的鲁棒性和健壮性。
[0010]技术方案：本专利技术的一种基于自适应网格细分的重建模型几何与纹理优化方法，包括以下步骤：
[0011]步骤S1、对于同一场景的彩色图像、深度图像和掩码图像，通过三维重建产生初始的三维模型以及每个图像对应的相机位姿；
[0012]步骤S2、利用三维模型顶点投影至图像，经过纹理重建的加权融合生成初始纹理图像、几何模型以及纹理模型；
[0013]步骤S3、使用可微分渲染模块来渲染三维模型至图像(初始纹理图像、几何模型以及纹理模型)，并允许梯度在可微分渲染模块自由传播至三维场景，更新顶点位置和相机位姿参数，从而实现相机位姿矫正、几何形状矫正、纹理优化、几何细化，具体包括以下内容：
[0014](3.1)、基于可微分的光栅化和Blinn
‑
Phong着色模型实现相机位姿矫正；
[0015]对于相机参数T,令T＝(R,t)∈SE(3),R
i
∈SO(3),每次渲染时随机选择一个视角T
i
，并在这个视角下拍摄生成彩色图像深度图像和掩码图像定义Render(M0|T
i
)表示网格M0在视角T
i
下的渲染结果；然后使用光
度一致性损失来优化关键帧的相机姿势，优化目标如下：
[0016][0017]其中，I
c
、I
d
、I
s
分别表示彩色图真值、深度图真值和掩码图真值；λ
c
，λ
d
，λ
s
分别代表不同损失项的权重(0.1，1，1)；
[0018](3.2)、基于自适应细分法进行集合网格优化和网格顶点矫正；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应网格细分的重建模型几何与纹理优化方法，其特征在于，包括以下步骤：步骤S1、对于同一场景的彩色图像、深度图像和掩码图像，通过三维重建产生初始的三维模型以及每个图像对应的相机位姿；步骤S2、利用三维模型顶点投影至图像，经过纹理重建的加权融合生成初始纹理图像、几何模型以及纹理模型；步骤S3、使用可微分渲染模块来渲染三维模型至图像，并允许梯度在可微分渲染模块自由传播至三维场景，更新顶点位置和相机位姿参数，从而实现相机位姿矫正、几何形状矫正、纹理优化、几何细化，具体包括以下内容：(3.1)、基于可微分的光栅化和Blinn
‑
Phong着色模型实现相机位姿矫正；对于相机参数T,令每次渲染时随机选择一个视角T
i
，并在这个视角下拍摄生成彩色图像深度图像和掩码图像定义Render(M0|T
i
)表示网格M0在视角T
i
下的渲染结果；然后使用光度一致性损失来优化关键帧的相机姿势，优化目标如下：其中，I
c
、I
d
、I
s
分别表示彩色图真值、深度图真值和掩码图真值；λ
c
，λ
d
，λ
s
分别代表不同损失项的权重(0.1，1，1)；(3.2)、基于自适应细分法进行集合网格优化和网格顶点矫正；首先，为网格上每个顶点施加偏移量来矫正几何误差；然后，基于场景本身纹理丰富程度采用自适应质心细分网格方法增加三角形面片数目，接着，在图像损失基础上增加几何正则化项，即拉普拉斯项、法线一致性项和L2范数；其损失函数如下：其中，是网格模型的图拉普拉斯矩阵，v
k
是初始网格的顶点坐标，是优化后网格顶点的坐标，代表共享一条边的相邻三角形面的集合，n
k
,n
j
表示任意一对儿三角形面片的法线，k和j分别代表相邻三角形面片的索引；(3.3)、基于Pi
‑
GAN网络使用纹理重生模块进行纹理优化得到与三维模型完全对齐的新的纹理图像；定义辅助视角到源视角的重映射I
B
→
A
，作为监督可微分渲染生成彩色图像的真例；相应的对抗性损失函数定义如下：其中，表示源视角的渲染图像；经过若干次迭代交替训练判别器D和纹理生成器P后，判别器D识别渲染图像中的伪影
模糊或者裂缝，纹理生成器P重新生成像素；纹理图像生成过程中通过调整纹理像素的颜色，最大化生成损失，使得纹理图像在判别器视角下看起来更逼真；判别器优化过程中最小化对抗性损失，降低假样本与真样本之间的概率分布差异；最后，为使得对抗生成纹理的优化更加稳定，额外增加L1损失，避免优化过程陷入局部最小值，并提供初始的指导；(3.4)对相机位姿、几何模型和纹理优化按顺序交替迭代优化；步骤S4、输出最终所得的矫正后相机位姿、细化网格模型、优化后纹理和纹理模型。2.根据权利要求1所述的基于自适应网格细分的重建模型几何与纹理优化方法，其特征在于，基于自适应细分法进行集合网格细化和网格顶点矫正的具体方法为：(A)、使用Soble算子提取所有视图的梯度图作为细分面片的依据；(B)、计算几何模型上每个面片f
j...

【专利技术属性】
技术研发人员：付燕平，刘勇鑫，刘星，吴明泽，李佳泽，郭义宇，汪雯琦，
申请(专利权)人：安徽大学，
类型：发明
国别省市：