一种基于法线优化的文物三维重建方法技术

本发明专利技术一种基于法线优化的文物三维重建方法，本分割方法包括以下步骤：S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；S2、根据梯度照明图像计算文物表面法线；S3、使用文物多视角图像重建文物三维纹理模型；其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。本发明专利技术解决少量视角深度估计中存在孔洞和离群点导致网格重建表现能力不足的问题，提出先使用基于弱支持表面网格重建方法，获得初步的网格模型，该网格模型孔洞已经补全并且离群点的问题得到解决，然后使用泊松重建的方法获得平滑的网格模型。模型。模型。

【技术实现步骤摘要】
一种基于法线优化的文物三维重建方法


[0001]本专利技术涉及计算机图像处理
，具体为一种基于法线优化的文物三维重建方法。

技术介绍

[0002]多视图三维重建假设物体是产生均匀漫反射的朗伯体，表面点在多视角图像中呈现光度一致性。但可移动文物中有极大部分为非朗伯体，甚至部分文物表面呈现镜面反射特性；此外，由于外部环境干扰，很难做到完全均匀的光照环境。因此，在多视角立体重建中，深度图中存在错误的估计值和高频噪声。在没有其他信息辅助的情况下，算法难以识别和处理这些噪声，导致表面重建不够平滑，观感较差。

技术实现思路

[0003]本专利技术的目的在于提供一种基于法线优化的文物三维重建方法，以解决上述
技术介绍
中提出的问题。
[0004]一种基于法线优化的文物三维重建方法，本分割方法包括以下步骤：
[0005]S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；
[0006]S2、根据梯度照明图像计算文物表面法线；
[0007]S3、使用文物多视角图像重建文物三维纹理模型；
[0008]其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；
[0009]步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。
[0010]作为本专利技术的进一步改进，所述步骤S1具体为在球形照明框架中采集在三个方向上分别产生方向上的二元梯度照明，当产生X照明模式时，所有x坐标大于0的光源均被点亮，x坐标不大于0的光源处于关闭状态，Y和Z的照明模式与X照明模式相同，一共需要采集6幅图像，然后按照文物摄影测量采集方法对文物进行数字化图像采集，获得文物多视角图像。
[0011]作为本专利技术的进一步改进，所述步骤a1、反射分离具体为在表面存在光照的区域由于光源直射存在镜面反射，而暗部接收到的是漫反射光，呈现纯漫反射特性，物体表面的镜面反射部分由于混入了光源的颜色(白色)明度更高，将图像从RGB空间转化为HSV空间，则在梯度照明和其互补梯度照明图像中，饱和度更低的部分即可认为存在镜面反射：
[0012]ρ
s
＝V
g
‑
C
g
/S
C
[0013]其中，V
g
为HSV空间下梯度照明图像的明度，C
g
是色度，S
C
为互补梯度图像的饱和度，将梯度图像从sRGB颜色空间中转换为suv空间，使RGB空间下的白色分量和suv空间中的s分量对齐，色度保留在u,v分量中，进行漫反射的分离。
[0014]作为本专利技术的进一步改进，所述步骤a2、计算混合法线具体为在特定方向二元梯度照明下，法线分量和亮度成正比，通过获取到三个方向的梯度照明图像即可通过归一化
计算法线，在梯度照明下，只有一半的光源处于照明状态，为了弥补曝光不足，获取反方向的梯度照明，获取到更加稳定的法线估计结果：
[0015][0016]作为本专利技术的进一步改进，所述a3、计算镜面反射法线具体为镜面反射向量可以为：
[0017][0018]其中，α＝ρ
d
/(ρ
d
+ρ
s
)以相机光心为中心，在已知相机传感器尺寸大小和分辨率的情况下，可以获得每个像素的观察向量
[0019][0020]其中，x,y分别是像素坐标，cx,cy是相机中心，s
x
,s
y
是相机传感器尺寸，W,H,f分别是相机分辨率和焦距，最终镜面反射法线计算为：
[0021][0022]作为本专利技术的进一步改进，所述步骤b1、稀疏点云重建具体为完成此阶段计算任务的是运动结构恢复算法，输入是文物多视角图像数据集，输出是图像的内外参数和场景的三维点，采用COLMAP运动结构算法计算，经过特征提取和匹配生成场景图和匹配矩阵后，进行增量式重建。
[0023]作为本专利技术的进一步改进，所述步骤b2、密集点云重建具体为通过多视图立体(Multi View Stereo)的方式估计文物的密集点云，多视图立体以场景中多视角图像集和对应的相机参数作为输出，为场景估计稠密精细的三维点云，在视图选择策略上，仍然采用了全局式的视图选择策略，为了保证深度估计精度不受损失，采用了多尺度几何一致性引导的策略进行深度估计任务，先将图像降采样，对降采样之后的图像运用基于PatchMatch的MVS算法获取到原始深度估计值，然后将粗粒度的深度图上采样，将深度逐步传播，利用几何一致性确保深度传播准确，像素的深度描述为d
i
(p)，相机参数为P
i
＝[M
i
|p
i
]，将深度图重投影到三维空间中点X
i
(p)为：
[0024]X
i
(p)＝M
i
‑1·
(d
i
(p)
·
p
‑
p
i
)
[0025]在第i个假设参考图像I
ref
与源图像I
j
之间的重投影误差为：
[0026]△
e
i,j
＝min(||P
ref
X
j
(P
j
·
X
ref
(p))
‑
p||,δ)
[0027]其中δ是截断阈值，用于增强重投影误差对遮挡的影响，几何一致性代价为：
[0028][0029]作为本专利技术的进一步改进，所述步骤b3、法线深度优化具体为使用镜面反射下的法线图对相同视角下的深度图进行优化，降低深度图中的高频噪声，对于深度图D(x,
y)，相机焦距为f
x
,f
y
则其在三维空间的表面点为：
[0030][0031]现有梯度图像求解的法线N(x,y)，若该像素深度值正确，则该点的法线与切线应该垂直，在相机坐标系内，深度图D沿着x,y方向上的切线为：
[0032][0033][0034]对于整幅深度图而言，切线和法线垂直可以构建线性方程：
[0035][0036]上式中的线性方程组是一个稀疏矩阵，可使用线性优化求解，使用一个参数λ平衡深度和法线的约束，当λ较大的时候，深度将接近原始估计，当λ较小的时候，结果更接近于表面法线。
[0037]作为本专利技术的进一步改进，所述步骤b4、网格重建具体为使用的点云由深度图投影融合而得，且相机位姿已在稀疏点云重建阶段获得，利用图像和位姿信息获得点云中点的可见性，结合可见性，对点云中稀疏和孔洞的部分可以进行有效的估计，弱支持表面网格重建算法先采用Delaunay网格划分先对点云进行曲面重建，得到初始网格模型，其次，为了对点云稀少部分进行网格重建，通过每个点的可见性计算各单元的权重S
‑
T，使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于法线优化的文物三维重建方法，其特征在于：本分割方法包括以下步骤：S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；S2、根据梯度照明图像计算文物表面法线；S3、使用文物多视角图像重建文物三维纹理模型；其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。2.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤S1具体为在球形照明框架中采集在三个方向上分别产生方向上的二元梯度照明，当产生X照明模式时，所有x坐标大于0的光源均被点亮，x坐标不大于0的光源处于关闭状态，Y和Z的照明模式与X照明模式相同，一共需要采集6幅图像，然后按照文物摄影测量采集方法对文物进行数字化图像采集，获得文物多视角图像。3.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤a1、反射分离具体为在表面存在光照的区域由于光源直射存在镜面反射，而暗部接收到的是漫反射光，呈现纯漫反射特性，物体表面的镜面反射部分由于混入了光源的颜色(白色)明度更高，将图像从RGB空间转化为HSV空间，则在梯度照明和其互补梯度照明图像中，饱和度更低的部分即可认为存在镜面反射：ρ
s
＝V
g
‑
C
g
/S
C
其中，V
g
为HSV空间下梯度照明图像的明度，C
g
是色度，S
C
为互补梯度图像的饱和度，将梯度图像从sRGB颜色空间中转换为suv空间，使RGB空间下的白色分量和suv空间中的s分量对齐，色度保留在u,v分量中，进行漫反射的分离。4.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤a2、计算混合法线具体为在特定方向二元梯度照明下，法线分量和亮度成正比，通过获取到三个方向的梯度照明图像即可通过归一化计算法线，在梯度照明下，只有一半的光源处于照明状态，为了弥补曝光不足，获取反方向的梯度照明，获取到更加稳定的法线估计结果：5.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述a3、计算镜面反射法线具体为镜面反射向量可以为：其中，α＝ρ
d
/(ρ
d
+ρ
s
)以相机光心为中心，在已知相机传感器尺寸大小和分辨率的情况下，可以获得每个像素的观察向量下，可以获得每个像素的观察向量其中，x,y分别是像素坐标，cx,cy是相机中心，s
x
,s
y
是相机传感器尺寸，W,H,f分别是相
机分辨率和焦距，最终镜面反射法线计算为：6.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b1、稀疏点云重建具体为完成此阶段计算任务的是运动结构恢复算法，输入是文物多视角图像数据集，输出是图像的内外参数和场景的三维点，采用COLMAP运动结构算法计算，经过特征提取和匹配生成场景图和匹配矩阵后，进行增量式重建。7.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b2、密集点云重建具体为通过多视图立体(Multi View Stereo)的方式估计文物的密集点云，多视图立体以场景中多视角图像集和对应的相机参数作为输出，为场景估计稠密精细的三维点云，在视图选择策略上，仍然采用了全局式的视图选择策略，为了保证深度估计精...

【专利技术属性】
技术研发人员：赵海英，周月，于振明，侯小刚，钱德宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：