一种规避遮挡的三维模型自动纹理映射方法、系统及终端技术方案

本发明专利技术公开了一种规避遮挡的三维模型自动纹理映射方法、系统及终端，所述方法包括：输入原始点云数据，对所述原始点云数据进行处理后得到体素分辨率，提取包含点云数据的体素，并生成体素的集合；基于物体实际影像、空三文件、三维模型和生成体素的集合判断遮挡和影响筛选，并建立影像和面片的对应关系；选取相同影像的面片合并成纹理面片，基于无遮挡的纹理图像进行纹理映射，并输出纹理映射过后的模型及纹理图。本发明专利技术通过筛选出质量好无遮挡的纹理图像进行纹理映射，对面片边缘交界部分进行纹理匀色，最后生成纹理图以及纹理映射过后的模型，能够高效的完成无遮挡的纹理映射。能够高效的完成无遮挡的纹理映射。能够高效的完成无遮挡的纹理映射。

【技术实现步骤摘要】
一种规避遮挡的三维模型自动纹理映射方法、系统及终端


[0001]本专利技术涉及图像处理
，尤其涉及一种规避遮挡的三维模型自动纹理映射方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]目前基于图像的三维重建主要是通过获取图像进行特征匹配和深度估计，在多视角的图像中，根据纹理特征提取出稀疏特征点，通过这些特征点估计相机位置和参数，从而获得稠密点云，之后基于点云构网进行表面重建，最后通过纹理映射完成整体的三维重建。图像三维重建中纹理映射作为其中一部分同时也是最后一部分，显得尤为重要，其直接关系着模型的可视化效果及逼真程度。
[0003]但是在实际应用过程中，由于城市三维模型在空间位置上相近，前后模型间由于位置相近相互之间存在遮挡，纹理映射时会将前面模型的纹理错误的映射到后面的模型上，使得模型可视化效果差，这也使得怎样在影像中筛选没有遮挡物的影像进行纹理映射成为急待解决的问题。
[0004]目前对于自动化规避遮挡的方法主要有三类，一是基于使用原始影像颜色信息进行筛选，在该类方法基于影像本身的颜色信息做处理，其通过设置阈值不断迭代直至视图数量和质量满足需求，但在数据量较小的数据集不能达到很好的效果；二是对遮挡部分切割之后使用重复部分补充，该类方法通过设定阈值检测遮挡具体区域，水平扫描新BFTI的所有像素对遮挡区域重新填充，比较适用于城市建筑物场景，但是对于复杂城市场景包含很多复杂结构模型无法得到有效利用；三是考虑到面片法线和视线方向夹角判断遮挡，该类方法充分考虑到了影像与模型面片间的三维关系，但是在实际的应用过程中仍有不足之处，基于图像的三维重建并不能准确的构建树木树枝等本身内部存在多重遮挡的物体，从而产生映射错误。因此，目前现有技术无法有效规避遮挡。
[0005]因此，现有技术还有待于改进和发展。

技术实现思路

[0006]本专利技术的主要目的在于提供一种规避遮挡的三维模型自动纹理映射方法、系统、终端及计算机可读存储介质，旨在解决现有技术无法有效规避遮挡的问题。
[0007]为实现上述目的，本专利技术提供一种规避遮挡的三维模型自动纹理映射方法，所述规避遮挡的三维模型自动纹理映射方法包括如下步骤：输入原始点云数据，对所述原始点云数据进行处理后得到体素分辨率，提取包含点云数据的体素，并生成体素的集合；基于物体实际影像、空三文件、三维模型和生成体素的集合判断遮挡和影响筛选，并建立影像和面片的对应关系；选取相同影像的面片合并成纹理面片，基于无遮挡的纹理图像进行纹理映射，并输出纹理映射过后的模型及纹理图。
[0008]可选地，所述的规避遮挡的三维模型自动纹理映射方法，其中，所述输入原始点云数据，对所述原始点云数据进行处理后得到体素分辨率，提取包含点云数据的体素，并生成体素的集合，具体包括：获取已输入的原始点云数据，对所述原始点云数据进行预处理；将经过预处理后的点云数据与待映射的三维模型进行ICP配准；计算点云数据所对应的包围盒；基于点云数量和包围盒的体积计算得到点云数据的最大点MAX（X
max
，Y
max
，Z
max
）和最小点MIN（X
min
，Y
min
，Z
min
），计算最大点和最小点之间的平均欧氏距离分别为
△
x=X
max
‑
X
min
、
△
y=Y
max
‑
Y
min
和
△
z=Z
max
‑
Z
min
，并根据平均欧式距离计算得到体素分辨率resolution=（
△
x*
△
y*
△
z）/N，（N=0，1，2，3
……
n），其中N表示点云数量；基于平均欧式距离和体素分辨率计算包围盒中体素在XYZ轴方向上的数量分别为X
size
=[
△
x/resolution]、Y
size
=[
△
y/resolution]、Z
size
=[
△
z/resolution]和体素的总数量BBX
size
=X
size
*Y
size
*Z
size
；计算单个体素尺寸，记录在XYZ轴方向上的体素大小为（X，Y，Z）；遍历点云数据，提取包含点云数据的体素，生成体素的集合。
[0009]可选地，所述的规避遮挡的三维模型自动纹理映射方法，其中，所述预处理包括降噪和降采样处理。
[0010]可选地，所述的规避遮挡的三维模型自动纹理映射方法，其中，所述ICP配准用于控制点云数据与三维模型处于同一个坐标系下。
[0011]可选地，所述的规避遮挡的三维模型自动纹理映射方法，其中，所述基于物体实际影像、空三文件、三维模型和生成体素的集合判断遮挡和影响筛选，并建立影像和面片的对应关系，具体包括：获取物体实际影像、空三文件和三维模型，对物体实际影像对应的空三文件进行解析，得到每张影像I对应的投影中心I0；将每张影像I的投影中心I0与待映射的三维模型中三角面片F的顶点F1（X
F1
，Y
F1
，Z
F1
）、F2（X
F2
，Y
F2
，Z
F2
）、F3（X
F3
，Y
F3
，Z
F3
）分别进行连接，得到两点间反映相对空间位置关系的三条线段L
OF1
、L
OF2
和L
OF3
；基于生成体素的集合对三条线段的位置关系进行深度冲突检查，依次计算三条线段与每一个体素是否相交，并记录下单条线段L
OF1
与所有体素的交点个数M，以及交点的坐标位置S（X
s
，Y
s
，Z
s
）；计算交点S（X
s
，Y
s
，Z
s
）与面片顶点F1（X
F1
，Y
F1
，Z
F1
）在XYZ三个方向上的距离，分别为
△
x1=X
F1
‑
X
s 、
△
y1=Y
F1
‑
Y
s
、
△
z1=Z
F1
‑
Z
s
；将三个方向的距离差与体素大小进行比较，若
△
x1＜X、
△
y1＜Y且
△
z1＜Z，则交点S与面片顶点F1在同一体素中，不存在遮挡，否则交点S与面片顶点F1不在同一体素中，存在遮挡；当M个交点均计算完成后，只要存在一个交本文档来自技高网...

【技术保护点】

【技术特征摘要】
X
F1
‑ꢀ
X
s 、
△
y1= Y
F1
‑
Y
s
、
△
z1= Z
F1
‑
Z
s
；将三个方向的距离差与体素大小进行比较，若
△
x1＜X、
△
y1＜Y且
△
z1＜Z，则交点S与面片顶点F1在同一体素中，不存在遮挡，否则交点S与面片顶点F1不在同一体素中，存在遮挡；当M个交点均计算完成后，只要存在一个交点超出范围，则存在遮挡，否则不存在遮挡；依次计算三条线段L
OF1
、L
OF2
、L
OF3
与每一个体素是否存在遮挡，当都不再存在遮挡时，则代表影像I与面片的三个顶点F1、F2、F3都不存在遮挡，记录下当前影像与当前面片，建立对应关系。6.根据权利要求5所述的规避遮挡的三维模型自动纹理映射方法，其特征在于，所述物体实际影像用于映射到三维模型上进行贴图；所述空三文件包括影像信息和特征点信息；所述三维模型由多个三角面片网格拼接而成的密闭模型。7.根据权利要求5所述的规避遮挡的三维模型自动纹理映射方法，其特征在于，所述选取相同影像的面片合并成纹理面片，基于无遮挡的纹理图像进行纹理映射，并输出纹理映射过后的模型及纹理图，具体包括：基于马尔科夫随机场对能量函数E（M）= E
Q
（M）+ E
S
（M）进行优化，其中，数据项E
Q
（M）用于判断纹理视图的质量，平滑项E
S
（M）用于平滑纹理块之间的接缝；对判断纹理视图的质量的数据项E
Q
（M）进行优化，优化后的数据项表达式为E
Q
（M）=E
Data
...

【专利技术属性】
技术研发人员：李晓明，刘浩，王伟玺，谢林甫，汤圣君，李游，郭仁忠，
申请(专利权)人：深圳大学，
类型：发明
国别省市：