一种基于图像的三维四边形网格模型重建方法技术

本发明专利技术公开了一种基于图像的三维四边形网格模型重建方法，包括：步骤(1)：获取表征图像物体或场景外形的点云数据，恢复图像的三维信息；步骤(2)：构建点云数据的四边网格，重建四边网格模型。其具有拟合出更好的图像物体或场景的效果的优点。

【技术实现步骤摘要】
一种基于图像的三维四边形网格模型重建方法
本专利技术涉及一种基于图像的三维四边形网格模型重建方法。
技术介绍
随着计算机软硬件技术的不断发展，大规模复杂场景的实时绘制已经成为可能，这对模型的复杂度和真实感提出了新的要求。传统的三维建模工具虽然日益改进，但构建复杂的三维模型依旧是一件非常耗时费力的工作。由于很多三维模型都能在现实世界中找到或加以塑造，因此基于图像的建模技术就成了人们心目中理想的建模方式。此外，传统的三维建模一般只能获取景物的几何信息，而基于图像的三维建模为生成具有照片级真实感的合成图像提供了一种自然的方式，成为目前计算机图形学领域中的热点，广泛应用于古文物数字化保存、影视制作、游戏娱乐、机器导航等领域，具有极其重要的意义与实用价值。基于图像的几何建模技术以其显著优势，得到了广泛地关注，国内外出现了大量的技术路线和方法，主要有明暗法、亮度法、纹理法、轮廓法、调焦法、运动法和交互法等。在众多的三维信息恢复方法中普遍存在两个难以逾越的鸿沟，一是鲁棒性问题，图像易受到光线、噪声、模糊等问题的影响，鲁棒性较差；一是精度问题，相机标定、图像分割、图像特征提取与匹配等问题，一直是计算机视觉领域中比较难以解决的问题，这些问题无法得到根本性的解决使得三维重建的效果难以得到提高。从图像中恢复出物体或场景的三维几何信息，构建其几何模型表示是基于图像的几何建模的核心问题，面向不同的应用领域，多种不同的几何模型应运而生，其中网格模型以其简单的表达方式、通用的表达能力、便于硬件绘制等特点得到了广泛应用。与三角网格相比，四边网格的存储量小，计算效率高，更能反映所表示几何形体的形状变化。四边网格重建方法主要有网格分裂或合并、铺设法、参数化方法和正交场方法等。提高四边网格的重建质量和效率是各种方法追求的终极目标，目前尚没有重建方法能同时满足四边网格中无三角网格残留、网格拓扑结构合理、适应任意拓扑结构和效率较高等条件。综上所述，现有技术存在的主要问题是图像物体或场景的三维信息恢复受图像质量、相机标定和匹配算法的影响较大，鲁棒性和精确度有待提高。此外，也存在对于大规模点云数据恢复的效率不高，重建几何模型较为单一，缺少完整的从图像采集到多种模型重建的流程等问题，因此需要新的建模方法更好的拟合图像物体或场景。
技术实现思路
为了解决现有技术的不足，本专利技术提供了一种基于图像的三维四边形网格模型重建方法，其具有拟合出更好的图像物体或场景的效果的优点。一种基于图像的三维四边形网格模型重建方法，包括：步骤(1)：获取表征图像物体或场景外形的点云数据，恢复图像的三维信息；步骤(2)：构建点云数据的四边网格，重建四边网格模型。所述步骤(1)的步骤为：步骤(11)：通过相机的自标定和图像的特征匹配得到匹配点的三维信息；步骤(12)：构造神经网络，以匹配点和匹配点的三维坐标为样本训练神经网络，获得图像物体或场景外形的点云数据。所述步骤(11)的步骤为：步骤(111)：对二维图像进行高斯卷积将其映射到高斯尺度空间，在图像的高斯尺度空间内构造差分函数尺度空间，在差分函数尺度空间内提取相邻层邻域内的极值点作为候选特征点；通过Hessian矩阵剔除不稳定的边缘特征点，利用高斯尺度空间函数对剩余特征点进行拟合，拟合曲面的极值为特征点；步骤(112)：建立特征点到三维空间的映射，根据映射关系计算特征点与对应的三维空间数据点之间的距离，若距离小于设定阈值，则匹配成功，得到匹配的特征点集合；步骤(113)：基于基础矩阵估计的聚类分析算法，对特征点进行精确匹配，根据基础矩阵、本质矩阵、相机内部参数和外部参数的关系，求解相机内部参数和外部参数，利用相机内部参数和外部参数实现相机的自标定，恢复匹配点的三维坐标。所述步骤(111)的步骤为：设原始图像为I(x,y)，高斯函数为G(x,y,σ)，经过卷积得到尺度空间L(x,y,σ)，在高斯尺度空间内构造差分函数DOG(x,y,σ)为：DOG(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)(1)在DOG尺度空间中图像点在相邻层邻域内的极值点作为候选特征点；通过Hessian矩阵剔除不稳定的边缘特征点；利用尺度空间函数L(x,y,σ)的二阶Taylor展开式进行最小二乘拟合，计算拟合曲面的极值为特征点；所述步骤(112)的步骤为：建立特征点p(x,y)到三维空间点p'(x,y,z)的映射，其中z为图像点p(x,y)的梯度。引入距离函数D(pl,pr)＝ω1cov(pl,pr)+ω2arccos(nl,nr)(2)其中，cov(pl,pr)表示待匹配图像点的灰度相似度，arccos(nl,nr)表示图像点对应的空间数据点的法向量夹角余弦；当待匹配特征点的距离小于设定阈值时认为匹配成功，建立模糊的匹配特征点集合。所述步骤(113)的步骤为：利用8点算法估计基础矩阵F的初始值，由初始基础矩阵F求解梯度加权误差来近似重投影误差：混合模型的密度函数为：其中，Θ(τ1，τ2，...，θ1，θ2，...)为各混合成分的参数矢量，τk是混合系数，pk(xi|θk)为各成分的类条件概率密度函数。利用最大期望算法对匹配点的估计余差进行聚类分析，根据分类结果及平均余差最小原则删除错误匹配点，通过M估计算法对筛选的匹配点迭代求精。简化内部参数矩阵K使之只与相机焦距f相关，列出Kruppa方程得到：UΛVTdiag(f2,f2,1)VΛUT～[u3]xdiag(f2,f2,1)[u3]x，(5)[u3]x表示向量u3的斜对称矩阵，求解相机的焦距f确定内部参数矩阵K；本质矩阵E包含旋转矩阵R和平移向量T，由基础矩阵F和内部参数矩阵K表示E＝KTFK，本质矩阵E的奇异值分解E＝UΛVT，则有其中，左右图像Il(x,y)和Ir(x,y)的投影矩阵分别为Pl＝(pl1,pl2,pl3)，Pr＝(pr1,pr2,pr3)，匹配点Pl(x,y)和Pr(x,y)对应的三维数据点P满足：对矩阵A进行归一化处理得到矩阵An，将P的求解问题转化为求解AnTAn最小特征值的特征向量。所述步骤(12)的步骤为：步骤(121)：构造动态耦合BP神经网络，引入基本权和联合权的概念，建立同层神经元之间的联系；步骤(122)：利用基本权和联合权的动态修正函数，给出输入样本的判断标准；步骤(123)：根据输入样本的判断标准建立匹配像素点及其三维信息的样本集，通过样本集对BP神经网络模型进行训练，建立像素坐标与三维坐标之间的对应关系。所述步骤(12)的步骤为：构造动态耦合BP神经网络，激活函数为非线性Sigmoid型函数，隐含层的层数为1，隐含节点的数目取设定值，输入层为图像的像素点坐标，输出层为其三维数据点坐标。引入基本权和联合权的概念建立同层神经元之间的联系，基本权通过网络的学习实现自身的调整，其学习表达式为：Wij(t+1)＝Wij(t)+η(t+1)Opj+α(t+1)[Wij(t)-Wij(t-1)]；(8)其中η，α分别为学习率和惯性因子。联合权是由若干个基本权组成的函数，表达形式为：Wkj(t+1)＝Fkj(Wj1(t+1),...,Wjn(t+1))(9)匹配点及其三维坐标作为样本对网络进行训练，当新增样本的预测值与实测值之差的绝对值大于阈值本文档来自技高网...

【技术保护点】
一种基于图像的三维四边形网格模型重建方法，其特征，包括：步骤(1)：获取表征图像物体或场景外形的点云数据，恢复图像的三维信息；步骤(2)：构建点云数据的四边网格，重建四边网格模型。

【技术特征摘要】
1.一种基于图像的三维四边形网格模型重建方法，其特征，包括：步骤(1)：获取表征图像物体或场景外形的点云数据，恢复图像的三维信息；步骤(2)：构建点云数据的四边网格，重建四边网格模型。2.如权利要求1所述的一种基于图像的三维四边形网格模型重建方法，其特征，所述步骤(1)的步骤为：步骤(11)：通过相机的自标定和图像的特征匹配得到匹配点的三维信息；步骤(12)：构造神经网络，以匹配点和匹配点的三维坐标为样本训练神经网络，获得图像物体或场景外形的点云数据。3.如权利要求2所述的一种基于图像的三维四边形网格模型重建方法，其特征，所述步骤(11)的步骤为：步骤(111)：对二维图像进行高斯卷积将其映射到高斯尺度空间，在图像的高斯尺度空间内构造差分函数尺度空间，在差分函数尺度空间内提取相邻层邻域内的极值点作为候选特征点；通过Hessian矩阵剔除不稳定的边缘特征点，利用尺度空间函数对剩余特征点进行拟合，拟合曲面的极值为特征点；步骤(112)：建立特征点到三维空间的映射，根据映射关系计算特征点与对应的三维空间数据点之间的距离，若距离小于设定阈值，则匹配成功，得到匹配的特征点集合；步骤(113)：基于基础矩阵估计的聚类分析算法，对特征点进行精确匹配，根据基础矩阵、本质矩阵、相机内部参数和外部参数的关系，求解相机内部参数和外部参数，利用相机内部参数和外部参数实现相机的自标定，恢复匹配点的三维坐标。4.如权利要求3所述的一种基于图像的三维四边形网格模型重建方法，其特征，所述特征点与对应的三维空间数据点之间的距离等于特征点的灰度相似度与特征点对应三维空间数据点的法向量加权求和。5.如权利要求2所述的一种基于图像的三维四边形网格模型重...

【专利技术属性】
技术研发人员：刘丽，张化祥，任玉伟，冯珊珊，谭艳艳，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37