一种基于多视角图像的三维建模系统及方法技术方案

本发明专利技术公开了一种基于多视角图像的三维建模系统及方法，通过二维的多视角图像重建真实场景的三维模型；本发明专利技术包含图像特征点检测与匹配、运动恢复结构、多视图立体、表面重建与纹理贴图，通过图像特征点匹配将不同图像上特征点进行一一配对；然后通过匹配好的特征点计算出相机位姿和稀疏点云的三维坐标；进一步根据相机位姿获取更丰富的场景信息；再将得到的场景点云通过表面重建将其网格化；最后通过纹理映射调整网格颜色，使得三维模型效果更为逼真。本发明专利技术可以部署在无人机上，能够将无人机拍摄到的图像重建出其场景的三维模型。拍摄到的图像重建出其场景的三维模型。拍摄到的图像重建出其场景的三维模型。

【技术实现步骤摘要】
一种基于多视角图像的三维建模系统及方法


[0001]本专利技术涉及计算机视觉和三维重建
，尤其是涉及一种基于多视角图像的三维建模系统及方法。

技术介绍

[0002]近年来随着科技沿着智能化的方向发展，在智慧城市、虚拟旅游、数字遗产保护、数字地图等应用的驱动下，三维视觉得到了广泛的关注。
[0003]基于图像的三维模型重建是指用相机等传感器拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物体的三维模型，是计算机视觉和摄影测量中基础且活跃的研究课题。随着智能手机、数码相机、无人机等的普及和互联网的高速发展，通过搜索引擎也能获取大量关于某个室外场景的互联网图像；利用这些图像进行高效准确的三维重建，可以为用户提供真实感知和沉浸式体验，同时三维重建在无人机灾后救援当中也发挥着重要作用。
[0004]如今这些应用需求已经引发了业界的广泛关注，涌现了多种三维重建方法。主要是基于视觉几何和基于深度学习的方法。其中基于视觉几何的传统方法涉及的主要技术有多视图几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场等。
[0005]虽然目前基于图像的三维重建技术取得了巨大的进步，但还是存在一些问题有待解决。针对纹理重复和弱纹理的场景，建模表现不够鲁棒；同时三维重建对图像的质量也有较高的要求，在图像倾角过大时特征点的检测和匹配就会出现问题，需要对图像进行一些预处理，短期内自动建模还无法完全取代人工建模。

技术实现思路

[0006]为解决现有技术的不足，实现降低了匹配失败的概率，增强系统鲁棒性的目的，本专利技术采用如下的技术方案：
[0007]一种基于多视角图像的三维建模系统，包括图像特征点检测与匹配模块、运动恢复结构模块、多视图立体模块和纹理贴图模块；
[0008]所述图像特征点检测与匹配模块，对图像进行正视角矩阵变换，检测不同视角下的图像中的相同特征点，通过匹配将其关联起来；针对图像大倾角时检测到的特征点很少的问题，在检测特征点之前对图像进行正视角矩阵变换的预处理，能够有效的增加特征点数目，得到更多高质量的特征点；
[0009]所述运动恢复结构模块，根据匹配的特征点，计算相机位姿参数，通过相机位姿参数，计算特征点映射的稀疏点云的三维坐标；
[0010]所述多视图立体模块，是将所述相机位姿和所述特征点，以特征点为中心，通过三角化计算出特征点周围像素块对应的三维坐标，结合稀疏点云的三维坐标，得到稠密点云三维坐标；
[0011]所述纹理贴图模块，用于渲染原图像的颜色。
[0012]进一步地，所述正视角矩阵变换公式如下：
[0013][0014]其中，(u,v)是原始图像像素横、纵坐标，(u
′
,v
′
)是变换后的图像像素横、纵坐标，a表示旋转矩阵的一个元素，旋转矩阵表示相机位姿状态，通过图像中的对应特征点可以计算得到。
[0015]进一步地，所述图像特征点检测与匹配模块包括：特征点检测单元、特征点描述单元、特征点匹配单元和误匹配过滤单元；
[0016]所述特征点检测单元，利用特征检测子定位图像上的局部特征点；特征检测子的确定，首先计算图像的梯度，然后通过图像的梯度计算各个像素位置的Harris矩阵，再通过各个像素的Harris矩阵计算出每个像素的角点响应值，角点响应值高于响应阈值则取为特征点；
[0017]所述特征点描述单元，利用特征描述子编码特征点的邻域范围，为后续匹配做准备；特征描述子是像素块唯一的一组标识，是多维(128维)的0/1向量形式，特征描述子的确定，是在图像内采样一组面片，比较面片内像素的大小，大于像素阈值则置1，小于像素阈值则置0，将得到的多维(128维)的0/1向量作为描述子；
[0018]所述特征点匹配单元，利用最近邻搜索计算两幅图像中特征描述子之间的距离，以匹配特征点的对应关系；
[0019]所述误匹配过滤单元，由于特征点匹配过程中存在光照、尺度、旋转等因素干扰，为了提高匹配成功率，会设定一个误匹配机制，通过估计相机模型的方式去除误匹配特征点，根据特征描述子之间的最小距离，设置过滤阈值，当特征描述子之间的距离大于过滤阈值时，认为匹配有误。
[0020]进一步地，所述图像梯度为：
[0021][0022]所述Harris矩阵为：
[0023][0024]其中(x,y)表示像素的位置，I(x,y)表示(x,y)位置的像素值，表示(x,y)位置的像素值对横坐标做偏导计算，表示(x,y)位置的像素值对纵坐标做偏导计算，w(x,y)表示权重系数，默认为1。
[0025]所述特征点匹配单元中，特征点的匹配是通过汉明距离比较两幅图像中特征描述子之间的距离，最近邻距离和次近邻距离比小于预设的阈值，则匹配成功，其中汉明距离公式为：
[0026][0027]其中，a和b是待匹配图片像素点的两个特征描述子序列，表示异或运算，n表示描述子的维数。
[0028]进一步地，所述运动恢复结构模块，利用相机模型和对极几何，计算相机的位姿，相机模型用针孔相机的透视矩阵表示：
[0029][0030]其中，R和t是相机的外参，分别为旋转矩阵和平移向量；f
a
、f
b
、u0、v0是相机的内参，f
a
、f
b
表示图像物理坐标系与像素坐标系转换之间的横向和纵向转换因子，u0、v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；(u,v)是像平面的坐标，(x
w
y
w z
w
)是世界坐标系下的坐标，w表示世界坐标系的缩写；
[0031]对极约束表示为：
[0032][0033]其中，x1，x2是两个像素点的归一化平面上的坐标，表示基础矩阵，K1、K2表示两帧图像的相机内参矩阵，E＝[t]x
R表示本质矩阵，[
·
]x
表示将向量转换为与之对应的反对称矩阵后再与其后矩阵相乘的数学表达；
[0034]若空间中特征点位于同一平面上，用直接线性变换法求解单应矩阵H，继而算出相机的位姿，其中
[0035]求解单应矩阵H的公式如下：
[0036][0037][0038][0039]其中和表示一对匹配点的像素坐标，H
ij
表示单应矩阵的一个元素，H有8个自由度，每对点有两个约束；
[0040]H
11
u1+H
12
v1+H
13
‑
H
31
u1u2‑
H
32
v1u2‑
H
33
u2＝0
[0041]H
21
u1+H
22
v1+H
23
‑
H
31
u1v2‑
H
32
v1v2‑
...

【技术保护点】

【技术特征摘要】
1.一种基于多视角图像的三维建模系统，包括图像特征点检测与匹配模块、运动恢复结构模块、多视图立体模块和纹理贴图模块，其特征在于：所述图像特征点检测与匹配模块，对图像进行正视角矩阵变换，检测不同视角下的图像中的相同特征点，通过匹配将其关联起来；所述运动恢复结构模块，根据匹配的特征点，计算相机位姿参数，通过相机位姿参数，计算特征点映射的稀疏点云的三维坐标；所述多视图立体模块，是将所述相机位姿和所述特征点，以特征点为中心，通过三角化计算出特征点周围像素块对应的三维坐标，结合稀疏点云的三维坐标，得到稠密点云三维坐标；所述纹理贴图模块，用于渲染原图像的颜色。2.根据权利要求1所述的一种基于多视角图像的三维建模系统，其特征在于：所述正视角矩阵变换公式如下：其中，(u,v)是原始图像像素横、纵坐标，(u
′
,v
′
)是变换后的图像像素横、纵坐标，a表示旋转矩阵的一个元素，旋转矩阵表示相机位姿状态，通过图像中的对应特征点可以计算得到。3.根据权利要求1所述的一种基于多视角图像的三维建模系统，其特征在于：所述图像特征点检测与匹配模块包括：特征点检测单元、特征点描述单元、特征点匹配单元和误匹配过滤单元；所述特征点检测单元，利用特征检测子定位图像上的局部特征点；特征检测子的确定，首先计算图像的梯度，然后通过图像的梯度计算各个像素位置的Harris矩阵，再通过各个像素的Harris矩阵计算出每个像素的角点响应值，角点响应值高于响应阈值则取为特征点；所述特征点描述单元，利用特征描述子编码特征点的邻域范围；特征描述子是像素块唯一的一组标识，是多维的0/1向量形式，特征描述子的确定，是在图像内采样一组面片，比较面片内像素的大小，大于像素阈值则置1，小于像素阈值则置0，将得到的多维的0/1向量作为描述子；所述特征点匹配单元，利用最近邻搜索计算两幅图像中特征描述子之间的距离，以匹配特征点的对应关系；所述误匹配过滤单元，根据特征描述子之间的最小距离，设置过滤阈值，当特征描述子之间的距离大于过滤阈值时，认为匹配有误。4.根据权利要求3所述的一种基于多视角图像的三维建模系统，其特征在于：所述图像梯度为：所述Harris矩阵为：
其中(x,y)表示像素的位置，I(x,y)表示(x,y)位置的像素值，表示(x,y)位置的像素值对横坐标做偏导计算，表示(x,y)位置的像素值对纵坐标做偏导计算，w(x,y)表示权重系数；所述特征点匹配单元中，特征点的匹配是通过汉明距离比较两幅图像中特征描述子之间的距离，最近邻距离和次近邻距离比小于预设的阈值，则匹配成功，其中汉明距离公式为：其中，a和b是待匹配图片像素点的两个特征描述子序列，
⊕
表示异或运算，n表示描述子的维数。5.根据权利要求1所述的一种基于多视角图像的三维建模系统，其特征在于：所述运动恢复结构模块，利用相机模型和对极几何，计算相机的位姿，相机模型用针孔相机的透视矩阵表示：其中，R和t是相机的外参，分别为旋转矩阵和平移向量；f
a
、f
b
、u0、v0是相机的内参，f
a
、f
b
表示图像物理坐标系与像素坐标系转换之间的横向和纵向转换因子，u0、v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；(u,v)是像平面的坐标，(x
w
y
w z
w
)是世界坐标系下的坐标，w表示世界坐标系的缩写；对极约束表示为：其中，x1，x2是两个像素点的归一化平面上的坐标，表示基础矩阵，K1、K2表示两帧图像的相机内参矩阵，E＝[t]
x
R表示本质矩阵，[
·<...

【专利技术属性】
技术研发人员：甘智高，岳克强，李文钧，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：