一种室内结构化场景三维重建方法技术

本发明专利技术公开了一种室内结构化场景三维重建方法，包括同步利用相机和激光雷达进行数据采集，获取室内

【技术实现步骤摘要】
一种室内结构化场景三维重建方法


[0001]本专利技术属于三维重建
，具体涉及一种室内结构化场景三维重建方法
。

技术介绍

[0002]传统室内三维重建方法中，纯图像三维重建主要通过相机采集图像数据，利用视觉
SLAM
算法，如
ORB
‑
SLAM
重建出稀疏点云地图，或是利用
SFM
算法估计相机位姿，再结合图像匹配算法恢复深度图，重建出稠密点云模型
。
[0003]激光雷达三维重建主要通过激光雷达设备采集激光点云数据，通过相机采集图像数据，利用激光
slam
算法，例如
Loam
重建出稠密点云模型，图像数据用于对点云进行着色
。
[0004]传统室内三维重建方法存在的缺陷为：纯图像三维重建的模型没有尺度信息，仅能用于观赏，适用范围小；激光雷达三维重建硬件成本高，较难普及
。
[0005]针对上述传统室内三维重建方法存在的缺陷，本专利技术提供一种室内结构化场景三维重建方法，使得创建出的模型具备尺度信息，并且所使用硬件成本低，易于普及
。

技术实现思路

[0006]本专利技术要解决的技术问题是：提供一种室内结构化场景三维重建方法，以解决纯图像三维重建模型无尺度信息，以及激光雷达三维重建方法硬件成本高
、
较难普及的技术问题
。
[0007]为实现上述目的，本专利技术采用的技术方案如下：一种室内结构化场景三维重建方法，包括如下步骤：步骤
1、
同步利用相机和激光雷达进行数据采集，获取室内
RGB
图像数据以及对应的稀疏激光点云数据；步骤
2、
将稀疏激光点云数据输入
ransac
算法拟合出多个平面方程，分割每个平面对应的像素区域；步骤
3、
获取相邻帧
RGB
图像数据的特征点，基于特征点计算单应矩阵；步骤
4、
通过平面方程恢复平面像素点的三维坐标，通过单应矩阵完成三维坐标的匹配；步骤
5、
将匹配的三维坐标输入
ICP
算法计算变换矩阵，根据变换矩阵拼接每帧点云数据，得到带尺度信息的三维模型
。
[0008]进一步地，在步骤1中：步骤
11、
同步利用相机和激光雷达进行数据采集，相机拍摄室内得到室内
RGB
图像数据，激光雷达设备多次发射激光至室内并接收室内平面反射激光得到世界坐标系下稀疏激光点云数据；步骤
12、
通过张正友标定法，得到相机内参矩阵，通过
PnP
算法标定世界坐标系至相机坐标系的外参矩阵，通过外参矩阵对世界坐标系下稀疏激光点云数据进行转换得到相机坐标系下稀疏激光点云数据
。
[0009]进一步地，步骤2包括：步骤
21、
将相机坐标系下稀疏激光点云数据输入
ransac
算法循环拟合出多个平面
方程，每次循环删除已使用的稀疏点云数据，直到剩下的稀疏点云数据不足以拟合出一个平面方程；步骤
22、
将稀疏点云数据通过内参矩阵转换成像素点，计算方法为：；其中，
u、v
表示像素坐标；
Zc
表示相机坐标系下的深度值；
K
表示相机内参矩阵；
Tcw
表示外参矩阵；
Xw、Yw、Zw
表示激光点云三维坐标数据
。
[0010]进一步地，步骤4包括：步骤
41
，找到平面方程对应平面的左上角
、
左下角
、
右上角和右下角对应的四个像素点，确定出该平面方程对应的像素区域；步骤
42
，遍历获取像素区域内所有在这个区域内的像素点的像素坐标，将像素坐标转换为三维坐标；步骤
43
，利用单应矩阵对每两帧图像之间像素坐标进行匹配，并将每两帧图像之间的三维坐标进行匹配
。
[0011]进一步地，步骤
42
中，将像素坐标转换为三维坐标的计算方法为：；其中，
u
，
v
表示图像中像素点的像素坐标；
Xc
，
Yc
表示像素坐标转换至相机坐标系下对应的坐标，没有尺度信息；
A、B、C
是平面方程对应平面的法向量；
D
是平面方程的已知常数；
X
，
Y
，
Z
表示相机坐标系下的三维坐标，带有尺度信息； cx
，
cy
，
fx
，
fy
表示相机内参参数
。
[0012]进一步地，步骤
43
中，利用单应矩阵对每两帧图像之间像素坐标进行匹配的方法为：；其中，
H
表示单应矩阵；
u1
，
v1
表示其中一帧图像上的像素点的像素坐标；
u2
，
v2
表示另一帧图像上的像素点的像素坐标
。
[0013]进一步地，步骤3包括：步骤
31
：将
RGB
图像数据输入
LoFTR
算法得到相邻帧
RGB
图像数据的特征点；步骤
32
：将特征点数据输入
opencv
算法计算出单应矩阵
。
[0014]进一步地，步骤5包括：步骤
51
：将匹配的三维坐标输入
ICP
算法计算变换矩阵，得到每帧图像的位姿；步骤
52
：利用位姿数据，拼接每帧图像上三维点，得到带尺度的三维模型
。
[0015]进一步地，所述步骤2中平面方程为：
Ax+By+Cz+D=0
；其中，
A、B、C
是平面方程对应平面的法向量；
D
是平面方程的已知常数；
x、y、z
为激光点云三维坐标变量
。
[0016]与现有技术相比，本专利技术具有以下有益效果：本专利技术设计科学合理，使用方便，通过相机采集室内平面
RGB
图像数据，激光雷达采集室内平面稀疏的激光点云数据，并基于所采集的
RGB
图像数据和稀疏的激光点云数据设计了一种位姿估计算法用于估计每帧
RGB
图像的相机位姿，基于计算的
RGB
图像位姿拼接每帧
RGB
图像上点云数据，得到真实尺度的三维模型
。
解决了纯图像三维重建的模型没有尺度的问题，并且仅依靠稀疏激光点云数据实现室内三维重建，对硬件要求较低，有效降低了硬件成本
。
附图说明
[0017]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种室内结构化场景三维重建方法，其特征在于，包括如下步骤：步骤
1、
同步利用相机和激光雷达进行数据采集，获取室内
RGB
图像数据以及对应的稀疏激光点云数据；步骤
2、
将稀疏激光点云数据输入
ransac
算法拟合出多个平面方程，分割每个平面对应的像素区域；步骤
3、
获取相邻帧
RGB
图像数据的特征点，基于特征点计算单应矩阵；步骤
4、
通过平面方程恢复平面像素点的三维坐标，通过单应矩阵完成三维坐标的匹配；步骤
5、
将匹配的三维坐标输入
ICP
算法计算变换矩阵，根据变换矩阵拼接每帧点云数据，得到带尺度信息的三维模型
。2.
根据权利要求1所述的一种室内结构化场景三维重建方法，其特征在于，在步骤1中：步骤
11、
同步利用相机和激光雷达进行数据采集，相机拍摄室内得到室内
RGB
图像数据，激光雷达设备多次发射激光至室内并接收室内平面反射激光得到世界坐标系下稀疏激光点云数据；步骤
12、
通过张正友标定法，得到相机内参矩阵，通过
PnP
算法标定世界坐标系至相机坐标系的外参矩阵，通过外参矩阵对世界坐标系下稀疏激光点云数据进行转换得到相机坐标系下稀疏激光点云数据
。3.
根据权利要求2所述的一种室内结构化场景三维重建方法，其特征在于，步骤2包括：步骤
21、
将相机坐标系下稀疏激光点云数据输入
ransac
算法循环拟合出多个平面方程，每次循环删除已使用的稀疏点云数据，直到剩下的稀疏点云数据不足以拟合出一个平面方程；步骤
22、
将稀疏点云数据通过内参矩阵转换成像素点，计算方法为：；其中，
u、v
表示像素坐标；
Zc
表示相机坐标系下的深度值；
K
表示相机内参矩阵；
Tcw
表示外参矩阵；
Xw、Yw、Zw
表示激光点云三维坐标数据
。4.
根据权利要求3所述的一种室内结构化场景三维重建方法，其特征在于，步骤4包括：步骤
41
，找到平面方程对应平面的左上角
、
左下角
、
右上角和右下角对应的四个像素点，确定出该平面方程对应的像素区域；步骤
42
，遍历获取像素区域内所有在这个区域内的像素点的像素坐标，将像素坐标转换为三维坐标；步骤
43

【专利技术属性】
技术研发人员：戴忠余，罗洋，
申请(专利权)人：成都量芯集成科技有限公司，
类型：发明
国别省市：