一种室内三维重建方法及其装置制造方法及图纸

本发明专利技术公开了一种室内三维重建方法及其装置，所述方法待重建区域RGB图像数据进行三维重建，得到无绝对尺度的三维模型，再根据采集到点云数据还原三维模型实际大小，得到带有真实尺度的三维模型；所述装置包括相机、激光测距仪、控制器和基座。本发明专利技术解决了纯图像三维重建的模型没有尺度信息的难点，使得模型能够适用于室内测绘、装修等更多领域。装修等更多领域。装修等更多领域。

【技术实现步骤摘要】
一种室内三维重建方法及其装置


[0001]本专利技术属于三维重建
，具体涉及一种室内三维重建方法及其装置。

技术介绍

[0002]目前人们对于三维数据的需求日益增大，如测绘、房屋装修、VR等领域，昂贵的三维激光雷达设备是普通大众无法接受的，相机设备相对便宜。采用相机进行图像三维重建的传统方法是通过特征点匹配结果进行初步的匹配，得到相机姿态估计和初始三角化结果，通过光束法平差（Bundle Adjustment）对相机位姿和3D点坐标进行全局优化，并利用多个视角下的图像信息进行后方光线投影，生成稠密点云数据，对其每个像素点进行深度值的计算：首先根据视差约束计算出候选深度值；然后对候选深度值进行平滑处理，以消除噪声和不一致性，并保持深度图连续性，最终通过位姿将所有点云拼接到一起，完成稠密化三维重建。由此方法重建的三维模型没有尺度信息，仅能用作观赏。
[0003]因此，本专利技术提供了一种室内三维重建方法及其装置，以至少解决上述技术问题。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供一种室内三维重建方法及其装置，以至少解决上述技术问题。
[0005]为实现上述目的，本专利技术采用的技术方案如下：一种室内三维重建方法，包括以下步骤：步骤1、相机采集室内的RGB图像数据，激光测距仪采集室内的点云数据；步骤2、处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图；步骤3、检测室内每帧RGB图像的激光点的像素坐标，将激光点的像素坐标转换至相机坐标系下，由不带尺度信息的深度图得到相机坐标系下不带尺度信息的三维坐标；将室内的点云数据的三维坐标转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标；联立相机坐标系下不带尺度信息和带有真实尺度的三维坐标，得到带有真实尺度的深度图；步骤4、通过带有真实尺度的深度图，将相互匹配的特征点恢复成世界坐标系下带有真实尺度的三维坐标，计算相机的位姿数据；通过位姿数据拼接室内每帧点云数据，得到带有真实尺度的三维模型。
[0006]进一步地，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵K，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵T。
[0007]进一步地，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的RGB图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵K。
[0008]进一步地，所述步骤b包括：步骤b1、相机采集多组棋盘格的RGB图像数据，激光测距仪采集多组棋盘格的点云数据；步骤b2、手动确定每张棋盘格的RGB图像数据中激光测距
仪激光点的像素坐标，结合相机的内参矩阵K，利用PnP算法得到相机的外参矩阵T。
[0009]进一步地，所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧RGB图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵K将激光点的像素坐标转换至相机坐标系下，再由室内每帧RGB图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(X
c1
,Y
c1
,Z
c1
)，公式如下：；式中，（u,v）是激光点在室内的RGB图像对应像素点的像素坐标，d(u,v)表示激光点在室内RGB图像对应像素点的深度，d(u,v)由不带尺度信息的深度图获取，K表示相机的内参矩阵；步骤32、将室内的点云数据的三维坐标通过相机的外参矩阵T转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标(X
c2
,Y
c2
,Z
c2
)，公式如下：；式中，(Xw,Yw,Zw)是室内的点云数据的三维坐标，T表示相机的外参矩阵；步骤33、联立相机坐标系下不带尺度信息的三维坐标(X
c1
,Y
c1
,Z
c1
)和带有真实尺度的三维坐标(X
c2
,Y
c2
,Z
c2
)，通过最小二乘法求出尺度系数α；步骤34、将不带尺度信息的深度图的深度值乘上尺度系数α，得到带有真实尺度的深度图。
[0010]进一步地，所述步骤4包括：步骤41、通过带有真实尺度的深度图，将相互匹配的特征点由相机转换至世界坐标系下相互匹配且带有真实尺度的三维坐标（X,Y,Z)，公式如下：；式中，d(u,v)表示激光点在室内的RGB图像对应像素点的深度，K表示相机的内参矩阵，d(u,v)由不带尺度信息的深度图获取；步骤42、基于相互匹配且带有真实尺度的三维坐标（X,Y,Z)，由ICP算法计算相机的位姿数据；步骤43、通过相机由带有真实尺度的深度图得到稠密点云数据，通过位姿数据拼接室内每帧点云数据，得到真实尺度的三维模型。
[0011]进一步地，所述步骤1包括：步骤11、相机移动采集室内需重建区域的RGB图像数据，激光测距仪移动采集室内需重建区域的点云数据。
[0012]进一步地，所述步骤2包括：步骤21、采用colmap软件处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图。
[0013]本专利技术还提供了一种室内三维重建装置，该装置基于上述任意一种室内三维重建方法，包括：相机，用于采集室内的RGB图像数据；激光测距仪，用于采集室内的点云数据；
控制器，用于存储和传输室内的RGB图像数据和室内的点云数据；基座，用于安装相机、激光测距仪和控制器。
[0014]进一步地，所述激光测距仪有多个，至少包括第一激光测距仪、第二激光测距仪、第三激光测距仪，第一激光测距仪、第二激光测距仪、第三激光测距仪延长线交于一点，构成三维激光坐标系，第一激光测距仪、第二激光测距仪、第三激光测距仪的视场角小于相机的视场角。
[0015]与现有技术相比，本专利技术具有以下有益效果：本专利技术解决了纯图像三维重建的模型没有尺度信息的难点，由待重建区域RGB图像数据进行三维重建，得到无绝对尺度的三维模型，再根据采集到点云数据还原三维模型实际大小，得到带有真实尺度的三维模型，使得模型能够适用于室内测绘、装修等更多领域。
附图说明
[0016]图1为本专利技术的方法流程图。
[0017]图2为本专利技术的装置结构图。
[0018]其中，附图标记对应的名称为：1
‑
手持座，2
‑
基座，3
‑
第一激光测距仪，4
‑
相机，5
‑
第二激光测距仪，6
‑
控制器，7
‑
第三激光测距仪。
具体实施方式
[0019]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进一步详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]在本专利技术的描述中，需要说明的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内三维重建方法，其特征在于，包括以下步骤：步骤1、相机采集室内的RGB图像数据，激光测距仪采集室内的点云数据；步骤2、处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图；步骤3、检测室内每帧RGB图像的激光点的像素坐标，将激光点的像素坐标转换至相机坐标系下，由不带尺度信息的深度图得到相机坐标系下不带尺度信息的三维坐标；将室内的点云数据的三维坐标转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标；联立相机坐标系下不带尺度信息和带有真实尺度的三维坐标，得到带有真实尺度的深度图；步骤4、通过带有真实尺度的深度图，将相互匹配的特征点恢复成世界坐标系下带有真实尺度的三维坐标，计算相机的位姿数据；通过位姿数据拼接室内每帧点云数据，得到带有真实尺度的三维模型。2.根据权利要求1所述的一种室内三维重建方法，其特征在于，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵K，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵T。3.根据权利要求2所述的一种室内三维重建方法，其特征在于，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的RGB图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵K。4.根据权利要求3所述的一种室内三维重建方法，其特征在于，所述步骤b包括：步骤b1、相机采集多组棋盘格的RGB图像数据，激光测距仪采集多组棋盘格的点云数据；步骤b2、手动确定每张棋盘格的RGB图像数据中激光测距仪激光点的像素坐标，结合相机的内参矩阵K，利用PnP算法得到相机的外参矩阵T。5.根据权利要求4所述的一种室内三维重建方法，其特征在于，所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧RGB图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵K将激光点的像素坐标转换至相机坐标系下，再由室内每帧RGB图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(X
c1
,Y
c1
,Z
c1
)，公式如下：；式中，（u,v）是激光点在室内的RGB图像对应像素点的像素坐标，d(u,v)表示激光点在室内RGB图像对应像素点的深度，d(u,v)由不带尺度信息的深度图获取，K表示相机的内参矩阵；步骤32、将室内的点云数据的三维坐标通过相机的外参矩阵T转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标(X
...

【专利技术属性】
技术研发人员：戴忠余，罗洋，
申请(专利权)人：成都量芯集成科技有限公司，
类型：发明
国别省市：