基于激光雷达点云数据辅助的单镜头三维图像重构方法技术

本发明专利技术公开了一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，该方法包括：获取被扫描对象的多张可见光图像和激光雷达点云数据；基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。本发明专利技术的方法采用寻找图像与激光雷达点云同名点的方式，在图像的三维重建过程中添加虚拟的地面控制点来进行几何纠正，能够减少图像的三维重建过程中的失真情况；采用刚性变换和非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，能够提高配准精度，实现高精度的三维点云模型重建。

【技术实现步骤摘要】
基于激光雷达点云数据辅助的单镜头三维图像重构方法
本专利技术涉及图像数据融合
，尤其涉及一种基于激光雷达点云数据辅助的单镜头三维图像重构方法。
技术介绍
图像信息具有丰富的纹理信息，分辨率和边缘精度较高，采集方式也灵活方便，但是基于图像三维重建的建模过程中，为了后续数据处理，需要大量的像控制点，工作量大。并且，由于自然条件的限制，存在很多外业测控困难的区域及大量无有效可用像控制点的区域，测量过程中无法得到有效的地面控制点，因而基于图像信息的三维重构数据精度有较大差别。激光雷达能够快速、大面积、高精度的获取被扫描对象的三维点云数据，激光雷达点云数据具有主动性强、操作方便、信息量大以及建模速度快等优点，但同时单纯激光雷达点云信息过于稀疏、分辨率较低、无纹理特征且边缘精度较差，在大型复杂场景或复杂对象的数据中多存在漏洞。为了获取具有丰富纹理信息的被扫描对象的三维点云模型，目前主要采用激光雷电点云数据与图像点云数据进行配准融合的方式获取。例如，华南理工大学的吴伟坊于2019年发表的名称为《基于机载LiDAR系统激光点云与图像点云的融合技术》的论文中公开的激光点云与图像点云的融合方法。然而，现有的雷达激光点云与图像点云的融合是基于外参转换关系进行配准，极大程度上依赖于相机与激光雷达雷达外参标定。而且，图像点云与激光点云的配准为刚性配准，融合结果也仅仅是对点云数据进行了着色处理，配准结果的精度和可靠性较差。但是实际生产过程中，由图像建立的三维模型多会产生非刚性变形，所以仅仅将雷达点云信息和图像信息做刚性配准是不全面的。激光雷达能够快速、大面积、高精度的获取被扫描对象的三维点云数据，从而进行被扫面对象的三维几何重建。但是由于激光雷达点云数据缺乏纹理信息，需要通过与纹理图像进行配准方能获取具有丰富纹理信息的三维点云模型。
技术实现思路
为解决上述现有技术中存在的技术问题，本专利技术提供一种基于激光雷达点云数据辅助的单镜头三维图像重构方法。为此，本专利技术公开了一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，所述方法包括：1)获取被扫描对象的多张可见光图像和激光雷达点云数据；2)基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；3)采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。在一些可选的实施方式中，步骤2)包括：201)特征提取：对每一张可见光图像做特征提取；202)图像匹配：对每一张可见光图像做初始特征匹配，通过设定匹配算法在多张可见光图像间搜索同名点；203)几何纠正：基于激光雷达点云数据，对每一张可见光图像通过对极几何估计基础矩阵，并采用随机采样一致性算法剔除错误匹配；204)初始化：通过对极几何估计初始化位姿变换，通过特征匹配找出匹配点最多且基线距离在设定范围内的两张可见光图像；205)图像配准：选取待配准的图像，找到待配准图像中像素点对应的已求解得到空间三维坐标的点，利用点的2D和3D信息，通过随机采样一致性算法和最小姿态解算器求解Perspective-n-Point问题，获得新配准的图像的位姿；206)三角化：用初始化的两张图像重建出第一批3D点，然后用新配准的图像与前一张图像做三角化，重建新的3D点；207)光束平差：对初始化两张图像的相机外参和已三角化的3D点做联合优化，最小化重投影误差平方和；208)外点滤除：根据光束平差之后的重投影误差统计，滤除部分平差后重投影误差大于设定值的点；209)图像定向模型重建：通过图像像点坐标与物方同名点坐标，确定像空间坐标系相对于物方坐标系之间为一个空间相似变换模型。在一些可选的实施方式中，在平差过程中，根据选权迭代的思想，对不同重投影误差的点赋予不同的权重，重投影误差越大，相对应的权重越小。在一些可选的实施方式中，采用刚性变换对图像点云和激光雷达点云数据进行配准，包括：采用基于特征的粗配准对图像点云和激光雷达点云数据进行配准以获取配准初值；基于获取的配准初值，对图像点云和激光雷达点云数据进行迭代最近点算法循环迭代以实现高精度配准。在一些可选的实施方式中，基于特征的粗配准包括：基于点特征的配准、基于线特征的配准和基于面特征的配准。在一些可选的实施方式中，采用非刚性变换对图像点云和激光雷达点云数据进行配准，包括：对畸变补偿的残差进行量化，在进行迭代最近点算法循环迭代时将畸变补偿的残差加入误差函数中。在一些可选的实施方式中，在进行配准前，对激光雷达点云数据进行滤波、去噪、去除离群点和采样处理。本专利技术技术方案的主要优点如下：本专利技术的基于激光雷达点云数据辅助的单镜头三维图像重构方法，采用寻找图像与激光雷达点云同名点的方式，在图像的三维重建过程中添加虚拟的地面控制点来进行几何纠正，能够减少图像的三维重建过程中的失真情况；采用多约束条件的刚性变换和非刚性变换相结合的方式对三维图像点云和激光雷达点云数据进行配准，能够提高配准精度，充分融合图像点云和激光雷达点云数据，实现高精度的三维点云模型重建。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术一实施例的基于激光雷达点云数据辅助的单镜头三维图像重构方法的流程图；图2为本专利技术一实施例的基于激光雷达点云数据辅助的增量式运动恢复结构算法的流程图；图3为本专利技术一实施例的图像点云和激光雷达点云数据的配准流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术具体实施例及相应的附图对本专利技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。以下结合附图，详细说明本专利技术实施例提供的技术方案。如图1所示，本专利技术一实施例提供了一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，该方法包括如下内容：1)获取被扫描对象的多张可见光图像和激光雷达点云数据；2)基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；3)采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。以下对本专利技术一实施例提供的基于激光雷达点云数据辅助的单镜头三维图像重构方法的过程及原理进行具体说明。经典的增量式运动恢复结构(structure-from-motion，SFM)算法通过使用迭代进行序列化的处理过程，以获取图像对应的三维点云。该算法在建立图像的密集点云时，首先进行对应关系搜索，该对应关系本文档来自技高网...

【技术保护点】
1.一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，包括：/n1)获取被扫描对象的多张可见光图像和激光雷达点云数据；/n2)基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；/n3)采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。/n

【技术特征摘要】
1.一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，包括：
1)获取被扫描对象的多张可见光图像和激光雷达点云数据；
2)基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；
3)采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。


2.根据权利要求1所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，步骤2)包括：
201)特征提取：对每一张可见光图像做特征提取；
202)图像匹配：对每一张可见光图像做初始特征匹配，通过设定匹配算法在多张可见光图像间搜索同名点；
203)几何纠正：基于激光雷达点云数据，对每一张可见光图像通过对极几何估计基础矩阵，并采用随机采样一致性算法剔除错误匹配；
204)初始化：通过对极几何估计初始化位姿变换，通过特征匹配找出匹配点最多且基线距离在设定范围内的两张可见光图像；
205)图像配准：选取待配准的图像，找到待配准图像中像素点对应的已求解得到空间三维坐标的点，利用点的2D和3D信息，通过随机采样一致性算法和最小姿态解算器求解Perspective-n-Point问题，获得新配准的图像的位姿；
206)三角化：用初始化的两张图像重建出第一批3D点，然后用新配准的图像与前一张图像做三角化，重建新的3D点；
207)光束平差：对初始化两张图像的相机外参和已三角化的3D点做联合优化，最小化重投影误差平方和；
208)外点滤除：根...

【专利技术属性】
技术研发人员：王怀採，李修庆，李庆红，赵健康，徐静冉，
申请(专利权)人：湖南盛鼎科技发展有限责任公司，
类型：发明
国别省市：湖南;43