基于图像引导的激光点云增强重建方法技术

本发明专利技术属于图像处理与计算机视觉技术领域，具体涉及一种基于图像引导的激光点云增强重建方法，其首先对彩色图像进行校正，基于四元数对原始点云数据进行变换，并将三维点云数据从三维空间投影到二维图像空间；然后计算彩色图像与投影深度图像之间的仿射变换，对二维图像进行深度增强；最后将二维图像投影回到三维空间，将RGB图像信息集成到点云信息中，形成增强后的六维数据。本发明专利技术在保持边缘的细节性、平滑性和整体性上面具有更好的效果。通过实验，证明本发明专利技术所提出的方法在点云增强方面，提高了点云分辨率，减少了空洞存在的情况，实现激光点云图像的高分辨率三维重建。实现激光点云图像的高分辨率三维重建。实现激光点云图像的高分辨率三维重建。

【技术实现步骤摘要】
基于图像引导的激光点云增强重建方法


[0001]本专利技术属于图像处理与计算机视觉
，具体涉及一种基于图像引导的激光点云增强重建方法。

技术介绍

[0002]计算机视觉感知离不开各种传感器，这些传感器各有优缺点。摄像头是一种被动式的传感器，能够获得丰富的视觉信息，具有成像细节丰富、成本低的优点；但缺点是缺乏场景与目标的距离信息，难以实现对目标的精确定位，而且图像的成像质量易受光线干扰。激光雷达是一种主动式的传感器，优点是它能够精确地提供场景与目标的距离信息，并且不受光线以及恶劣天气的影响；但缺点是缺乏颜色纹理等视觉信息，而且分辨率低。单一传感方式各有其优缺点，无法满足无人系统所需感知信息完整性的要求。同时，当一种类型的传感器出现故障时，整个无人系统将处于失控状态。而多传感器融合方式能够综合不同传感器所获取到的信息，弥补单一传感器存在的不足，在极端情况下仍然能够保障无人系统正常运行，使得无人系统的安全性大大提高。因此，基于图像引导的激光点云增强重建感知方法具有重要的研究价值与应用前景。
[0003]近年来有许多学者开展了激光点云增强方法的研究，目前主要是针对激光雷达传感器本身点云的成像特性进行算法的增强，采用插值或拉伸的方法。中国期刊《计算机与现代化》2021,Vol.307,No.3,pp.101
‑
107刊登了一篇题为“基于点云增强的网格化优化算法”的论文，作者杨雨航等人在通过体素滤波进行适当点云降采样的同时利用双三次样条插值进行点云孔洞修复，然后将移动最小二乘法误差函数引入到点云法向计算中以优化点云法向量的质量。优化后的网格化算法在一定程度上提高了重建模型的准确度。但是，仍然无法满足无人系统所需感知信息完整性的要求。因此，要实现高精度的激光点云增强必须研究和寻找更为有效、准确、实时的技术途径。
[0004]目前有很多激光点云增强算法，但是都存在各种各样的问题，主要体现在两个方面：
[0005]1)算法的精确性。当目标存在缺失、被其它物体遮挡的情况下，传统的激光点云增强算法会出现空洞的情况。
[0006]2)信息的完整性。由于单波段传感器的信息有限，没有考虑到共性特征的贡献，影响了感知效果，使得辨别目标物体的难度提升。

技术实现思路

[0007](一)要解决的技术问题
[0008]本专利技术要解决的技术问题是：现有点云增强算法不能够在复杂场景中增强存在各种变化的目标。实际环境中的目标与背景存在很多的不确定性，既有目标本身的尺度、视角和光照渐变，也会有突然的目标遮挡，这些情况都造成传统的方法难以解决这些复杂背景下的点云增强问题。
[0009](二)技术方案
[0010]为解决上述技术问题，本专利技术提供一种基于图像引导的激光点云增强重建方法，所述方法包括：
[0011]步骤S1：初始化，获得原始彩色图像、原始点云数据；
[0012]步骤S2：对彩色图像校正，获得校正彩色图像；
[0013]步骤S3：点云数据处理与投影变换，获得投影深度图像；
[0014]步骤S4：对校正彩色图像与投影深度图像配准，得到变换后的彩色图像；
[0015]步骤S5：深度图像增强，形成增强重建后的六维数据值。
[0016]其中，所述方法还包括：
[0017]步骤S6：判断有无关机命令，如有，则结束；否则，进入下一个循环。
[0018]其中，所述步骤S1的初始化过程中，包括：
[0019]步骤S1.1：通过摄像机采集原始彩色图像g
S
；
[0020]步骤S1.2：通过激光雷达采集原始点云数据L
B
。
[0021]其中，所述步骤S2对彩色图像校正，获得校正彩色图像的过程中，包括：
[0022]步骤S2.1：通过摄像机标定可以得到摄像机的成像参数，包括相机中心(u0,v0)、焦距(f
x
,f
y
)、尺度因子(N
x
,N
y
)、透镜畸变系数k、旋转矩阵R、平移矩阵T；
[0023]步骤S2.2：对摄像机拍摄到的原始彩色图像g
S
进行校正，得到校正彩色图像g
C
；
[0024]对实际的计算机帧存坐标系下原始彩色图像g
S
(u
s
,v
s
)的每个点进行如下变换，得到理想的计算机帧存坐标系中的校正彩色图像点g
C
(u
d
,v
d
)，用如下奇次坐标系表示为：
[0025][0026]其中：
[0027][0028]将实际的计算机帧存图像g
S
中点(u
s
,v
s
)的像素灰度值g
S
(u
s
,v
s
)赋予校正彩色图像g
C
中与之对应点(u
d
,v
d
)后，得到校正彩色图像g
C
。
[0029]其中，所述步骤S3进行点云数据处理与投影变换，获得投影深度图像的过程中，包括：
[0030]步骤S3.1：基于四元数对原始点云数据进行变换；
[0031]对于摄像机采集的每一张图像，都包括无人机的位置(p
x
,p
y
,p
z
)与四元数参数(o
x
,o
y
,o
z
,o
w
)：
[0032][0033]由于摄像机的内参矩阵K为：
[0034][0035]则综合无人机姿态与相机参数的投影变换矩阵M为：
[0036]M＝KQ
ꢀꢀꢀ
(5)
[0037]步骤S3.2：将三维的原始点云数据L
B
从三维空间投影到二维图像空间，得到深度图像g
B
；
[0038]计算机帧存图像坐标系为(u,v)，世界坐标系为(x
w
，y
w
，z
w
)，投影变换矩阵M为3*4矩阵，λ为尺度因子；根据透视投影变换关系有：
[0039][0040]因此得到从三维空间投影到二维图像空间的深度图像g
B
的对应图像坐标(u,v)：
[0041][0042]将三维的原始点云数据L
B
中所有的点云进行变换后得到对应的(u,v)，将(u,v)点的深度值赋予对应的深度图像点g
B
(u,v)后，得到投影深度图像g
B
。
[0043]其中，所述步骤S4对校正彩色图像g
C
与投影深度图像g
B
配准的过程中，包括：
[0044]步骤S4.1：对彩色图像g
C
和投影深度图像g
B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像引导的激光点云增强重建方法，其特征在于，所述方法包括：步骤S1：初始化，获得原始彩色图像、原始点云数据；步骤S2：对彩色图像校正，获得校正彩色图像；步骤S3：点云数据处理与投影变换，获得投影深度图像；步骤S4：对校正彩色图像与投影深度图像配准，得到变换后的彩色图像；步骤S5：深度图像增强，形成增强重建后的六维数据值。2.如权利要求1所述的基于图像引导的激光点云增强重建方法，其特征在于，所述方法还包括：步骤S6：判断有无关机命令，如有，则结束；否则，进入下一个循环。3.如权利要求1所述的基于图像引导的激光点云增强重建方法，其特征在于，所述步骤S1的初始化过程中，包括：步骤S1.1：通过摄像机采集原始彩色图像g
S
；步骤S1.2：通过激光雷达采集原始点云数据L
B
。4.如权利要求3所述的基于图像引导的激光点云增强重建方法，其特征在于，所述步骤S2对彩色图像校正，获得校正彩色图像的过程中，包括：步骤S2.1：通过摄像机标定可以得到摄像机的成像参数，包括相机中心(u0,v0)、焦距(f
x
,f
y
)、尺度因子(N
x
,N
y
)、透镜畸变系数k、旋转矩阵R、平移矩阵T；步骤S2.2：对摄像机拍摄到的原始彩色图像g
S
进行校正，得到校正彩色图像g
C
；对实际的计算机帧存坐标系下原始彩色图像g
S
(u
s
,v
s
)的每个点进行如下变换，得到理想的计算机帧存坐标系中的校正彩色图像点g
C
(u
d
,v
d
)，用如下奇次坐标系表示为：其中：将实际的计算机帧存图像g
S
中点(u
s
,v
s
)的像素灰度值g
S
(u
s
,v
s
)赋予校正彩色图像g
C
中与之对应点(u
d
,v
d
)后，得到校正彩色图像g
C
。5.如权利要求4所述的基于图像引导的激光点云增强重建方法，其特征在于，所述步骤S3进行点云数据处理与投影变换，获得投影深度图像的过程中，包括：步骤S3.1：基于四元数对原始点云数据进行变换；对于摄像机采集的每一张图像，都包括无人机的位置(p
x
,p
y
,p
z
)与四元数参数(o
x
,o
y
,o
z
,o
w
)：
由于摄像机的内参矩阵K为：则综合无人机姿态与相机参数的投影变换矩阵M为：M＝KQ
ꢀꢀ
(5)步骤S3.2：将三维的原始点云数据L
B
从三维空间投影到二维图像空间，得到深度图像g
B
；计算机帧存图像坐标系为(u,v)，世界坐标系为(x
w
，y
w
，z
w
)，投影变换矩阵M为3*4矩阵，λ为尺度因子；根据透视投影变换关系有：因此得到从三维空间投影到二维图像空间的深度图像g
B
的对应图像坐标(u,v)：将三维的原始点云数据L
B
中所有的点云进行变换后得到对应的(u,v)，将(u,v)点的深度值赋予对应的深度图像点g
B
(u,v)后，得到投影深度图像g
B
。6.如权利要求5所述的基于图像引导的激光点云增强重建方法，其特征在于，所述步骤S4对校正彩色图像g
C
与投影深度图像g
B
配准的过程中，包括：步骤S4.1：对彩色图像g
C
和投影深度图像g
B
进行配准，在彩色图像g...

【专利技术属性】
技术研发人员：许开銮，朱镭，刘虎，高强，李良福，钱钧，李颖娟，陆阳，李璐阳，赵米暘，姜文涛，王超，
申请(专利权)人：西安应用光学研究所，
类型：发明
国别省市：