一种激光点云与可见光图像融合方法和系统技术方案

本申请第一方面提出一种激光点云与可见光图像融合方法，包括：S1，将点云数据进行空间降维，获得二维的点云数据；S2，通过尺度不变特征变换(Scale

【技术实现步骤摘要】
一种激光点云与可见光图像融合方法和系统


[0001]本申请属于工业视觉领域，具体的涉及一种激光点云与可见光图像融合方法和系统。

技术介绍

[0002]在工业视觉
，一些应用场景，例如车辆的自动驾驶等，其应用的环境复杂，对数字成像的实时性要求极高。因此，单一传感器已经无法满足实际应用的需求，在例如自动驾驶系统等数字成像系统中，通常设置包含不同传感器的平台协同工作，将多传感器数据进行融合以确保更好的感知、理解环境。同时，多设备的异源数据融合也已成为图像感知领域研究的热点。
[0003]激光点云与可见光图像融合已经成为车辆辅助系统中多物体追踪、障碍识别等模块重要的技术支持。与传统的图像配准问题相比，激光点云与光学影像是二种跨模态异源数据，二者之间的巨大差异给配准问题带来了很大困难，现有技术在配准精度、鲁棒性以及自动化水平等方面还存在不足之处。

技术实现思路

[0004]针对上述问题，本申请第一方面提出一种激光点云与可见光图像融合方法，包括以下步骤：
[0005]S1，将点云数据进行空间降维，获得二维的点云数据；
[0006]S2，通过尺度不变特征变换(Scale
‑
Invariant Feature Transform，SIFT)算法提取二维的点云数据的特征点和可见光图像数据的特征点；
[0007]S3，确定投影平面，通过投影模型将点云数据投影生成深度
‑
回波强度图像，并构建点云数据与深度
‑
回波强度图像的3D/>‑
2D坐标映射关系；
[0008]S4，根据3D
‑
2D坐标映射关系，将可见光图像数据的特征点映射至点云数据。
[0009]本申请提出的方案首先利用SIFT提取点云数据和可见光图像数据的特征点，将点云像数据的特征点作为参考点将点云进行投影处理，将点云数据降维、可视化，获得点云数据与深度
‑
回波强度图像的3D
‑
2D坐标映射关系，基于该映射关系进行点云数据与可见光图像的配准融合。该方案能够实现较好的图像配准融合效果。
[0010]优选地，S1还包括，首先对点云数据进行体素化处理，点云体素网格质心计算的公式为：其中，x
c
、y
c
、z
c
为点云数据在体素网格中的x、y、z坐标，p为体素网格中点的总数，i为第i个点。通过对点云数据进行体素化处理实现空间降维，使其与可见光维度一致，进而能够实现二者的特征提取和坐标匹配；同时，体素化过程能够实现的数据有序存储和降采样，提高运算效率。
[0011]优选地，S2采用KFDA
‑
SIFT(Kernel Fisher Discriminant Analysis
‑
SIFT)提取所述降维后的点云数据的特征点和可见光图像数据的特征点，具体包括采用核主成分分析
法(Kernel Principal Component Analysis，KPCA)进行空间降维，采用线性判别分析(Linear Discriminant Analysis，LDA)对降维后的数据进行特征提取。进一步地，其中KPCA的核函数采用多项式核。
[0012]KFDA算法是通过非线性映射将原始样本数据投影到高维特征空间，然后在该特征空间中进行判别分析，因此，采用KFDA
‑
SIFT能够从更多维度上获取足够多的特征信息和范围，增加特征提取的信息深度和宽度。
[0013]优选地，S3包括，以所述点云数据的特征点为参考点，利用直接线性变换(Direct Linear Transformation，DLT)方法构建所述3D
‑
2D坐标映射关系。进一步地，结合最小二乘法构建所述3D
‑
2D坐标映射关系。
[0014]优选地，S3所述投影模型采用的计算公式包括：
[0015][0016][0017]Z＝d
[0018]其中，x、y为投影坐标系中的x、y坐标，X、Y为世界坐标系X、Y的坐标，X
res
、Y
res
为深度图的分辨率，FOV表示投影向量，FOV
h
为FOV水平方向上分解的标量，FOV
v
为FOV竖直方向上分解的标量，d为深度值。
[0019]优选地，所述可见光图像数据为可见光图像的RGB数据。
[0020]本申请第二方面提出一种激光点云与可见光图像融合系统，包括：
[0021]数据降维模块，配置用于对点云数据进行空间降维，并映射到与可见光图像数据同一维度；
[0022]特征提取模块，配置用于通过SIFT算法提取降维后的点云数据的特征点和可见光图像数据的特征点；
[0023]坐标映射模块，配置用于确定投影平面，通过投影模型将点云数据投影生成深度
‑
回波强度图像，并构建点云数据与深度
‑
回波强度图像的3D
‑
2D坐标映射关系；
[0024]配准融合模块，根据所述3D
‑
2D坐标映射关系，将所述可见光图像数据的特征点映射至点云数据。
[0025]本文所提出的激光点云与可见光图像融合方法与系统，具有较好的鲁棒性和较高的配准精度，能够应用于机载、车载、地面等平台，适用场景广泛。
附图说明
[0026]附图帮助进一步理解本申请。附图的元件不一定是相互按照比例的。为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0027]图1为本申请一实施例中激光点云与可见光图像融合方法的流程示意图；
[0028]图2为本申请一实施例中的可见光图像原图；
[0029]图3为本申请一实施例中点云可视化图像；
[0030]图4为本申请一实施例中点云与可见光融合后的效果图；
[0031]图5为本申请一实施例中的激光点云与可见光图像融合系统结构示意图。
具体实施方式
[0032]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。
[0033]图1是根据本申请一实施例中激光点云与可见光图像融合方法的流程示意图，该流程包括：
[0034]S1，将点云数据进行空间降维，获得二维的点云数据。
[0035]点云的数据包括每个点的经纬度坐标、强度、多次回波、颜色等信息，其信息的维度和信息量都远高于可见光图像数据。为了便于后续的特征匹配，本申请提出的方案首先对点云数据进行降维至与可见光图像同样的维度。
[0036]优选实施例中，S1包括首先对点云数据进行体素化处理，点云体素网格质心计算的公式为：其中，x
c
、y
c
、z
c
为点云数据在体素网格中的x、y、z坐标，p为体素网格中点的总数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光点云与可见光图像融合方法，其特征在于，包括以下步骤：S1，将点云数据进行空间降维，获得二维的点云数据；S2，通过SIFT算法提取所述二维的点云数据的特征点和可见光图像数据的特征点；S3，确定投影平面，通过投影模型将点云数据投影生成深度
‑
回波强度图像，并构建点云数据与深度
‑
回波强度图像的3D
‑
2D坐标映射关系；S4，根据所述3D
‑
2D坐标映射关系，将所述可见光图像数据的特征点映射至点云数据。2.根据权利要求1所述的一种激光点云与可见光图像融合方法，其特征在于，S1包括，首先对所述点云数据进行体素化处理，点云体素网格质心计算的公式为：其中，x
c
、y
c
、z
c
为点云数据在体素网格中的x、y、z坐标，p为体素网格中点的总数，i为第i个点。3.根据权利要求1所述的一种激光点云与可见光图像融合方法，其特征在于，S2包括采用KFDA
‑
SIFT提取所述降维后的点云数据的特征点和可见光图像数据的特征点，具体包括采用KPCA进行空间降维，采用LDA对降维后的数据进行特征提取。4.根据权利要求3所述的一种激光点云与可见光图像融合方法，其特征在于，其中KPCA的核函数采用多项式核。5.根据权利要求1所述的一种激光点云与可见光图像融合方法，其特征在于，S3包括，以所述点云数据的特征点为参考点，利用DLT方法构建所述3D
‑
2D坐标映射关系。6.根据权利要求5所述的一种激光点云与可见光图像融合方法，其特征在于，进一步结合最小二乘法构建所述3D<...

【专利技术属性】
技术研发人员：林旭，陈旭，陈佳期，唐光铁，曾远强，卢雨畋，周小报，
申请(专利权)人：福建省海峡智汇科技有限公司，
类型：发明
国别省市：