一种车辆三维点云图像融合方法及系统技术方案

本发明专利技术涉及图像数据处理技术领域，具体地说，涉及一种车辆三维点云图像融合方法及系统

【技术实现步骤摘要】
一种车辆三维点云图像融合方法及系统


[0001]本专利技术涉及图像数据处理
，具体地说，涉及一种车辆三维点云图像融合方法及系统
。

技术介绍

[0002]目前，在三维环境感知领域，常常需要融合不同传感器采集的点云数据和图像数据来获取全面的环境信息，融合方法存在计算复杂度高
、
精度不够高
、
实时性差问题，当在对车辆行驶路线进行规划时，道路容易出现变化，例如道路出现车祸，道路出现异物阻挡，导致车辆无法及时通过当前道路，完成行驶路线规划，造成无法满足实际应用的需求，因此，提出一种车辆三维点云图像融合方法及系统
。

技术实现思路

[0003]本专利技术的目的在于提供一种车辆三维点云图像融合方法及系统，以解决上述
技术介绍
中提出的问题
。
[0004]为实现上述技术问题的解决，本专利技术的目的之一在于，提供车辆三维点云图像融合方法，包括如下步骤：
[0005]S1、
以车辆为中心，向外扩展出融合区域，采集融合区域的图像信息，并对图像信息进行检测；
S2、
基于
S1
对图像信息检测结果，对车辆发送异常预警信息；
S3、
对
S1
采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；
S4、
基于
S3
的分析结果将融合区域内的图像信息进行融合分析；
S5、
>基于
S4
的对图像融合分析数据，对其结合汽车行驶路线进行预测，提供行驶方案
。
[0006]作为本技术方案的进一步改进，所述
S1
对图像信息进行检测的步骤如下：
S1.1、
根据周围环境对车辆正常行驶影响程度规划一片融合区域；
S1.2、
实时采集以车辆为中心的融合区域的图像信息，并对采集的图像信息进行清晰度评估
。
[0007]作为本技术方案的进一步改进，所述
S1.2
对采集的图像信息进行清晰度评估的表达式如下：；其中，
A
是基于傅里叶变换的清晰度评估方法，用于评估图像中高频信息的存在程度，计算方式为：；其中，
I
代表提取出来的像素信息，
FFT(I)
代表对其进行傅里叶变换后得到的频
谱，
Mean(FFT(I))
代表频谱的平均值
。
[0008]B
是基于梯度信息的清晰度评估方法，用于评估图像中梯度信息的强度，计算方式为：；其中，
Laplacian(I)
代表对像素信息进行拉普拉斯算子计算后得到的梯度信息，
S
为清晰度得分，清晰度得分越高，图像越清晰，当
S
数值小于
10
即清晰度不达标
。
[0009]作为本技术方案的进一步改进，所述
S3
对其他图像信息结合图像信息进行分析的步骤如下：
S3.1、
对
S1.2
采集融合区域的图像信息进行特征提取，并根据相邻位置将图像进行匹配分类；
S3.2、
将
S3.1
匹配分类完毕的图像进行结合评估，根据评估结果判断摄像范围覆盖该融合区域
。
[0010]作为本技术方案的进一步改进，所述
S4
将融合区域内的图像信息进行融合分析的步骤如下：
S4.1、
根据
S3.2
的判断结果使用点云图像融合将该融合区域内的图像数据进行融合；
S4.2、
将图像数据投影进入
S4.1
融合内的空间中进行数据校正
。
[0011]作为本技术方案的进一步改进，所述
S4.1
使用点云图像融合将该融合区域内的图像数据进行融合的表达式如下：；其中，
PC
代表汽车采集的点云数据，
Image
代表对应点云位置的图像数据，将二者进行融合得到的就是
P
，
B
代表高精度的三维环境模型，融合过程中，使用空间尺度变换来提高模型的精度和平滑度
。
[0012]作为本技术方案的进一步改进，所述
S4.2
将图像数据投影进入
S4.1
融合内的空间中进行数据校正的表达式如下：道路边缘：；其中，
dS
代表点云数据的深度，
dI
代表图像数据的梯度信息；车道线：；其中，
Cleval
代表车道线坡度的评估函数，
th
代表车道线的阈值，将数据输入三维环境模型中替换对应图像数据，从而对三维环境模型中的道路边缘和车道线数据进行补充和校正
。
[0013]作为本技术方案的进一步改进，所述
S5
根据预测结果对车辆行驶环境信息进行提供的步骤如下：
S5.1、
采集汽车行驶路线信息；
S5.2、
根据
S4.2
数据校正完毕的空间结合
S5.1
采集的汽车行驶路线信息进行结合
预测，提供车辆自动驾驶决策
。
[0014]本专利技术的目的之二在于，提供了车辆三维点云图像融合系统，包括上述中任意一项所述的车辆三维点云图像融合方法，包括图像采集单元
、
异常发送单元
、
特征提取单元
、
融合分析单元以及行驶预测单元；所述图像采集单元用于采集融合区域的图像信息，并对图像信息进行检测；所述异常发送单元用于对图像信息检测结果，对车辆发送异常预警信息；所述特征提取单元用于对采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；所述融合分析单元用于将分析结果结合融合区域内的图像信息进行融合分析；所述行驶预测单元用于将图像融合分析数据结合汽车行驶路线进行预测，提供行驶方案
。
[0015]与现有技术相比，本专利技术的有益效果：通过将点云数据和图像数据将两者相结合，充分利用了点云和图像的优势，提供更全面准确的环境感知信息，避免车辆周边检测出现异常，同时对于光照变化
、
天气变化等因素具有一定的稳定性，能够在不同条件下提供可靠的融合结果，通过精准的环境数据采集，制作对应的自动驾驶决策，提高车辆行驶的稳定性
。
附图说明
[0016]图1为本专利技术的整体流程框图；图2为本专利技术的对图像信息进行检测的流程框图；图3为本专利技术的对其他图像信息结合图像信息进行分析的流程框图；图4为本专利技术的将融合区域内的图像信息进行融合分析的流程框图；图5为本专利技术的提供行驶方案的流程框图；图6为本专利技术的图像采集单元的流程框图
。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种车辆三维点云图像融合方法，其特征在于：包括如下步骤：
S1、
以车辆为中心，向外扩展出融合区域，采集融合区域的图像信息，并对图像信息进行检测；
S2、
基于
S1
对图像信息检测结果，对车辆发送异常预警信息；
S3、
对
S1
采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；
S4、
基于
S3
的分析结果将融合区域内的图像信息进行融合分析；
S5、
基于
S4
的对图像融合分析数据，对其结合汽车行驶路线进行预测，提供行驶方案
。2.
根据权利要求1所述的车辆三维点云图像融合方法，其特征在于：所述
S1
对图像信息进行检测的步骤如下：
S1.1、
根据周围环境对车辆正常行驶影响程度规划一片融合区域；
S1.2、
实时采集以车辆为中心的融合区域的图像信息，并对采集的图像信息进行清晰度评估
。3.
根据权利要求2所述的车辆三维点云图像融合方法，其特征在于：所述
S1.2
对采集的图像信息进行清晰度评估的表达式如下：；其中，
A
是基于傅里叶变换的清晰度评估方法，用于评估图像中高频信息的存在程度，计算方式为：；其中，
I
代表提取出来的像素信息，
FFT
代表对其进行傅里叶变换后得到的频谱，
Mean
代表频谱的平均值；
B
是基于梯度信息的清晰度评估方法，用于评估图像中梯度信息的强度，计算方式为：；其中，
Laplacian
代表对像素信息进行拉普拉斯算子计算后得到的梯度信息，
S
为清晰度得分
。4.
根据权利要求2所述的车辆三维点云图像融合方法，其特征在于：所述
S3
对其他图像信息结合图像信息进行分析的步骤如下：
S3.1、
对
S1.2
采集融合区域的图像信息进行特征提取，并根据相邻位置将图像进行匹配分类；
S3.2、
将
S3.1
匹配分类完毕的图像进行结合评估，根据评估结果判断摄像范围覆盖该融合区域
。5.
根据权利要求4所述的车辆三维点云图像融合方法，其特征在于：所述
S4
将融合区域内的图像信息进行融合分析的步骤如下：
S4.1、
根据
S3.2
的判断结果使用点云图像融合将该融合区域内的图像数据进行融合；
S4.2、
...

【专利技术属性】
技术研发人员：叶才增，张炯，王军，姜晓琳，国海涛，朱旭刚，亓越，朱佳，
申请(专利权)人：山东商业职业技术学院，
类型：发明
国别省市：