一种基于激光雷达数据的图像语义重建方法技术

本发明专利技术公开了一种基于激光雷达数据的图像语义重建方法，涉及交通安全技术领域，包括以下步骤：采集街景图像数据获取图像的语义分割图；将激光雷达图作为深度卷积神经网络的输入，获取的语义分割图作为深度卷积神经网络的标签，以标签与网络输出之间的最小误差即最小损失函数，作为目标训练网络模型；采集激光雷达图输入至训练好的深度卷积神经网络模型。通过得到激光雷达数据与图像语义数据之间的拟合关系，当视觉图像与图像语义信号无法获取时候，利用激光雷达数据，预测出相应视觉场景的图像语义数据，重建车辆周围的环境语义信息，帮助驾驶员在远灯照射致盲或者路面光照不佳的情况下，掌握周围的环境，有效避免交通事故的发生。

【技术实现步骤摘要】
一种基于激光雷达数据的图像语义重建方法
本专利技术涉及交通安全
，具体来说，涉及一种基于激光雷达数据的图像语义重建方法。
技术介绍
在夜间车辆驾驶中，当环境光照太暗或者太亮时，比如被对面车辆用大灯照射，或者驾驶车辆的车灯发生故障时，容易因为看不清周围环境而发生交通事故。基于视觉的摄像头在这些情况下也很难记录下当时的周围环境。然而，随着高性价比激光雷达应用的普及，装备激光雷达已经成为驾驶辅助系统的一个可行方案。汽车装备激光雷达开始主要用于无人驾驶系统，用激光雷达感知周围环境的障碍物。当无人驾驶的车辆不得不与周围环境发生碰撞时，由于激光雷达数据本身没有任何语义信息，往往会发生无选择的碰撞，如果能从激光雷达数据中提取语义信息，将可以帮助无人驾驶汽车做有选择的碰撞。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的问题，本专利技术提出一种基于激光雷达数据的图像语义重建方法，以克服现有相关技术所存在的上述技术问题。本专利技术的技术方案是这样实现的：一种基于激光雷达数据的图像语义重建方法，包括以下步骤：步骤S1，采集街景图像数据获取图像的语义分割图；步骤S2，将激光雷达图作为深度卷积神经网络的输入，获取的语义分割图作为深度卷积神经网络的标签，以标签与网络输出之间的最小误差即最小损失函数，作为目标训练网络模型；步骤S3，采集激光雷达图输入至训练好的深度卷积神经网络模型；步骤S4，深度卷积神经网络模型的输出作为重建的图像语义并进行呈现。进一步的，所述语义分割图，进一步包括以下步骤：采集街景图像数据；采集与街景图像数据同步的激光雷达数据；进行街景图像数据和激光雷达数据的位置坐标校正；进一步的，所述激光雷达数据，进一步，包括以下步骤：激光雷达数据进行补值。进一步的，所述补值，包括把激光雷达数据的分辨率从616×184提高到1232×368。进一步的，建立深度卷积神经网络模型，进一步包括以下步骤：获取训练数据库集；设定深度卷积神经网络的超参数和参数；通过多代Epoch和批次Batch训练获取训练好的深度卷积神经网络模型。进一步的，所述深度卷积神经网络模型包括多个卷积层、激活层、池化层、反卷积层、1×1卷积层、softmax层，其中；网络输入激光雷达数据的分辨率为1232×368，卷积层的核函数大小为3×3矩阵，反卷积层的核函数为4×4，池化域大小为2×2，池化步长为2。进一步的，所述采集激光雷达图，其激光雷达扫描精度不小于30万像素/秒，探测距离不小于300米，垂直视角范围不小于40°。进一步的，所述图像语义，包括行人、自行车、电动车、轿车、卡车、天空、路面、路边的围墙、路边的树木、路边的建筑物、路边的绿化带、路中间的隔离带和交通信号灯。本专利技术的有益效果：本专利技术通过用车辆搭载的激光雷达采集的激光雷达数据，从激光雷达数据中提取语义信息，通过少量的激光雷达信号与标有语义值的图像语义数据，通过对深度卷积神经网络的训练，得到激光雷达数据与图像语义数据之间的拟合关系，利用这种训练得到的拟合关系，当视觉图像与图像语义信号无法获取时候，利用激光雷达数据，预测出相应视觉场景的图像语义数据，重建车辆周围的环境语义信息，帮助驾驶员在远灯照射致盲或者路面光照不佳的情况下，掌握周围的环境，有效避免交通事故的发生。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的一种基于激光雷达数据的图像语义重建方法的流程示意图；图2是根据本专利技术实施例的一种基于激光雷达数据的图像语义重建方法的原理示意图一；图3是根据本专利技术实施例的一种基于激光雷达数据的图像语义重建方法的原理示意图二；图4是根据本专利技术实施例的一种基于激光雷达数据的图像语义重建方法的深度卷积神经网络模型示意图；图5是根据本专利技术实施例的一种基于激光雷达数据的图像语义重建方法的激光雷达数据补值示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的实施例，提供了一种基于激光雷达数据的图像语义重建方法。如图1-图5所示，根据本专利技术实施例的基于激光雷达数据的图像语义重建方法，包括以下步骤：步骤S1，采集街景图像数据获取图像的语义分割图；步骤S2，将激光雷达图作为深度卷积神经网络的输入，获取的语义分割图作为深度卷积神经网络的标签，以标签与网络输出之间的最小误差即最小损失函数，作为目标训练网络模型；步骤S3，采集激光雷达图输入至训练好的深度卷积神经网络模型；步骤S4，深度卷积神经网络模型的输出作为重建的图像语义并进行呈现。其中，所述语义分割图，进一步包括以下步骤：采集街景图像数据；采集与街景图像数据同步的激光雷达数据；进行街景图像数据和激光雷达数据的位置坐标校正；进一步的，所述激光雷达数据，进一步，包括以下步骤：激光雷达数据进行补值。其中，所述补值，包括把激光雷达数据的分辨率从616×184提高到1232×368。其中，建立深度卷积神经网络模型，进一步包括以下步骤：获取训练数据库集；设定深度卷积神经网络的超参数和参数；通过多代Epoch和批次Batch训练获取训练好的深度卷积神经网络模型。其中，所述深度卷积神经网络模型包括多个卷积层、激活层、池化层、反卷积层、1×1卷积层、softmax层，其中；网络输入激光雷达数据的分辨率为1232×368，卷积层的核函数大小为3×3矩阵，反卷积层的核函数为4×4，池化域大小为2×2，池化步长为2。其中，所述采集激光雷达图，其激光雷达扫描精度不小于30万像素/秒，探测距离不小于300米，垂直视角范围不小于40°。其中，所述图像语义，包括行人、自行车、电动车、轿车、卡车、天空、路面、路边的围墙、路边的树木、路边的建筑物、路边的绿化带、路中间的隔离带和交通信号灯。借助于上述方案，通过用车辆搭载的激光雷达采集的激光雷达数据，从激光雷达数据中提取语义信息，通过少量的激光雷达信号与标有语义值的图像语义数据，通过对深度卷积神经网络的训练，得到激光雷达数据与图像语义数据之间的拟合关系，利用这种训练得到的拟合关系，当视觉图像与图像语义信号无法获取时候，利用激光雷达数据，预测出相应视觉场景的图像语义数据，重建车辆周围的环境语义信息，本文档来自技高网...

【技术保护点】
1.一种基于激光雷达数据的图像语义重建方法，其特征在于，包括以下步骤：/n采集街景图像数据获取图像的语义分割图；/n将激光雷达图作为深度卷积神经网络的输入，获取的语义分割图作为深度卷积神经网络的标签，以标签与网络输出之间的最小误差即最小损失函数，作为目标训练网络模型；/n采集激光雷达图输入至训练好的深度卷积神经网络模型；/n深度卷积神经网络模型的输出作为重建的图像语义并进行呈现。/n

【技术特征摘要】
1.一种基于激光雷达数据的图像语义重建方法，其特征在于，包括以下步骤：
采集街景图像数据获取图像的语义分割图；
将激光雷达图作为深度卷积神经网络的输入，获取的语义分割图作为深度卷积神经网络的标签，以标签与网络输出之间的最小误差即最小损失函数，作为目标训练网络模型；
采集激光雷达图输入至训练好的深度卷积神经网络模型；
深度卷积神经网络模型的输出作为重建的图像语义并进行呈现。


2.根据权利要求1所述的基于激光雷达数据的图像语义重建方法，其特征在于，所述语义分割图，进一步包括以下步骤：
采集街景图像数据；
采集与街景图像数据同步的激光雷达数据；
进行街景图像数据和激光雷达数据的位置坐标校正。


3.根据权利要求2所述的基于激光雷达数据的图像语义重建方法，其特征在于，所述激光雷达数据，进一步，包括以下步骤：
激光雷达数据进行补值。


4.根据权利要求3所述的基于激光雷达数据的图像语义重建方法，其特征在于，所述补值，包括把激光雷达数据的分辨率从616×184提高到1232×368。


5.根据权利要求1...

【专利技术属性】
技术研发人员：陈咖宁，金宜嘉，孙亦可，陈加忠，舒琴，
申请(专利权)人：武汉华链科技有限公司，嘉兴泊令科技有限公司，
类型：发明
国别省市：湖北;42