一种基于LiDAR和图像融合的街道场景语义分割方法技术

本发明专利技术涉及一种基于LiDAR（激光雷达）和图像融合的街道场景语义分割方法，包括：输入LiDAR点云和图像并进行预处理；将点云投影到图像中后，对图像进行上下文信息的融合得到融合信息；使用点云语义分割网络提取融合信息中的粗粒度特征；使用图像语义分割网络提取图像高维语义特征，计算偏移量得到对齐后的图像语义特征；将图像语义特征和粗粒度特征融合后得到融合语义特征，使用点云语义分割网络提取融合语义特征的细粒度的语义特征，得到语义分割结果；采用一种简单且有效的前融合策略来融合图像上下文信息和LiDAR点云信息这两种不同模态的信息，以此来生成语义类别特征；有效的增强所提取点云的特征的判别力，提升模型对场景分割的准确率。分割的准确率。分割的准确率。

【技术实现步骤摘要】
一种基于LiDAR和图像融合的街道场景语义分割方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于LiDAR和图像融合的街道场景语义分割方法。

技术介绍

[0002]图像包含了丰富的色彩信息和纹理信息，但是存在尺度、遮挡等问题，相对图像而言，点云包含了三维的几何结构和深度信息，但是点云具有稀疏不一致的问题。
[0003]LiDAR点云和图像信息融合主要思想是利用LiDAR和相机两种传感器对环境感知的不同优势进行互补，提高模型对街道场景的感知理解能力。
[0004]以街道场景点云语义分割为例，随着自动驾驶的快速发展，3D场景感知受到了越来越多的关注，街道场景语义分割对自动驾驶汽车的环境感知和规划十分重要。目前，街道场景分割的方法可以分为三类：基于投影的方法，基于体素的方法和基于多视图融合的方法。Cortinhal等人利用球形投影机制将LiDAR点云投影成为伪图像，然后利用一个编码
‑
解码结构的网络来获得语义信息。Kochanov等人利用残差网络ResNetXt
‑
101和空洞空间金字本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LiDAR和图像融合的街道场景语义分割方法，其特征在于，所述语义分割方法包括：步骤1，输入LiDAR点云和图像并进行预处理；步骤2，将点云投影到图像中后，对所述图像进行上下文信息的融合得到融合信息；步骤3，使用点云语义分割网络提取所述融合信息中的粗粒度特征；使用图像语义分割网络提取图像高维语义特征，计算偏移量得到对齐后的图像语义特征；步骤4，将所述图像语义特征和所述粗粒度特征融合后得到融合语义特征，使用点云语义分割网络提取所述融合语义特征的细粒度的语义特征，得到语义分割结果。2.根据权利要求1所述的语义分割方法，其特征在于，所述步骤1中对输入的所述点云进行预处理的过程包括：将所述点云的XYZ坐标变换到柱坐标空间，计算在柱坐标系下所述点云的范围，确定该范围对应的最大值和最小值；根据设置的参数将各个所述点云划分到一系列的圆柱分区中。3.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2包括：步骤201，根据点云的原始坐标、位姿变换矩阵、相机内参矩阵，将点云投影到图像平面，生成投影索引；其中，，R表示实数，表示LiDAR点云中点的数量；步骤202，将落在图像平面外的点过滤掉，对投影索引更新后保存到内存中；步骤203，根据更新后的投影索引坐标，在图像平面上，以投影点为中心，以大小为w
×
w的窗口进行上下文信息采样，并将所述窗口中每个像素位置的RGB颜色值作为特征聚合到一起得到图像上下文信息；将所述图像上下文信息附加到原始点云的特征后面根据点云体素划分的索引对特征进行处理。4.根据权利要求3所述的语义分割方法，其特征在于，所述步骤202中更新后的所述投影索引为：；其中，；H
×
W为图像的大小。5...

【专利技术属性】
技术研发人员：陶文兵，赵蔺，刘李漫，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：