一种道路场景三维语义分割中未知障碍物的判别方法技术

本发明专利技术公开了一种道路场景三维语义分割中未知障碍物的判别方法，先通过标定方法确定二维图像与三维点云的映射关系，再通过二维图像语义分割算法得到二维图像的语义分割结果，之后通过映射关系得到三维点云的语义分割结果，之后通过最小二乘平台拟合求取道路平面，再搜寻道路区域中的非道路点，最后通过3D区域生长标记未知道路障碍物。本发明专利技术相比于当前采用深度学习技术的环境感知方法，可以检测道路中的未知道路障碍物，提高了自动驾驶的安全性。性。性。

【技术实现步骤摘要】
一种道路场景三维语义分割中未知障碍物的判别方法


[0001]本专利技术属于图像处理
，涉及自动驾驶中三维点云与二维图像融合的环境感知方法，具体涉及一种道路场景三维语义分割中未知障碍物的判别方法。

技术介绍

[0002]当前，激光雷达与可见光相机已经广泛应用于自动驾驶中。激光雷达提供场景中的点云信息，通过换算，可以得到每个点在某一坐标系下的三维坐标。可见光相机提供场景中的二维图像信息，可以得到场景在像平面上的颜色与纹理信息。当可见光相机与激光雷达的相对位置固定时，三维点云与二维图像在空间上存在一种映射关系，通过张正友标定法可以标定出一组参数，将点云坐标映射到二维图像中进行显示，也可以将图像中的每一个像素映射到三维空间坐标系中。
[0003]通过典型的基于深度学习二维语义分割算法，如Deeplab、Yolact等，可以对二维图像进行语义分割，对图像中的道路区域、行人、车辆与建筑物等进行像素级的分割。通过前述的映射关系，可以将二维图像中的分割结果映射到三维点云中，进而得到三维点云的语义分割结果。这类方法被广泛应用到无人驾驶的环境感知中。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于：包括如下步骤(1)，通过标定方法确定二维图像与三维点云的映射关系；(2)，通过二维图像语义分割算法得到二维图像的语义分割结果；(3)，通过映射关系得到三维点云的语义分割结果；(4)，通过最小二乘平台拟合求取道路平面；(5)，搜寻道路区域中的非道路点；(6)，通过3D区域生长标记未知道路障碍物。2.根据权利要求1所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(1)是将激光雷达与可见光相机固连，形成一个三维点云与二维图像的融合采集系统，以激光雷达坐标系作为大地坐标系，忽略像空间坐标系与大地坐标系在Z方向的平移相对于目标的距离，认为Zc＝Zw，则图像上点的坐标与三维点云中对应点的坐标映射关系表示令H＝A[RT]，作为图像平面与激光扫描平面的单应矩阵，求解单应矩阵H，得到每帧图像中的像素点与对应的激光点云之间的映射关系，进而进行数据融合与场景重建。3.根据权利要求2所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(2)中建立标注数据集，对包括道路、人、车辆、建筑物在内的常见道路场景目标进行像素级标注，或者使用Cityscapes公开数据集，利用Yolact语义分割模型得到道路场景的图像语义分割结果。4.根据权利要求3所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(3)中采集道路场景的三维点云数据与二维图像数据，通过标定求取得到变换矩阵H，得到三维点云中的语义分割结果。5.根据权利要求4所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(4)中通过映射关系将三维点云映射到二维图像中，找到落在语义分割得到的道路区域中的点集Ω，Ω中只包含道路以及道路中的未知障碍物...

【专利技术属性】
技术研发人员：雷波，汤文豪，王晨晟，王密信，李忠，
申请(专利权)人：华中光电技术研究所中国船舶重工集团公司第七一七研究所，
类型：发明
国别省市：