一种3D语义分割的方法及终端技术

本发明专利技术公开了一种3D语义分割的方法，通过摄像机获取待测场景的2D图像，利用Mask‑Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；通过雷达获取待测场景雷达点云图；根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像明显提高了3D语义分割的速度，并且由于2D语义分割的技术Mask‑Rcnn发展时间更久，较为成熟，相较于直接对3D图像进行语义分割，其结果也更加准确，同时利用雷达提供待测图像的三维信息，成功实现2D语义分割图像到3D语义分割图像的转化，并且雷达测量所得的数据精度高，能够保证转化之后3D语义分割图像的精度，最终实现高效准确地进行3D语义分割。

【技术实现步骤摘要】
一种3D语义分割的方法及终端
本专利技术涉及图像处理领域，尤其涉及一种3D语义分割的方法及终端。
技术介绍
无人驾驶系统中，基本需要激光雷达作为主要传感器，用来局部定位和建图。视觉传感器(摄像头)用来对物体进行识别和语义分割，同时辅助激光雷达定位。一般来说，对于识别到的物体都需要获取三维的尺度信息，才能够为决策系统提供足够的必要输入信息。现今的3D语义分割主要是运用3D信息，通过神经网络对3D图像上的物体进行分类和分割边缘，其中，3D信息通常以点云的形式提供尺度数据。主要实现步骤包括：运用CNN架构提取3D数据中的特征点，在其卷积层对数据进行处理，由任务层提供特定的目标函数，进行3D数据的语义分割一般需要定义多任务，如分类和语义分割。但是，3D的语义分割要求实时性，需要昂贵的硬件做支持，另外，直接对3D点云进行运算的速度较慢，神经网络架构在执行多任务时的精度也不高。
技术实现思路
本专利技术所要解决的技术问题是：提供一种3D语义分割的方法及终端，能够快速准确地实现对待测场景的3D语义分割。为了解决上述技术问题，本专利本文档来自技高网...

【技术保护点】
1.一种3D语义分割的方法，其特征在于，包括步骤：/nS1、通过摄像机获取待测场景的2D图像，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；/nS2、通过雷达获取待测场景雷达点云图；/nS3、根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像。/n

【技术特征摘要】
1.一种3D语义分割的方法，其特征在于，包括步骤：
S1、通过摄像机获取待测场景的2D图像，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；
S2、通过雷达获取待测场景雷达点云图；
S3、根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像。


2.根据权利要求1所述的一种3D语义分割的方法，其特征在于，所述S1中，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像，具体为：
将所述2D图像通过卷积神经网络，识别出所述2D图像中待分割物体的特征，将所述2D图像分割为第一图像集合；
将所述第一图像集合通过RPN，识别所述第一图像集合中每一个待分割物体的区域，将所述第一图像集合中的图像分割为第二图像集合；
将所述第二图像集合通过ROIAlign获取每一个待分割物体的像素集合及其类别；
根据每一个待分割物体的像素集合及其类别，对所述2D图像中的待分割物体进行分类和坐标估计，并分割出所述2D图像中的待分割物体，得到所述2D语义分割图像。


3.根据权利要求1所述的一种3D语义分割的方法，其特征在于，所述S3包括：
S31、将所述2D语义分割图像中像素点与所述雷达点云图中像素点进行匹配，若雷达点云图中有所述像素点的匹配点，则确定所述像素点为匹配像素点，其余像素点为未匹配像素点；
S32、根据雷达坐标系提供的深度信息，获取匹配像素点的深度信息；
S33、根据针孔摄像机模型和所述匹配像素点的深度信息，计算得到所述未匹配像素点的深度信息；
S34、根据所述2D语义分割图像和所述2D语义分割图像中每一个像素点对应的深度信息生成3D语义分割图像。


4.根据权利要求3所述的一种3D语义分割的方法，其特征在于，所述步骤S33包括：
确定所述2D语义分割图像上的像素点在相机坐标系下的坐标与所述雷达提供的坐标之间的第一映射关系；
确定所述雷达提供的坐标与所述2D语义分割图像上的像素点的坐标之间的第二映射关系；
确定所述2D语义分割图像上的像素点归一化的坐标与所述2D语义分割图像上的像素点的坐标之间的第三映射关系；
根据所述雷达提供的第一坐标、所述2D语义分割图像上的匹配像素点的第二坐标、所述2D语义分割图像上的匹配像素点归一化后的第三坐标、所述第一映射关系、第二映射关系、第三映射关系、所述2D语义分割图像上的未匹配像素点的坐标和针孔摄像机模型，得到所述未匹配像素点的深度信息。


5.根据权利要求4所述的一种3D语义分割的方法，其特征在于，所述S33具体为：
确定所述2D语义分割图像上的像素点在相机坐标系下的坐标P与所述雷达提供的坐标Pl之间的第一映射关系：
P＝RlcPl+tlc；
式中，Rlc表示方向余弦矩阵，tlc表示平移量；
确定所述雷达提供的坐标P与所述2D语义分割图像上的像素点的坐标(xh，yv)之间的第二映射关系:



确定所述2D语义分割图像上的像素点归一化的坐标(u，v)与所述2D语义分割图像上的像素点的坐标(xh，yv)之间的第三映射关系：



根据所述雷达提供的第一坐标Pl(Xl,Yl,Zl)和所述第一映射关系确定出所述2D语义分割图像上的像素点在相机坐标系下的第四坐标P(X,Y,Z)；
根据所述2D语义分割图像上的像素点在相机坐标系下的第四坐标P(X,Y,Z)、所述2D语义分割图像上的匹配像素点的第二坐标(x’h，y’v)以及与其匹配的深度信息Z’、所述2D语义分割图像上的匹配像素点归一化后的第三坐标(u’，v’)、所述第二映射关系和第三映射关系确定出A、B、C、D的值，A、B表示归一化后的2D语义分割图像的比例缩放系数矩阵中的待定系数，C、D表示2D语义分割图像的比例缩放系数矩阵中的待定系数；
根据所述2D语义分割图像上的未匹配像素点的坐标(x”h，y”v)、所述C、D和所述第二映射关系确定出雷达投影的图像中对应像素点的坐标(X’，Y’)；
根据所述2D语义分割图像上的未匹配像素点的坐标(x”h，y”v)、所述A、B和所述第三映射关系确定出雷达投影的图像中对应的像素点归一化后的坐标(u”，v”)；
将所述(X’，Y’)和所述(u”，v”)代入针孔摄像机模型：



得到所述未匹配像素点对应的深度信息Z”，式中，fx、fy分别为摄像机获取图像时横向、纵向焦距，包含图像的缩放信息，cx、cy为由于相机畸变照成的相机成像后的图像和实际图像的横向和纵向的偏差。


6.一种3D语义分割的终端，包括存储器、...

【专利技术属性】
技术研发人员：项崴，
申请(专利权)人：江苏盛海智能科技有限公司，
类型：发明
国别省市：江苏;32