语义点云地图构建方法、装置及电子设备制造方法及图纸

本发明专利技术涉及点云地图技术领域，提供了一种语义点云地图构建方法、装置及电子设备。上述方法包括：获取车辆的轮速计数据和摄像机采集的图像数据；将轮速计数据和图像数据融合得到每一帧图像的位姿信息；确定每一帧图像中各个像素的语义类别；确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标；基于位姿信息和第一坐标，确定图像目标元素的点云坐标；根据点云坐标和图像目标元素的语义类别，生成语义点云地图。上述方法通过车辆现有的轮速计和摄像机采集相关数据，成本较低；通过摄像机坐标系下的坐标和位姿信息确定图像元素的点云坐标，只需要对摄像机做好内参标定与测距标定即可，实现简单。实现简单。实现简单。

【技术实现步骤摘要】
语义点云地图构建方法、装置及电子设备


[0001]本专利技术涉及用于自动驾驶的点云地图
，具体涉及在互联网环境下的一种语义点云地图构建方法、装置及电子设备。

技术介绍

[0002]目前，在智能驾驶这一新兴领域，高精度地图为车辆的自动驾驶提供了更强的先验信息，其不仅可以为智能驾驶的车辆行驶中给出导航信息，又可以提供障碍物的准确位置，保证了车辆的行驶安全与稳定性。
[0003]在AVP（Automated Valet Parking，自主代客泊车系统）场景下，由于该场景中可能无GPS/RTK等定位信息，为了让智能驾驶车辆在该场景下定位与导航，语义地图应运而生。在一些语义地图的采集方案中，使用激光雷达配合惯性传感器做语义点云地图的采集，该方案虽然能得到语义地图，但由于激光雷达采集的激光点云数据较大，给后续点云的语义处理带来较大的难度，并且激光雷达的成本较高，无法达到量产的要求。在另外一些方案中，采集的点云数据为特征点角点数据，该特征点对环境依赖较为严重，当环境发生较大变化时，对应的特征点也将发生较大变化，使用该方法采集的地图无法达到时效性要求。

技术实现思路

[0004]为克服相关技术中存在的问题，本申请实施例提供了语义点云地图构建方法、装置及电子设备。
[0005]本申请是通过如下技术方案实现的：第一方面，本申请实施例提供了一种语义点云地图构建方法，包括：获取车辆的轮速计数据和摄像机采集的图像数据，上述图像数据包括多帧图像，上述轮速计数据和多帧图像均有对应的时间戳；按照时间先后顺序，将上述轮速计数据和多帧图像进行融合，得到该多帧图像中的每一帧图像的位姿信息；确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，图像目标元素为多种图像元素中的部分图像元素；基于位姿信息和第一坐标，确定图像目标元素的点云坐标；根据点云坐标和图像目标元素的语义类别，生成语义点云地图。
[0006]上述语义点云地图构建方法，通过车辆现有的轮速计和摄像机采集轮速计数据和图像数据，然后将轮速计数据和图像数据融合得到每一帧图像的位姿信息。之后根据每一帧图像中的图像目标元素在摄像机坐标系下的坐标和位姿信息确定各个图像元素点的点云坐标。最后，根据各个图像元素点的语义和点云坐标生成语义点云地图。本申请通过车辆现有的轮速计和摄像机采集相关数据，成本较低；通过摄像机坐标系下的坐标和位姿信息确定图像元素的点云坐标，只需要对摄像机做好内参标定与测距标定即可，实现简单。
[0007]基于第一方面，在一些实施例中，上述方法还包括：将轮速计数据和多帧图像录制成ROS bag数据包；上述按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息，包括：按照时间先后顺序从ROS bag数据包
读取ROS bag数据，将轮速计数据与多帧图像在SLAM的框架下进行融合，得到每一帧图像的位姿信息。
[0008]基于第一方面，在一些实施例中，上述方法还包括确定多帧图像中的每一帧图像中各个像素对应的语义类别的步骤，该步骤包括：读取上述多帧图像中的每一帧图像，通过深度学习模型对该帧图像进行识别分割，得到该帧图像中每一像素对应的语义类别，并基于语义类别生成MASK图像，MASK图像为与该帧图像具有相同大小的图像，且MASK图像中的每个像素点的值表示该帧图像中对应位置像素点的语义；其中，语义类别包括以下一项或多项：背景、路面车道线、指示箭头、减速带、斑马线、停止线、车位线、柱子和雪糕筒。
[0009]基于第一方面，在一些实施例中，所述确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，包括：对某一帧图像，读取该帧图像对应的目标帧MASK图像；对于目标帧MASK图像中的每一像素点，若该像素点对应的图像元素为图像目标元素，则根据该图像元素在目标帧MASK图像中的第二坐标确定第一坐标；基于第一坐标确定该像素点是否位于感兴趣区域，若不位于感兴趣区域则将该像素点删除。
[0010]基于第一方面，在一些实施例中，上述根据该图像元素在目标帧MASK图像中的第二坐标确定所述第一坐标，包括：该图像元素的第二坐标为pix(u,v)，则第一坐标coor
cam
(x,y,z)通过计算得到，其中m
11
、m
12
、m
21
、m
22
、m
31
、m
32
为摄像机与车辆的外参。
[0011]基于第一方面，在一些实施例中，所述基于所述位姿信息和所述第一坐标，确定所述图像目标元素的点云坐标，包括：获取当前帧图像的位姿信息；根据当前帧图像的位姿信息和所述第一坐标，通过P
w
=T
cam
*P
cam
计算图像目标元素的点云坐标，P
cam
为第一坐标，T
cam
为位姿信息。
[0012]基于第一方面，在一些实施例中，上述根据点云坐标和图像目标元素的语义类别，生成语义点云地图，包括：将图像目标元素的语义类别赋值为该点云的类别属性；根据该点云的类别属性和点云坐标，生成语义点云地图。
[0013]第二方面，本申请实施例提供了一种语义点云地图构建装置，包括：获取模块，用于获取车辆的轮速计数据和摄像机采集的图像数据，所述图像数据包括多帧图像，所述轮速计数据和所述多帧图像均有对应的时间戳；位姿模块，用于按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息；第一确定模块，用于确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，所述图像目标元素为多种图像元素中的部分图像元素；第二确定模块，用于基于所述位姿信息和所述第一坐标，确定所述图像目标元素的点云坐标；生成模块，用于根据所述点云坐标和所述图像目标元素的语义类别，生成语义点云地图。
[0014]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的语义点云地图构建方法。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的语
义点云地图构建方法。
[0016]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的语义点云地图构建方法。
[0017]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义点云地图构建方法，其特征在于，包括：获取车辆的轮速计数据和摄像机采集的图像数据，所述图像数据包括多帧图像，所述轮速计数据和所述多帧图像均有对应的时间戳；按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息；确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，所述图像目标元素为多种图像元素中的部分图像元素；基于所述位姿信息和所述第一坐标，确定所述图像目标元素的点云坐标；根据所述点云坐标和所述图像目标元素的语义类别，生成语义点云地图。2.如权利要求1所述的语义点云地图构建方法，其特征在于，所述方法还包括：将所述轮速计数据和所述多帧图像录制成ROS bag数据包；所述按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息，包括：按照时间先后顺序从所述ROS bag数据包读取ROS bag数据，将所述轮速计数据与所述多帧图像在SLAM的框架下进行融合，得到每一帧图像的位姿信息。3.如权利要求1所述的语义点云地图构建方法，其特征在于，所述方法还包括：读取所述多帧图像中的每一帧图像，通过深度学习模型对该帧图像进行识别分割，得到该帧图像中每一像素对应的语义类别，并基于所述语义类别生成MASK图像，所述MASK图像为与该帧图像具有相同大小的图像，且MASK图像中的每个像素点的值表示该帧图像中对应位置像素点的语义；其中，所述语义类别包括以下一项或多项：背景、路面车道线、指示箭头、减速带、斑马线、停止线、车位线、柱子和雪糕筒。4.如权利要求3所述的语义点云地图构建方法，其特征在于，所述确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，包括：对某一帧图像，读取该帧图像对应的目标帧MASK图像；对于所述目标帧MASK图像中的每一像素点，若该像素点对应的图像元素为所述图像目标元素，则根据该图像元素在所述目标帧MASK图像中的第二坐标确定所述第一坐标；基于所述第一坐标确定该像素点是否位于感兴趣区域，若不位于所述感兴趣区域则将该像素点删除。5.如权利要求4所述的语义点云地图构建方法，其特征在于，所述根据该图像元素在所述目标帧MASK图像中的第二坐标确定所述第一坐标，包括：该图像元素的第二坐标为pix...

【专利技术属性】
技术研发人员：刘尚武，谢浪雄，黄普辉，陈桂松，龙辉，刘芳文，徐顺帆，
申请(专利权)人：联友智连科技有限公司，
类型：发明
国别省市：