建图方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种建图方法、装置、电子设备和存储介质，该方法包括：对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。本公开提高了建图精度。本公开提高了建图精度。本公开提高了建图精度。

【技术实现步骤摘要】
建图方法、装置、电子设备和存储介质


[0001]本公开涉及建图
，尤其涉及一种建图方法、装置、电子设备和存储介质。

技术介绍

[0002]建图与定位技术是自动驾驶领域的核心技术之一。在无人驾驶场景，通常首先需要对环境进行建图，然后在建好的地图中实现定位功能。建图的精度会很大程度地影响定位的精度，因此想要实现高精度定位首先要建立高精度地图。

技术实现思路

[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种建图方法、装置、电子设备和存储介质，提高了建图精度。
[0004]第一方面，本公开实施例提供了一种建图方法，该方法包括：
[0005]对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；
[0006]根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；
[0007]基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；
[0008]基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。
[0009]第二方面，本公开实施例还提供了一种建图装置，该装置包括：
[0010]分割模块，用于对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；
[0011]确定模块，用于根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；<br/>[0012]重建模块，用于基于多传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；
[0013]后处理模块，用于基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云进行后处理，获得所述预设场景的语义地图。
[0014]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的建图方法。
[0015]第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的建图方法。
[0016]本公开实施例提供的建图方法，通过结合图像和点云实现建图，而不是单纯基于点云或者图像实现建图，可提高建图精度。具体的，对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；根据所述第一图像确定针对所述预设场景采集的
点云中各点的语义标签，获得带有语义标签的点云；基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。
附图说明
[0017]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0018]图1为本公开实施例中的一种建图方法的流程图；
[0019]图2为本公开实施例中的一种对原始图像进行语义分割的流程示意图；
[0020]图3为本公开实施例中的一种点云图像同步投影建图模块的工作流程图；
[0021]图4为本公开实施例中的一种过滤前的点云效果示意图；
[0022]图5为本公开实施例中的一种过滤后的点云效果示意图；
[0023]图6为本公开实施例中的一种后处理的流程图；
[0024]图7为本公开实施例中的一种建图方法的流程图；
[0025]图8为本公开实施例中的一种建图装置的结构示意图；
[0026]图9为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
[0027]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0028]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0029]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0030]图1为本公开实施例中的一种建图方法的流程图。该方法可以由建图装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中。如图1所示，该方法具体可以包括如下步骤：
[0031]步骤110、对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像。
[0032]其中，预设场景可以是园区或者交通道路等需要构建地图的场所。预设场景的原始图像可以通过车载相机拍摄获得。
[0033]对原始图像进行语义分割的目的是识别原始图像中的不同物体，若原始图像中包含多个不同物体，通过语义分割获得的带有语义标签的第一图像包括多个标志，每个标志所在的位置存在像素值，没有标志的位置的像素值为0。不同的标志表示不同的物体，例如路牌、人行道或者马路沿等。每个标志对应一个语义标签，或者说是类别标签，用于表示该
物体的类别(例如路牌、人行道等类别)。
[0034]示例性的，对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像，包括：
[0035]将所述原始图像输入至训练过的深度神经网络模型，获得带有语义标签的第一图像。其中，深度神经网络模型的网络可以是Upernet，Upernet的架构是SwinTransformer。深度神经网络模型的输入是通过车载相机拍摄到的预设场景的原始图像，输出是带有语义标签的第一图像。
[0036]进一步的，可以参考如图2所示的一种对原始图像进行语义分割的流程示意图，包括：将原始图像数据输入至语义分割网络
‑
获得去除背景，保留道路标识(例如路牌、人行道)的分割结果
‑
由分割结果组成的道路标识的掩膜(掩膜即为即带有语义标签的第一图像)。
[0037]步骤120、根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云。
[0038]由于点云自身缺乏语义信息，因此较难直接对点云进行精确的语义分割，因此在本实施例中借助带有语义标签的第一图像确定点云的语义信息，从而提高建图精度。
[0039]可选的，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云之前，所述方法还包括：...

【技术保护点】

【技术特征摘要】
1.一种建图方法，其特征在于，所述方法包括：对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云之前，所述方法还包括：根据所述第一图像的时间戳以及所述点云的时间戳对所述第一图像与所述点云进行数据关联处理，获得时间同步的第一图像与点云的组合，其中，所述第一图像是在预设的相机参数下采集获得的图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，包括：将同一组合中的点云投影至所述同一组合中的第一图像，以使所述点云中的点与所述第一图像中的像素相对应；将所述第一图像中与所述点云中目标点对应的像素的语义标签确定为所述目标点的语义标签。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，还包括：根据预设强度阈值，分别针对相同语义标签下的点云进行过滤，以减少噪声点；其中，所述预设强度阈值基于语义标签的类别确定，不同类别的语义标签对应的预设强度阈值不同。5.根据权利要求1所述的方法，其特征在于，所述基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图，包括：对所述点云地图中带有语义标签的点云进行栅格化处理，获得过滤后的点云；基于预设聚类算法对所述过滤后的点云进行聚类，获得多个点云聚类簇；基于至少两种用于确定车道...

【专利技术属性】
技术研发人员：刘泽曦，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：