激光点云与2D影像的配准方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例公开了一种激光点云与2D影像的配准方法、装置、设备和介质，其中，该方法包括：分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对；根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2D影像上的同名点对；利用同名点对确定激光点云和2D影像的配准修正矩阵；利用激光点云和2D影像的初始投影关系，以及配准修正矩阵，对激光点云和2D影像进行配准。本发明专利技术实施例可以解决现有技术中激光点云和高精影像的配准精度较低的问题，可以实现激光点云和2D影像之间的精确配准，保证两者的融合精度。

Registration Method, Device, Equipment and Media of Laser Point Cloud and 2D Image

【技术实现步骤摘要】
激光点云与2D影像的配准方法、装置、设备和介质
本专利技术实施例涉及智能交通
，尤其涉及一种激光点云与2D影像的配准方法、装置、设备和介质。
技术介绍
图像配准(ImageRegistration)技术是将不同时间、不同传感器(成像设备)或不同条件下(照度、摄像位置和角度等)获取的两幅或者多幅图像进行匹配、叠加的过程，目前被广泛应用于遥感数据分析、计算机视觉和图像处理等领域。在高精地图的制作过程中，利用激光点云采集设备获取目标的空间位置信息，利用高清彩色摄像机获取目标的色彩信息。激光点云采集设备和高清彩色相机各有优点，即：激光点云数据拥有目标的3D位置信息，但是缺乏目标的色彩信息；高清彩色影像拥有目标的色彩信息，但没有记录目标的空间位置信息。因此，要获取同时拥有空间位置信息和色彩信息的目标，制作3D彩色高精地图，需要将高清彩色影像与点云数据进行配准与融合，即：采用高清彩色摄像机获取的目标的色彩对点云数据的同一个目标进行着色，得到彩色点云。现有技术中，激光点云和高精影像之间的配准，主要采用下述两种方案实现：方案1：直接利用标定的激光点云数据与高精影像的投影矩阵(即投影关系)进行配准与融合处理。该方案中由于激光点云采集设备和相机之间的标定精度有限以及数据采集过程中激光点云采集设备和相机的抖动等因素使得标定结果不准，从而配准过程会出现较大误差，甚至出现同一目标物体匹配错误，导致融合结果不佳。方案2：首先利用上述投影矩阵对激光点云图像和高精影像进行初步配准，然后利用图像配准方法进行精细配准，进而进行融合处理，其中可用的图像配准方法包括：基于模板匹配的方法、基于灰度的图像配准方法、基于变换域的方法、基于模型的方法和基于特征的图像配准(例如surf算法和sift算法等)。由于激光点云和高精影像分别包括不同属性的信息，上述图像配准方法匹配出的同名点(即不同数据源中的同一目标物点)之间仍存在匹配误差，甚至无法找到同名点，导致激光点云和高精影像的配准精度并未明显提升。
技术实现思路
本专利技术实施例提供一种激光点云与2D影像的配准方法、装置、设备和介质，以实现激光点云和2D影像之间的精确配准，保证两者的融合精度。第一方面，本专利技术实施例提供了一种激光点云与2D影像的配准方法，该方法包括：分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2D语义图像的车道线和一条属于所述2D影像的语义图像的车道线；根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2D影像上的同名点对；利用所述同名点对确定所述激光点云和所述2D影像的配准修正矩阵；利用所述激光点云和所述2D影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2D影像进行配准。第二方面，本专利技术实施例还提供了一种激光点云与2D影像的配准装置，该装置包括：车道线线对确定模块，用于分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2D语义图像的车道线和一条属于所述2D影像的语义图像的车道线；同名点对确定模块，用于根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2D影像上的同名点对；配准修正矩阵确定模块，用于利用所述同名点对确定所述激光点云和所述2D影像的配准修正矩阵；配准模块，用于利用所述激光点云和所述2D影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2D影像进行配准。第三方面，本专利技术实施例还提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所述的激光点云与2D影像的配准方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所述的激光点云与2D影像的配准方法。本专利技术实施例通过首先在激光点云的2D语义图像和2D影像的语义图像上分别进行车道线分割，确定至少一组车道线线对，然后根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2D影像上的同名点对，利用同名点对计算激光点云和2D影像的配准修正矩阵，最后利用该配准修正矩阵对激光点云和2D影像的初始投影关系进行修正，解决了现有技术中激光点云和高精影像的配准精度较低的问题，实现了激光点云和2D影像之间的精确配准，保证了两者的融合精度。附图说明图1是本专利技术实施例一提供的激光点云与2D影像的配准方法的流程图；图2a是本专利技术实施例一提供的激光点云的2D语义图像和2D影像的语义图像的一种示意图；图2b是本专利技术实施例一提供的激光点云的2D语义图像和2D影像的语义图像上车道线区域分割结果和同名点对确定结果的一种示意图；图3是本专利技术实施例二提供的激光点云与2D影像的配准方法的流程图；图4是本专利技术实施例三提供的激光点云与2D影像的配准方法的流程图；图5是本专利技术实施例四提供的激光点云与2D影像的配准装置的结构示意图；图6是本专利技术实施例五提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的激光点云与2D影像的配准方法的流程图，本实施例可适用于在得到兼具色彩信息和位置信息的融合数据的过程中，对激光点云数据与2D影像进行配准的情况，该方法可以由激光点云与2D影像的配准装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任意的计算设备，包括但不限于服务器、车载计算设备等。在执行激光点云和2D影像的配准过程中，可以数据流或者图像流的形式持续接收激光点云数据和2D影像，本实施例中主要以当前接收的在相同采集视角下对同一行车环境进行数据采集得到的激光点云数据和2D影像为例，对激光点云和2D影像的配准过程进行详细说明。实施例中所提到的每张语义图像是指在当前配准过程中参与配准的激光点云的语义图像和2D影像的语义图像。如图1所示，本实施例提供的激光点云与2D影像的配准方法可以包括：S110、分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，至少一组车道线线对中每一车道线线对包括一条属于激光点云的2D语义图像的车道线和一条属于2D影像的语义图像的车道线。本实施例中，语义图像是指对原始图像进行像素分类处理后得到的图像。具体的，激光点云的2D语义图像是基于激光点云的强度信息对应的彩色图像，经过像素分类处理以及空间投影变换得到；2D影像(可以由相机拍摄得到)的语义图像是通过对2D影像进行像素分类处理后得到。像素分类具体可以通过现有技术中任意可用的相关方法实现，例如，可以利用预先构建的深度神经卷积网络对输入图像的像素进行分类。待配准的激光点云与2D本文档来自技高网...

【技术保护点】
1.一种激光点云与2D影像的配准方法，其特征在于，包括：分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2D语义图像的车道线和一条属于所述2D影像的语义图像的车道线；根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2D影像上的同名点对；利用所述同名点对确定所述激光点云和所述2D影像的配准修正矩阵；利用所述激光点云和所述2D影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2D影像进行配准。

【技术特征摘要】
1.一种激光点云与2D影像的配准方法，其特征在于，包括：分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2D语义图像的车道线和一条属于所述2D影像的语义图像的车道线；根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2D影像上的同名点对；利用所述同名点对确定所述激光点云和所述2D影像的配准修正矩阵；利用所述激光点云和所述2D影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2D影像进行配准。2.根据权利要求1所述的方法，其特征在于，所述分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，包括：针对所述激光点云的2D语义图像和所述2D影像的语义图像，分别在每张语义图像上确定包括车道线的目标区域，并根据所述目标区域内车道线的方向，确定每张语义图像上的消逝点；分别根据每张语义图像上的消逝点，以及每张语义图像上所述目标区域内的车道线位置，在每张语义图像上确定预设数量的切分线；根据所述激光点云的2D语义图像和所述2D影像的语义图像之间切分线的对应关系，将所述激光点云的2D语义图像和所述2D影像的语义图像上的车道线进行对应分组，确定所述至少一组车道线线对。3.根据权利要求2所述的方法，其特征在于，所述根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2D影像上的同名点对，包括：在每张语义图像上，将所述确定的消逝点作为圆心，并利用所述圆心与不同的预设半径作圆；根据每组车道线线对中每条车道线与对应语义图像上每个圆的交点，确定所述同名点对。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：分别根据每张语义图像上特定区域内的车道线线段，对每张语义图像上的消逝点进行位置修正，以将所述位置修正后的消逝点作为圆心，并利用所述不同的预设半径作圆。5.根据权利要求4所述的方法，其特征在于，所述根据每组车道线线对中每条车道线与对应语义图像上每个圆的交点，确定所述同名点对，包括：根据每组车道线线对中每条车道线与对应语义图像上每个目标圆的交点，确定所述激光点云和所述2D影像上在每个预设半径下的至少一组候选同名点对，其中，所述目标圆指针对每个预设半径，以不同的位置修正后的消逝点为圆心所绘制的圆；在每个预设半径下，通过分别对所述激光点云的2D语义图像和所述2D影像的语义图像上的候选同名点进行聚类计算，从所述至少一组候选同名点对中确定目标同名点对，以利用各个预设半径下的目标同名点对确定所述配准修正矩阵。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：对激光点云图像在3D空间进行像素分类，得到所述激光点云的3D语义图像，并利用所述激光点云和所述2D影像的初始投影关系对所述3D语义图像进行投影变换，得到所述激光点云的2D语义图像；对所述2D影像进行像素分类，得到所述2D影像的语义图像。7.根据权利要求1所述的方法，其特征在于，所述分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割之前，所述方法还包括：根据所述激光点云的2D语义图像和所述2D影像的语义图像上的对象标签，确定每张语义图像上的车道线。8.根据权利要求1所述的方法，其特征在于，所述分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割之前，所述方法还包括：根据所述激光点云的2D语义图像和所述2D影像的语义图像上的对象标签，确定匹配对象；如果所述匹配对象之间的位置匹配度不满足预设要求，则触发所述在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割的操作。9.一种激光点云与2D影像的配准装置，其特征在于，包括：车道线线对确定模块，用于分别在激光点云的2D语义图像和2D影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2D语义图像的车道线和一条属于所述2D影像的语义图像...

【专利技术属性】
技术研发人员：赵祖轩，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11