利用激光雷达和视觉传感器融合在线构建语义地图的方法技术

本发明专利技术涉及一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，包括：获取当前车辆的初始化栅格地图，获取激光雷达对应的测距数据、视觉传感器对应的图像数据；对激光雷达的测距数据进行目标检测处理，获取多个第一类检测目标的多属性信息；对视觉传感器的图像数据进行特征提取和匹配，获取多个第二类检测目标的多属性信息；融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，生成作为语义地图的高维栅格地图，高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。本发明专利技术的方法可以实时在线表示车辆周围的动静态环境多维语义信息。

An online semantic map construction method based on lidar and visual sensor fusion

The invention relates to a method for online building semantic map by using lidar and visual sensor fusion, which includes: acquiring the initialization grid map of current vehicle, acquiring the range data corresponding to the lidar and the image data corresponding to the visual sensor; processing the range data of the lidar to obtain the multi-attribute information of multiple first class detection targets; and The image data of vision sensor is extracted and matched to obtain the multi-attribute information of multiple second type detection targets; the multi-attribute information of the first type detection target and the second type detection target is fused, and the multi-attribute information of the fused detection target is imported into the redis database to generate the high-dimensional grid map as the semantic map and each detection in the high-dimensional grid map The multi-attribute information of the target is stored as a dynamic database table. The method of the invention can real-time and online express multi-dimensional semantic information of dynamic and static environment around the vehicle.

【技术实现步骤摘要】
利用激光雷达和视觉传感器融合在线构建语义地图的方法
本专利技术涉及地图构建
，尤其涉及一种利用激光雷达和视觉传感器融合在线构建语义地图的方法。
技术介绍
目前对于无人驾驶道路环境的描述，大致可以分为高精地图、占用栅格地图、代价地图、拓扑地图、语义地图。高精地图可以对道路网进行精确三维表征，可视化效果好，可达了厘米级的定位精度，为无人驾驶提供大量的(如交叉路口布局和路标位置等)辅助信息。但是高精地图需要离线采用大量的人工标注工作才能实现，且只能包含道路的静态信息，数据采集和更新成本高、效率低。代价地图是由多层不同含义的占用栅格地图组成，但是由于不同图层信息相互独立不能融合在一起，对于动态障碍物，无法被及时的清除，通常会留下影子一样的轨迹。语义地图可以将激光雷达和视觉传感器检测和分割的语义信息投影到栅格地图中，包括信号灯颜色定义、道路限速信息、车辆转弯开始位置，障碍物的方位、速度等。通过在3D地图中引入少量语义标签等先验信息，无需大量的人工标注即可实现无人驾驶汽车局部路径规划、避障、安全预测等的基本技术。然而，现有语义地图大多都是在部分人工干预下构建的带标记点云或物体的离线地图，且需要采集的数据量巨大(通常为TB级)，如何在线实时存储和维护地图中的海量语义信息、基于海量语义信息的实时检索和更新还存在技术瓶颈，成为语义地图广泛应用的一种障碍。
技术实现思路
(一)要解决的技术问题鉴于现有技术的上述缺点、不足，本专利技术提供一种利用激光雷达和视觉传感器融合在线构建语义地图的方法。(二)技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：第一方面，本专利技术实施例提供一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，包括：101、获取当前车辆的栅格地图，所述栅格地图包括多个用于存放检测目标的栅格/网格，且每一栅格/网格具有唯一的与方位关联的一维字符串标识；102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据，视觉传感器对应的图像数据；103、对激光雷达的测距数据进行目标检测处理，获取转换至栅格地图对应的大地坐标系下的多个第一类检测目标的多属性信息；104、对视觉传感器的图像数据进行特征提取、匹配及重建，获取转换至栅格地图对应的大地坐标系下的多个第二类检测目标的多属性信息；105、融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，在线生成作为语义地图的高维栅格地图，所述高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。可选地，所述101包括：借助于GPS-RTK获取当前车辆的位置信息；根据当前车辆的位置信息，建立指定尺寸的包括多个栅格的网格地图作为初始栅格地图；将所述初始栅格地图每一网格的二维坐标转换为大地坐标系下的经纬度坐标，得到转换坐标的栅格地图；采用GEOHASH算法将转换坐标的栅格地图中每一网格的经纬度坐标编码为一维字符串，以代表栅格地图中每一网格的地理标识。根据每一栅格所在的地理位置信息对该栅格进行标识，使得每一栅格具有唯一的与地理位置对应的标识。可选地，所述102包括：借助于棋盘格平面靶标的方式对激光雷达和视觉传感器外部的方位关系进行标定，将激光点云投影到二维图像，观察是否重合，从而获得激光雷达相对于相机的旋转和平移，如图5所示；所述激光雷达和视觉传感器均为借助于机器人设置在车辆上的目标探测设备；利用激光雷达采集当前车辆周围的测距数据，以获取三维点云数据；利用视觉传感器采集当前车辆周围的图像数据。可选地，所述103包括：利用点云数据高程信息对三维点云数据进行地面和非地面区域的分割；根据激光雷达的特征参数，对分割的非地面区域障碍物目标进行聚类识别，获取障碍物在栅格地图中的以一维字符串表示的位置信息。可选地，所述103还包括：采用FastPointR-CNN对三维点云数据中对应障碍物的点云数据进行聚类得到动态和静态的第一类检测目标的类别信息。可选地，所述104包括：视觉传感器包括多个不同焦距的镜头时，检测每一镜头的图像数据中各目标的类别及位置信息；对多个镜头的图像数据进行坐标转换处理，并采用双目异焦距立体视觉重建方法对坐标转换后的点云数据进行三维重建定位，获得所有镜头中所有目标的三维定位信息及类别标签语义信息；三维定位信息及类别标签语义信息组成第二类检测目标的多属性信息。可选地，所述104还包括：将第二类检测目标的多属性信息投影变换栅格地图对应的大地坐标系下，并采用一维字符串表示各第二类检测目标的位置信息。可选地，所述105包括：根据预先设定的激光雷达和视觉传感器的权重比值，融合第一类检测目标和第二类检测目标的多属性信息；和/或，第一类检测目标包括：包括路沿、车道线、树木以及建筑物的静态障碍物，包括行人、机动车及非机动车的动态障碍物；第一类检测目标的多属性信息包括：类型、尺寸、位置、速度和姿态以及形状、材质信息；第二类检测目标包括：行人、小动物、机动车、非机动车、红绿灯或车道线交通标志；第二类检测目标的多属性信息包括：目标在各图像中的位置信息、尺寸信息、速度及类别信息。可选地，所述方法还包括：更新多属性栅格地图中动静态目标的语义信息；和/或，基于GEOHASH编码算法和Redis数据库的动态读写信息、激光雷达采集点云数据的帧率，对多属性栅格地图中动静态目标的进行更新。可选地，所述方法还包括：基于GEOHASH编码算法，则在栅格地图中检索当前时刻的采用一维字符串表示的动态目标，并在Redis数据库中实时对该动态目标的位置和属性信息进行更新；其中，栅格地图中任一目标的位置信息采用一维字符串表示。第二方面，本专利技术实施例还提供一种智能车驾驶系统，包括：控制装置和与控制装置连接的多目成像装置，所述多目成像装置包括：激光雷达和视觉传感器；所述控制装置接收激光雷达和视觉传感器分别采集的测距数据和图像数据后，采用上述第一方面任一所述的在线构建语义地图的方法构建智能车的三维语义地图。第三方面，本专利技术实施例还提供一种智能车，包括上述第二方面所述的智能车驾驶系统。(三)有益效果本专利技术的有益效果是：本专利技术的方法构建的高精度语义地图无需人工标注即可以实时表示车辆周围的动静态环境多维语义信息。例如，激光雷达获取诸如行人，机动车，非机动车等动态目标类别、尺寸、位置、速度和运动方向等多元属性信息。视觉传感器辅助激光雷达获取小动物等动态目标类别、位置及速度信息，获取路沿、车道线、防撞桶以及红绿灯等交通标志静态目标具体类别、位置和尺度信息，方便车辆行驶。进一步地，与现有地图构建技术相比(例如占据栅格地图OccupancyGridMap,代价地图Costmap)本文档来自技高网...

【技术保护点】
1.一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，其特征在于，包括：/n101、获取当前车辆的栅格地图，所述栅格地图包括多个用于存放检测目标的栅格/网格，且每一栅格/网格具有唯一的与方位关联的一维字符串标识；/n102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据、视觉传感器对应的图像数据；/n103、对激光雷达的测距数据进行目标检测处理，获取转换至栅格地图对应的大地坐标系下的多个第一类检测目标的多属性信息；/n104、对视觉传感器的图像数据进行特征提取、匹配及重建，获取转换至栅格地图对应的大地坐标系下的多个第二类检测目标的多属性信息；/n105、融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，在线生成作为语义地图的高维栅格地图，所述高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。/n

【技术特征摘要】
1.一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，其特征在于，包括：
101、获取当前车辆的栅格地图，所述栅格地图包括多个用于存放检测目标的栅格/网格，且每一栅格/网格具有唯一的与方位关联的一维字符串标识；
102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据、视觉传感器对应的图像数据；
103、对激光雷达的测距数据进行目标检测处理，获取转换至栅格地图对应的大地坐标系下的多个第一类检测目标的多属性信息；
104、对视觉传感器的图像数据进行特征提取、匹配及重建，获取转换至栅格地图对应的大地坐标系下的多个第二类检测目标的多属性信息；
105、融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，在线生成作为语义地图的高维栅格地图，所述高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。


2.根据权利要求1所述的方法，其特征在于，所述101包括：
借助于GPS-RTK获取当前车辆的位置信息；
根据当前车辆的位置信息，建立指定尺寸的包括多个栅格的网格地图作为初始栅格地图；
将所述初始栅格地图每一网格的二维坐标转换为大地坐标系下的经纬度坐标，得到转换坐标的栅格地图；
采用GEOHASH算法将转换坐标的栅格地图中每一网格的经纬度坐标编码为一维字符串，以代表栅格地图中每一网格的地理标识。


3.根据权利要求1所述的方法，其特征在于，所述102包括：
借助于棋盘格平面靶标的方式对激光雷达和视觉传感器外部的方位关系进行标定；所述激光雷达和视觉传感器均为借助于机器人设置在车辆上的目标探测设备；
利用激光雷达采集当前车辆周围的测距数据，以获取三维点云数据；
利用视觉传感器采集当前车辆周围的图像数据。


4.根据权利要求3所述的方法，其特征在于，所述103包括：
利用点云数据高程信息对三维点云数据进行地面和非地面区域的分割；
根据激光雷达的特征参数，对分割的非地面区域障碍物目标进行聚类识别，获取障碍物在栅格地图中的以一维字符串表示的位置信息。


5.根据权利要求4所述的方法，其特征在于，所述103还包括：
采用FastPointR-CNN对三维点云数据中对应障碍物的点云数据进行聚类得到动态和静态的第一类检测目标的类别信息。


6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：安成刚，张立国，张旗，李巍，李会祥，吴程飞，张志强，王增志，史明亮，
申请(专利权)人：廊坊和易生活网络科技股份有限公司，
类型：发明
国别省市：河北;13