自动在点云地图上标注红绿灯的方法及系统技术方案

本发明专利技术公开一种自动在点云地图上标注红绿灯的系统，包括数据采集模块、点云地图生成模块、红绿灯定位模块；其中，数据采集模块用于采集数据，点云地图生成模块用于根据采集的数据生成点云地图；红绿灯定位模块根据采集数据在生成的点云地图上完成红绿灯的标注。本发明专利技术主要把视觉检测的红绿灯和激光检测的红绿灯在3D空间位置内的误差反向传播到摄像头和激光雷达之间的外参，修正摄像头和激光雷达之间的外参误差再进行红绿灯在点云地图上的标定。本发明专利技术还提供了一种自动在点云地图上标注红绿灯的方法。本发明专利技术能够完全实现全自动的标注红绿灯在高精度点云地图中的位置；有效提高标定的准确性；同时大大降低了采集成本，增加了数据标注来源的丰富性。数据标注来源的丰富性。数据标注来源的丰富性。

【技术实现步骤摘要】
自动在点云地图上标注红绿灯的方法及系统


[0001]本专利技术属于数据处理领域，特别涉及一种自动在点云地图上标注红绿灯的方法及系 统。

技术介绍

[0002]随着传感器技术的进步和汽车产业的快速发展，高级辅助驾驶技术以及无人驾驶技 术在近几年来取得了巨大的进步。无论是高级辅助驾驶技术还是无人驾驶技术都无法摆 脱对高精度地图的依赖。
[0003]经历了导航地图绘制技术的多年发展，高精度地图绘制技术起步时便具备了部分自 动化的属性。高精地图绘制过程中的车道线检测，交通标志识别这些简单的任务已经高 度自动化。但是由于种种原因，我国各个城市的红绿灯的外观并不统一，因此只能依靠 人工在高精度点云地图中标注红绿灯的位置。同时包含多个行驶方向的路口的红绿灯一 般不止一个，目前行业内是完全依靠人工确定每个红绿灯的位置及对应的行驶方向。

技术实现思路

[0004]专利技术目的：本专利技术针对现有技术存在的问题，提出了一种完全实现自动化、有效提 高标注准确性的自动在点云地图上标注红绿灯的系统。
[0005]技术方案：为实现上述目的，本专利技术提供了一种自动在点云地图上标注红绿灯的系 统，包括数据采集模块、点云地图生成模块、红绿灯定位模块；
[0006]数据采集模块用于数据采集模块用于在车辆通过路口时，采集路口的环境信息和车 辆行驶信息；环境信息包括图片信息和激光点云信息；数据采集模块包括摄像头、激光 雷达和组合导航单元；所述摄像头用于采集图片信息，激光雷达用于采集激光点云信息， 组合导航单元用于采集车辆行驶信息；
[0007]点云地图生成模块根据数据采集模块采集到的集路口的环境信息和车辆行驶信息； 得到包括了路口环境的高精度的点云地图；
[0008]红绿灯定位模块包括红绿灯在图片中的位置识别子模块、红绿灯位置坐标转换子模 块、激光雷达到摄像头的外参矩阵修正子模块；
[0009]其中，红绿灯在图片中的位置识别子模块通过图片信息识别出每张图片中亮绿灯的 红绿灯位置；
[0010]红绿灯位置坐标转换子模块将亮绿灯的红绿灯位置转后到高精度的点云地图上的 位置；
[0011]激光雷达到摄像头的外参矩阵修正子模块根据红绿灯位置坐标转换子模块得到的 亮绿灯的红绿灯在高精度的点云地图上的位置判断是否需要修正激光雷达到摄像头的 外参矩阵；如果不需要修正，则将当前得到的亮绿灯的红绿灯在高精度的点云地图上的 位置和指示通行方向进行标注；如果需要修正；则对激光雷达到摄像头的外参矩阵进行 修正，修正后重复红绿灯位置坐标转换子模块和激光雷达到摄像头的外参矩阵修正子模 块
Point_to_line_distance_set中第i个亮绿灯的红路灯的聚类点云的质心到红绿灯轮廓框位 置的最短距离；
[0025]步骤10：将步骤5中得到的在高精度的点云地图Pointcloud_map_lidar中的红绿灯 轮廓框位置序列BoundingBox_lidar_frame标注在点云点云地图Pointcloud_map_lidar上， 并标注红绿灯的状态；
[0026]步骤11：使用高斯牛顿法求解雷达到摄像头外参矩阵的误差矩阵 使得
[0027]步骤12：根据公式修正激光雷 达到摄像头的外参矩阵；根据修正后的激光雷达到相机的外参矩阵，重复步骤5～步骤9； 为激光雷达到摄像头的外参矩阵。
[0028]进一步，所述步骤7中的聚类方法包括以下步骤：
[0029]步骤701：计算第i个在高精度的点云地图Pointcloud_map_lidar中的红绿灯轮廓框 BoundingBox_lidar_frame
i
上所有点的z轴坐标值的平均值，得到Height_boundingBox_lidar_frame
i
；
[0030]步骤702：遍历第i个聚类范围Pointcloud_map_lidar_cropped_i中的所有点，当一 个点Point_j与第i个聚类范围Pointcloud_map_lidar_cropped_i中其他所有的点之间同时 满足以下条件时，保留点Point_i到聚类点云cluster_set_i：
[0031]|Ponit
j
.x
‑
Point
n
.x|＜0.1；
[0032]|Ponit
j
.y
‑
Point
n
.y|＜0.1；
[0033]|Ponit
j
.z
‑
Point
n
.z|＞0.5*Height_boundingBox_lidar_frame
i
；
[0034]其中，第i个聚类范围Pointcloud_map_lidar_cropped_i的设定方法为：以种子点坐 标seed
i
为立方体中心，x轴半轴长为5米，y轴的半轴长为5米，z轴的半轴长为1.5米； cluster_set_i表示第i个亮绿灯的红路灯的聚类点云，Ponit
j
.x、Ponit
j
.y和Ponit
j
.z分别 表示第i个聚类范围Pointcloud_map_lidar_cropped_i中第j个点的x轴、y轴和z轴的坐 标值，j＝1、2、...、N；N表示第i个聚类范围Pointcloud_map_lidar_cropped_i中点的总 数；Point
n
.x、Point
n
.y和Point
n
.z分别表示第i个聚类范围 Pointcloud_map_lidar_cropped_i中第n个点的x轴、y轴和z轴的坐标值，n＝1、2、...、 N，且n≠j。本专利技术在立方体欧式空间搜索范围内是否存在相邻点，完成聚类，使聚类 的结果更加准确。
[0035]进一步，所述步骤10中标注红绿灯的状态包括红路灯指示方向，所述红路灯指示 方向的识别方法为：遍历组合导航z轴角速度序列Angle_rate_queue_rtk在车辆通过路 口时对应的时间段内的值，得到车辆通过路口时绿灯的状态Direction_traffic_light；
[0036]1)若z轴角速度序列Angle_rate_queue_rtk中所有的值中至少有一个大于0.2，则 说明当前的红绿灯状态为左转绿灯；
[0037]2)若z轴角速度序列Angle_rate_queue_rtk中所有的值中至少有一个小于
‑
0.2，则 说明当前的红绿灯状态为右转绿灯；
[0038]3)若z轴角速度序列Angle_rate_queue_rtk中所有的值中均没有大于0.2且小于
‑
0.2， 则说明当前的红绿灯状态为直行绿灯。采用这样的方法识别红绿灯的指示方法更快更准 确。
[0039]本专利技术还提供了一种计算机系统，包括：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动在点云地图上标注红绿灯的系统，其特征在于：包括数据采集模块、点云地图生成模块、红绿灯定位模块；数据采集模块用于数据采集模块用于在车辆通过路口时，采集路口的环境信息和车辆行驶信息；环境信息包括图片信息和激光点云信息；数据采集模块包括摄像头、激光雷达和组合导航单元；所述摄像头用于采集图片信息，激光雷达用于采集激光点云信息，组合导航单元用于采集车辆行驶信息；点云地图生成模块根据数据采集模块采集到的集路口的环境信息和车辆行驶信息；得到包括了路口环境的高精度的点云地图；红绿灯定位模块包括红绿灯在图片中的位置识别子模块、红绿灯位置坐标转换子模块、激光雷达到摄像头的外参矩阵修正子模块；其中，红绿灯在图片中的位置识别子模块通过图片信息识别出每张图片中亮绿灯的红绿灯位置；红绿灯位置坐标转换子模块将亮绿灯的红绿灯位置转后到高精度的点云地图上的位置；激光雷达到摄像头的外参矩阵修正子模块根据红绿灯位置坐标转换子模块得到的亮绿灯的红绿灯在高精度的点云地图上的位置判断是否需要修正激光雷达到摄像头的外参矩阵；如果不需要修正，则将当前得到的亮绿灯的红绿灯在高精度的点云地图上的位置和指示通行方向进行标注；如果需要修正；则对激光雷达到摄像头的外参矩阵进行修正，修正后重复红绿灯位置坐标转换子模块和激光雷达到摄像头的外参矩阵修正子模块的工作，直到不需要修正激光雷达到摄像头的外参矩阵。2.根据权利要求1所述的自动在点云地图上标注红绿灯的系统，其特征在于：数据采集模块中还包括同步信号发生器；所述同步信号发生器用于同步摄像头、激光雷达和组合导航单元的采集时刻。3.根据权利要求1所述的自动在点云地图上标注红绿灯的系统，其特征在于：激光雷达为固态激光雷达；安装在车辆前挡风玻璃上端；摄像头为800万像素，设置在车辆前挡风玻璃内。4.根据权利要求1所述的自动在点云地图上标注红绿灯的系统，其特征在于：所述点云地图生成模块根据数据采集模块采集到的信息结合点云注册方法，得到包括了路口环境的高精度的点云地图。5.一种基于权利要求1所述的自动在点云地图上标注红绿灯的系统的自动在点云地图上标注红绿灯的方法，其特征在于：包括以下步骤：步骤1：车辆通过路口时，数据采集模块开始采集数据：得到车辆通过路口时间段内的车辆位姿序列Position_queue_rtk、z轴角速度序列Angle_rate_queue_rtk、点云序列Pointcloud_queue_lidar和彩色图片序列Image_queue_camera；步骤2：将位姿序列Position_queue_rtk中对应采集时刻的3D位姿作为初始位置，结合点云注册方法依次对点云序列Pointcloud_queue_lidar中相邻的点云帧进行拼接，得到包含红绿灯的路口环境的高精度的点云地图Pointcloud_map_lidar和按照采集时刻排序的相邻点云帧的位姿变化矩阵序列Matrix_odometry_lidar；步骤3：依次对彩色图片序列Image_queue_camera中每一张彩色图片运行红绿灯识别
算法，将识别出的所有红绿灯的位置组成红绿灯位置序列BoundingBox_camera；步骤4：在红绿灯位置序列BoundingBox_camera中筛选出亮绿灯的红绿灯的位置，得到了亮绿灯的红绿灯的位置序列BoundingBox_camera_green；步骤5：将步骤4中得到的亮绿灯的红绿灯的位置序列BoundingBox_camera_green中每一个红绿灯的位置坐标值由图片像素坐标系转换到高精度的点云地图Pointcloud_map_lidar中的坐标值，得到在高精度的点云地图Pointcloud_map_lidar中亮绿灯的红绿灯轮廓框位置序列BoundingBox_lidar_frame；步骤6：根据步骤5得到在高精度的点云地图Pointcloud_map_lidar中的红绿灯轮廓框位置序列BoundingBox_lidar_frame依次计算每个亮绿灯的红路灯的种子点坐标；步骤7：以步骤6得到的每一个种子点分别进行聚类，依次得到每一个亮绿灯的红路灯的聚类点云；并得到每一个聚类点云对应的质心；步骤8：分别计算每个聚类点云的质心与红绿灯轮廓框位置序列BoundingBox_lidar_frame中每个红绿灯轮廓框的中心线之间的距离，将每个聚类点云的质心到红绿灯轮廓框位置序列BoundingBox_lidar_frame中每个红绿灯轮廓框的中心线的距离中最短的距离保存到最短距离集合Point_to_line_distance_set；步骤9：根据公式计算最短距离和，并将计算得到的最短距离和与设定的阈值进行比较，如果小于阈值，则执行步骤10；如果不小于阈值，则执行步骤11～步骤12；其中，M表示红绿灯轮廓框位置序列BoundingBox_lidar_frame中红绿灯轮廓框的总数；i表示编号；Point_to_line_...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：奥特酷智能科技南京有限公司，
类型：发明
国别省市：