一种基于激光雷达与摄像机融合的交通灯检测与识别方法技术

本发明专利技术公开了一种基于激光雷达与摄像机融合的交通灯检测与识别方法，该方法包括：利用激光雷达当前扫描到的点云数据匹配已制作的高精度地图，并结合GPS‑INS定位系统进行定位，从而确定车辆当前的位置及姿态；将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；利用摄像头采集包含交通灯的视频信息，处理成多帧图片，对图片进行切割；利用经切割处理的图片数据，通过识别系统得到识别内容。本方案实现了利用激光雷达与摄像机进行融合，对交通灯进行快速的检测与识别。

A Traffic Lamp Detection and Recognition Method Based on the Fusion of Lidar and Camera

The invention discloses a traffic light detection and recognition method based on the fusion of lidar and camera. The method includes: matching the prepared high-precision map with the point cloud data currently scanned by lidar and positioning with GPS INS positioning system to determine the current position and attitude of vehicles; mapping the traffic light coordinates in high-precision map to lidar. In the point cloud coordinate system, the traffic light coordinates in the point cloud coordinate system are mapped to the two-dimensional video images captured by the camera; the video information containing the traffic lights is captured by the camera, processed into multi-frame pictures, and the pictures are cut; the recognition content is obtained by using the image data processed by the cutting system. This scheme realizes the fusion of lidar and camera, and fast detection and recognition of traffic lights.

【技术实现步骤摘要】
一种基于激光雷达与摄像机融合的交通灯检测与识别方法
本专利技术实施涉及计算机技术，尤其涉及一种基于激光雷达和摄像机融合的交通灯检测与识别方法。
技术介绍
随着当今社会科技不断进步，无人驾驶技术取得了巨大的发展，它是一门整合了计算机视觉、车辆控制、传感器与嵌入式开发、物联网等多个学科的系统工程学。无人车上装载了各类传感器，通过利用各类传感器中的感知数据以及制定好的高精度地图，无人车规划模块通过感知的结果来进行综合处理，再将具体的处理方式传入给车辆线控模块，从而控制车辆安全、可靠地在道路上行驶。在城市道路行驶过程中，交通灯的检测与识别对无人车来说非常重要，具体的识别过程为：在经过含有交通灯的路段时，利用无人车上装载的长焦摄像机拍摄车辆前上方景象，采集包含交通灯的视频图像。再利用无人车上的交通灯识别系统，识别交通灯的指示数据，最后将处理结果传至车辆规划模块。为了保证无人车能在各类道路上正常行驶，对交通灯的正确检测与识别非常重要，因此需要一种可靠的方法来进行交通灯的检测和识别。由前述内容可知，无人车对交通灯的检测和识别需要借助于长焦摄像机、激光雷达、高精度地图和GPS-INS等设备提供的定位系统。
技术实现思路
本专利技术提供了一种基于激光雷达和摄像机融合的交通灯检测与识别方法，实现了对交通灯的快速检测与识别。本专利技术提供了一种检测和识别交通灯的方法，包括：利用激光雷达当前扫描到的点云数据匹配之前生成好的高精度地图以及定位系统进行定位，确定车辆当前的位置及姿态，从高精度地图中获取到当前场景下车道信息以及对应的交通灯的具体位置信息；将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；通过两次坐标转换，从而在摄像机的二维图像中获取到交通灯的具体坐标，有助于后面的图像分割处理；利用摄像头采集包含交通灯的视频信息，处理成多帧图片，根据获取到的交通灯坐标，对图片进行切割处理，保留仅含交通灯的感兴趣区域；利用采集到的交通灯数据，通过识别系统利用训练好的神经网络模型进行检测与识别，进而得到交通灯指示信息内容。本方案实现了利用激光雷达与摄像机进行融合，实现了对交通灯进行快速的检测与识别。附图说明图1为本专利技术实施提供的基于激光雷达和摄像机融合的交通灯检测与识别方法的流程图；图2为本专利技术实施的高精度地图中交通灯与点云地图、二维图像之间的坐标互相转换关系图。具体实施方式下面结合附图和实施对本专利技术进一步的详细说明。此处所描述的具体实施仅用于解释本专利技术，而非对本专利技术的限定。另外还有需要说明的是，附图中仅表示了与本专利技术相关的部分而非全部结构。实施例图1为本专利技术实施例提供的基于激光雷达和摄像机融合的交通灯检测与识别方法的流程图，本实施例可适用于在限定场景下对道路上交通灯的自动检测与识别。本方法可以应用到具体的无人车项目中，无人车可自动检测并识别道路上的交通灯信息，无人车再根据识别系统所作出的判断，作出继续行驶、减速或者停车行为。如图1所示具体包括如下步骤：步骤一，利用激光雷达当前扫描到的点云数据匹配之前生成好的高精度地图以及定位系统进行定位，确定车辆当前的位置及姿态。本方法主要用于无人车对交通灯的检测与识别，因此首先要确定好无人车当前的位置信息及姿态信息。高精度地图是专门为无人车所设计的地图，里面包含车详细的道路信息以及交通灯的精确位置信息。在本步骤中，利用激光雷达所扫描的实时点云数据与高精度地图进行匹配，同时结合全球定位单元、惯性测量单元配合载波相位差分技术构成无人车定位系统。通过无人车定位系统，我们可以获取到车辆的位置信息以及姿态信息。通常来说交通灯一般都是设定在路口的固定位置，因此知道当前车辆的位置对于交通灯的检测来说是非常重要的，利用激光雷达等定位单元进行准确的定位，保证了摄像头能准确的采集到有包含交通灯的视频信息。步骤二，将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像。前述内容可知，无人车进行准确的定位之后，可在高精度地图中获取到世界坐标系下当前车道对应的交通灯位置信息，并计算出世界坐标到激光雷达坐标系的坐标转换。车载摄像头所采集到的视频中有包含交通灯之外的其它物体，比如说建筑物、树木、行人、车辆等等信息，因为相机和激光雷达是固定的，所以可以事先通过相机-激光雷达标定计算出激光雷达坐标系与摄像头所采集视频的二维坐标系的坐标转换。在图2中展示了世界坐标系统的交通灯映射至激光雷达点云数据坐标系统，再将激光雷达点云数据中的交通灯坐标映射到摄像机拍摄的二维图像中。步骤三，利用摄像头采集包含交通灯的视频信息，存储采集的数据。利用车载摄像头来采集视频数据，由前述数据可知，拍摄的视频数据中还包含许多非交通灯数据，利用视频处理，将视频处理为多帧图片，图片中会包含多种信息如建筑物、车辆、地面等等，为保证识别性能，将要对原始图片进行处理，以映射的交通灯坐标为中心进行图片剪切，去除图片中的其它无关信息，仅保留含有交通灯的数据。步骤四，利用采集到的数据，通过识别系统得到交通灯具体指示信息。识别系统采用SqueezeNet神经网络分类器进行交通灯识别，SqueezeNet为一种小型CNN架构的神经网络，其优势在于它所需要的参数更少，训练更快，识别精度高，同时其容易在FPGA上实现训练加速与部署应用，符合无人车的具体需求。利用公开的数据集来训练SqueezeNet网络，为提高识别率，采用的是已经分割好的仅包含交通灯的图片数据，训练一个适用于小图像的SqueezeNet分类器。利用训练好的SqueezeNet网络来进行处理新的图片信息。在本示例中，利用训练好的SqueezeNet网络来对步骤三中的仅包含交通灯的图片进行处理。在实际应用中，相机拍摄的视频帧速率通常高于10FPS，针对于交通灯识别，可利用融合多帧图片的检测结果来提高交通灯识别的准确率。本实例在封闭的真实环境中进行测试，在白天及晚上的环境，利用激光雷达和定位系统能准确地进行实时定位，同时识别系统也能快速准确的识别交通灯信息。即使交通灯有部分遮挡，识别系统依旧能很好的识别出交通灯信息，保证了车辆的安全行驶。上述仅为本专利技术的较佳实例以及所运用的技术原理。智能驾驶领域人员会理解，同时本专利技术不限于本具体实例，其它专业人员可以进行各种其它改变、调整和替换而不会脱离本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.基于激光雷达与摄像机融合的交通灯检测与识别方法，其特征在于，包括：利用激光雷达当前扫描到的点云数据匹配已制作好的高精度地图以及GPS‑INS定位系统进行定位，确定车辆当前的位置及姿态；将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；利用摄像头采集包含交通灯的视频信息，处理成多帧图片，对图片进行切割；利用经切割处理的图片数据，通过识别系统得到识别内容。

【技术特征摘要】
1.基于激光雷达与摄像机融合的交通灯检测与识别方法，其特征在于，包括：利用激光雷达当前扫描到的点云数据匹配已制作好的高精度地图以及GPS-INS定位系统进行定位，确定车辆当前的位置及姿态；将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；利用摄像头采集包含交通灯的视频信息，处理成多帧图片，对图片进行切割；利用经切割处理的图片数据，通过识别系统得到识别内容。2.根据权利要求1所述的方法，其特征在于利用激光雷达当前扫描到的点云数据匹配之前生成好的高精度地图以及GPS-INS定位系统进行定位包括：通过激光雷达扫描到的点云数据与预先生成的高精度地图进行匹配，再配合GPS-INS定位系统进行定位，从而获取到当前车辆的车辆位置信息和姿态信息。3.根据权利要求1所述的方法，其特征在于，采集交通灯的信息包括：通...

【专利技术属性】
技术研发人员：周庆国，黄钢，王金强，肖子超，周睿，
申请(专利权)人：兰州大学，
类型：发明
国别省市：甘肃,62