结合图象识别与激光雷达点云分割的驾驶环境感知方法技术

本发明专利技术公开一种结合图象识别与激光雷达点云分割的驾驶环境感知方法，包括：(1)在真实道路上，收集地面激光雷达点云数据和图像数据。(2)使用收集的图像数据作为参考，将激光雷达点云数据与图像数据进行标定，标记收集的激光雷达点云数据。(3)初始化点云分割网络，对标记的激光雷达点云数据进行训练，更新网络参数。(4)将训练好的网络移植到无人车工控机中，获得点云所属物体的类别。(5)对图像数据进行识别。(6)对分割后的激光雷达点云数据与图像识别后的图像数据进行融合，获取道路和物体所在的准确位置。本发明专利技术实时感知环境，克服了图像识别在天气不好、光线较差的情况下识别效果不佳的缺点。

【技术实现步骤摘要】
结合图象识别与激光雷达点云分割的驾驶环境感知方法
本专利技术一种涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，属于无人驾驶环境感知

技术介绍
随着人工智能应用技术在语音识别、推荐系统、智能机器人等方面的落地，社会各界对人工智能技术应用在无人驾驶领域的需求也越来越迫切。实现无人驾驶技术的前提是需要“像人”一样对周围的环境能够准确地感知并且识别出可驾驶区域和物体。传统的方法主要使用图像识别来识别可驾驶区域和物体。图像识别在识别可驾驶区域和物体方面，虽然具有识别速度快、识别效果好的特点，但是存在识别远处物体以及天气、光线不佳的情况下识别效果不好的缺点。近年来，学术界和工业界都开始尝试使用激光雷达进行环境感知。激光雷达的工作原理是通过向周围环境发射激光束，当激光束遇到障碍物就会返回，通过计算激光束发射和返回的时间差来计算目标的距离以及反射强度等信息。因此激光雷达对环境的感知不受天气、光线的影响，输出稳定，成为了众多无人驾驶公司环境感知模块必装的硬件。现有的激光雷达点云分割算法，存在有几个缺点：1、缺少标注好的数据；2、本文档来自技高网...

【技术保护点】
1.一种涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，其特征在于，包含以下步骤：/n(1)人工驾驶无人车行驶在真实道路上，收集地面激光雷达点云数据和图像数据；/n(2)使用收集的图像数据作为参考，将激光雷达点云数据与图像数据进行标定，标记收集的激光雷达点云数据；/n(3)初始化点云分割网络，对标记的激光雷达点云数据进行训练，直到网络收敛或者运行至最大训练次数；/n(4)将训练好的网络移植到无人车工控机中，获得点云所属物体的类别；/n(5)使用图像识别算法对图像数据进行识别；/n(6)对分割后的激光雷达点云数据与图像识别后的图像数据进行融合，获取道路和物体所在的位置。/n

【技术特征摘要】
1.一种涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，其特征在于，包含以下步骤：
(1)人工驾驶无人车行驶在真实道路上，收集地面激光雷达点云数据和图像数据；
(2)使用收集的图像数据作为参考，将激光雷达点云数据与图像数据进行标定，标记收集的激光雷达点云数据；
(3)初始化点云分割网络，对标记的激光雷达点云数据进行训练，直到网络收敛或者运行至最大训练次数；
(4)将训练好的网络移植到无人车工控机中，获得点云所属物体的类别；
(5)使用图像识别算法对图像数据进行识别；
(6)对分割后的激光雷达点云数据与图像识别后的图像数据进行融合，获取道路和物体所在的位置。


2.根据权利要求1所述的涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，其特征在于，对实时收集的激光雷达点云进行分割，将三维点云映射到二维平面图像，使用深度学习技术对二维平面图像进行分割，获得二维平面图像中每个像素的类别；将二维平面图像中每个像素的类别映射回三维点云的类别，对映射后的三维点云类别进行聚类操作来消除映射过程产生的毛边和阴影，得到分割后的激光雷达点云。


3.根据权利要求1所述的涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，其特征在于，收集数据阶段，无人驾驶车安装激光雷达和摄像头，人工驾驶无人车，收集地面激光雷达点云数据和图片数据，每一帧激光雷达点云数据以4×H×W的格式保存下来，其中第一个维度的4表示(x,y,z,remission)的信息，H表示激光雷达的垂直分辨率，W便表示激光雷达的水平分辨率。


4.根据权利要求1所述的涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，其特征在于，将标注好的三维空间点云数据映射到二维平面图像，根据三维点云的坐标(x,y,z)，参照公式计算该三维点云在二维平面图像中的坐标(u,v)，其中u和v分别表示三维点云映射到二维平面图像后的横坐标和纵坐标，w和h分别表示映射后的二维平面图像的宽度和高度，r表示三维点云到原点的范围，fup和fdown分别表示激光雷达射线俯仰角的最大值和最小值的绝对值，f表示两者之和，得到(w,h,5)的张量。


5.根据权利要求2所述的涉及结合图象识别与激光雷达点云分割的驾驶环境感知方法，其特征在于，所述的激光雷达点云分割所使用的深度学习技术，使用一个分割网络对点云数据进行分割，网络主体部分包含下采样编码块、上采样编码块和类别计算；下采样编码块对平面图像进行下采样，减少处理需要的时间；上采样对平面图像进行上采样，并且加上之前下采样对应维度的图像，补充细节，逐步恢复到输入的维度；类别计算对恢复后的平面图像进行计算得到平面每个像素的类别，然后计算输出类别和真实类别之间的误差，更新网络至收敛或达到最大训练次数。


6.根据权利要求5所述的涉及结合图象识别与激光雷达点云分...

【专利技术属性】
技术研发人员：俞扬，詹德川，周志华，余德丛，袁雷，余峰，黄军富，陈雄辉，张云天，庞竟成，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32