一种基于多焦距相机与激光雷达融合的三维目标检测方法技术

本发明专利技术请求保护一种基于多焦距相机与激光雷达融合的三维目标检测方法，属于自动驾驶、三维目标检测领域。包括以下步骤：1.多焦距相机由长短焦相机组成，对多焦距相机和激光雷达数据时空同步处理。2.利用分割网络分别对多焦距相机图像语义分割，利用分割结果生成视锥体，将激光雷达点云分别投影到长焦、短焦图像形成的视锥进行三维目标检测。3.利用多尺度图像金字塔实现长短焦图像特征点的精确匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。本发明专利技术能应用在自动驾驶或辅助驾驶车辆上，对车辆周围进行环境感知，具有分类准确，定位精度高的特点，特别是对远距离目标检测精度有提高。有提高。有提高。

【技术实现步骤摘要】
一种基于多焦距相机与激光雷达融合的三维目标检测方法


[0001]本专利技术属于自动驾驶、三维目标检测、激光雷达等领域，具体涉及到长短焦相机与激光雷达融合的三维目标检测方法。

技术介绍

[0002]随着辅助驾驶、智能驾驶技术的快速发展，辅助驾驶和智能驾驶的安全性收到越来越多的关注，司机一方面需要高的自动驾驶技术，能疲劳的驾驶过程中解放身心，一方面需要更好的安全性。智能汽车的行驶安全和车辆对于周围的环境感知密不可分，精确的识别路面的目标和障碍物，能为自动驾驶汽车提前做好路径规划和采取应急控制措施提供帮助。
[0003]近年来，基于图像和雷达点云的目标检测的深度神经网络迭代迅速，基于图像的目标检测在图像中检测到目标的位置和类别，并用一个矩形框将目标框出，然而它并不能检测到目标在三维世界坐标中的精确位置。使用激光雷达能够检测到车辆周围的所有物体的精确的位置信息，基于点云的神经网络也能够识别目标的类别和位置等信息，然而，点云数据稀疏，缺少语义信息，对远处的目标只能收到几个位置点。图像具有丰富的语义信息，位置信息少，将图像和激光雷达的点云信息结合来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，包括以下步骤：采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步；用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，将点云分别投影到长短焦相机分割图像形成的视锥，视锥中的点云作为目标点云，求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息；利用多尺度图像金字塔实现长短焦图像特征点的匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。2.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，车辆对周围环境感知，获取车辆周围的车辆的大小、位置和姿态，具体为目标车辆的相对位置，车辆的长、宽、高和偏航角。3.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，具体包括：多焦距相机由焦距不同的两个相机组成，用于观测车辆的正前方，多焦距相机水平放置，短焦相机位于左边，长焦相机位于右方，距离较近，有共同视野，同时采集图像；激光雷达置于车顶，感知车辆四周的环境，选择激光雷达的扫描到车辆正前方的时间戳上的多焦距相机采集的图像数据，两传感器的数据采集间隔小于0.01秒。4.根据权利要求3所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：建立世界坐标系，标定长短焦相机，获得各自得内参和外参，得世界坐标系与短焦相机的旋转和平移矩阵为R1、T1，与长焦相机的旋转和平移矩阵R2、T2；世界坐标中一点P在世界坐标系、长焦相机坐标系、短焦相机坐标系下的非齐次线性坐标为则：则：联立两个等式可以得到联立两个等式可以得到R
12
、T
12
为长短焦相机间的旋转平移矩阵，短焦相机与激光雷达间的旋转平移矩阵R3、T3，可得长焦相机与激光雷达间的旋转平移矩阵R
23
、T
23
。5.根据权利要求4所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：
选择激光雷达与多焦距相机采集的数据中时间戳最接近的数据，得到时间同步的点云数据和多焦距相机图像数据；根据激光雷达与长短焦像机的旋转平移矩阵和长短焦相机的内参矩阵，结合时间同步的点云数据和多焦距相机数据，可得点云中任何一点在图像中的像素坐标。实现了空间同步，完成图像数据与点云数据时空同步。6.根据权利要求5所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，具体包括：使用一语义分割网络分别对长焦、短焦相机图像语义分割，得到目标的类别c
i
和语义分割区域；语义分割网络指的是将图像中的每个像素分为一个类别，同一类物体具有相同的类别标签；一般由卷积层和池化层提取图像的特征，图片分辨率降低，特征层增加，再由反卷积层将图片分辨率恢复原始图片大小，得到图像中物体的类别和像素位置；利用所得的语义分割区域，结合标定好的长、短焦相机内参和投影矩阵，生成视锥，利用激光雷达和相机间的转换关系RT矩阵，将激光雷达获得的点云数据投...

【专利技术属性】
技术研发人员：冯明驰，宋贵林，邓程木，梁晓雄，李成南，王鑫，刘景林，孙博望，岑明，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：