一种摄像头和激光雷达融合的端到端目标检测方法技术

本发明专利技术公开了一种摄像头和激光雷达融合的端到端目标检测方法，属于多传感器三维感知技术。本发明专利技术分别基于图像深度学习网络和激光点云深度学习网络进行特征提取，然后根据不同传感器的特性，通过二维图像检测器对图像数据进行感兴趣区域提取，从而降低了点云稀疏和信息不丰富带来的错检。通过共享图像特征和融合单个点云信息，进而给出精确度更高的三维建议框检测结果。

An end-to-end target detection method based on the fusion of camera and lidar

【技术实现步骤摘要】
一种摄像头和激光雷达融合的端到端目标检测方法
本专利技术属于多传感器三维感知技术，具体涉及一种摄像头和激光雷达融合的端到端目标检测方法。
技术介绍
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。辅助驾驶与自动驾驶都依赖一个准确的环境感知，而对障碍物三维建议框的检测则是道路场景分析与环境感知中的重要元素。通过障碍物三维建议框的提取，车辆可以实时获取周围车辆、非机动车、行人等障碍物的位置、基本轮廓、朝向等信息，作为障碍物轨迹预测和车辆自身行为规划的重要依据之一。在对环境中的障碍物目标进行三维建议框提取的过程中，障碍物感知使用的传感器十分多样，包括摄像头、毫米波雷达、激光雷达等等。而为了提高精度与可靠性，经常需要结合多种传感器的结果，共同做出判断。本专利技术主要讨论应用广泛的摄像头与测量精度极高的激光雷达的融合。摄像头与人眼原理类似，利用像素信息能准确地提取障碍物在图片中的二维建议框，但无法精确的估计障碍物在三维空间的位置；激光雷达利用激光感知障碍物的存在并给出精确的三维点云信息，有利于提升障碍物在三维空间的检测精度，但由于点云信息本文档来自技高网...

【技术保护点】
1.一种摄像头和激光雷达融合的端到端目标检测方法，通过摄像头和激光雷达同时对待检测区域进行数据采集，并执行下列步骤：/n步骤1：对摄像头采集的图像数据进行图像预处理，使得预处理后的图像与预设的图像特征提取网络的输入相匹配；/n将预处理后的图像输入到预设的图像特征提取网络，得到图像特征；/n其中图像特征提取网络包括但不限于卷积神经网络，优选残差式网络结构。/n步骤2：对图像特征进行目标检测处理：/n基于所提取的图像特征，在待检测图像帧中确定各类待检测目标的二维建议框(候选目标检测框)，并对二维建议框进行是否为检测目标的二分类处理；/n步骤3：对步骤2得到的二维建议框进行感兴趣区域提取处理：/n基...

【技术特征摘要】
1.一种摄像头和激光雷达融合的端到端目标检测方法，通过摄像头和激光雷达同时对待检测区域进行数据采集，并执行下列步骤：
步骤1：对摄像头采集的图像数据进行图像预处理，使得预处理后的图像与预设的图像特征提取网络的输入相匹配；
将预处理后的图像输入到预设的图像特征提取网络，得到图像特征；
其中图像特征提取网络包括但不限于卷积神经网络，优选残差式网络结构。
步骤2：对图像特征进行目标检测处理：
基于所提取的图像特征，在待检测图像帧中确定各类待检测目标的二维建议框(候选目标检测框)，并对二维建议框进行是否为检测目标的二分类处理；
步骤3：对步骤2得到的二维建议框进行感兴趣区域提取处理：
基于预设的第一筛选阈值，将分类伪概率低于第一筛选阈值的二维建议框删除；即滤除多目标检测输出中，各二维建议框所属的检测目标类别的分类伪概率低于第一筛选阈值的二维建议框；
对于每个检测目标类别的各二维建议框，若当前还存在非感兴趣区域的二维建议框，则选取分类伪概率最大的二维建议框作为感兴趣区域并保存，同时将与当前感兴趣区域的IOU值超过第二阈值的二维建议框删除；
继续对每个检测目标类别的各二维建议框进行感兴趣区域的提取，各检测目标类别不存在非感兴趣区域的二维建议框；
其中，A、B分别表示两个矩形框，对应感兴趣区域和待判别的二维建议框，area(·)表示矩形框的面积；
并对提取出的感兴趣区域进行面积的扩充处理；
步骤4：提取感兴趣区域内的激光雷达数据：
对各感兴趣区域进行编号1,2,...,k，其中k表示提取的感兴趣区域数；
对激光雷达的点云数据进行投影，若某个点云数据(x,y,z,r)经过投影后落在编号为i的感兴趣区域内，则将当前点云数据划分为第i个感兴趣区域的点云数据；其中x,y,z为点...

【专利技术属性】
技术研发人员：刘光辉，孙铁成，朱志鹏，李茹，徐增荣，廖岳鹏，朱树元，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51