一种基于多传感器信息融合的三维目标检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多传感器信息融合的三维目标检测方法、装置、设备及计算机可读存储介质，包括：融合激光雷达与摄像头传感器采集到的3D点云与RGB图像，生成RGB‑I图像；根据3D点云生成多通道鸟瞰图，从而确定感兴趣区域；基于卷积神经网络分别提取并融合RGB‑I图像与鸟瞰图的感兴趣区域特征；利用多层感知机基于感兴趣区域特征融合图像预测目标的置信度、大致位置及尺寸，确定候选框；基于注意力机制自适应赋予不同传感器候选框特征图不同的像素权重，进行跳跃式融合；利用多层感知机处理候选框特征融合图像，输出三维检测结果。本发明专利技术所提供的方法、装置、设备及计算机可读存储介质，提高了目标识别率，可获得目标精确定位。

A 3D target detection method and device based on multi-sensor information fusion

【技术实现步骤摘要】
一种基于多传感器信息融合的三维目标检测方法及装置
本专利技术涉及自动驾驶
，特别是涉及一种基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质。
技术介绍
以预防、智能为核心的自动驾驶技术已成为现代交通的迫切需求，解决智能车在复杂场景下多目标识别和三维定位，是三维环境感知的关键，是车辆安全、可靠行驶的前提。传统的单一传感器很难对场景中的动态或静态的目标进行及时和准确地识别与检测，则多传感器联合检测，优势互补是智能感知的趋势。目前，基于多传感器的三维目标检测技术仍存在源数据初始特征提取不充分；多模态数据匹配融合方式简单低效；复杂道路交通工况下，感知性能易受距离、形变、尺度变化、重叠、遮挡等因素的影响等难点。综上所述可以看出，如何充分高效的利用多传感器信息，减少智能车在复杂场景下对目标的漏检、误检率，提高识别率同时实现检测目标的精确定位是目前有待解决的问题。
技术实现思路
本专利技术的目的是提供一种基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质，以解决现有技术中多模态数本文档来自技高网...

【技术保护点】
1.一种基于多传感器信息融合的三维目标检测方法，其特征在于，包括：/n分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；/n根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；/n利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；/n利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标...

【技术特征摘要】
1.一种基于多传感器信息融合的三维目标检测方法，其特征在于，包括：
分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；
利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；
基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。


2.如权利要求1所述的方法，其特征在于，所述将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像包括：
通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；
将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；
将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，生成RGB-I图像。


3.如权利要求1所述的方法，其特征在于，所述利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像包括：
利用所述卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征，得到所述RGB-I图像的特征图与所述鸟瞰图的特征图；
将所述感兴趣区域分别投影至所述RGB-I图像的特征图与所述鸟瞰图的特征图，得到所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图；
将所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图调整至固定尺寸后进行融合，得到所述感兴趣区域特征融合图像。


4.如权利要求1所述的方法，其特征在于，所述基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像包括：
将所述候选框分别投影至所述RGB-I图像的特性图与所述鸟瞰图的特征图，得到所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图；
将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图调整至固定尺寸后，基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重；
完成候选框权重赋予后，对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像。


5.如权利要求4所述的方法，其特征在于，所述基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重包括：
采用全局平均池化操作对当前候选框特征图依据空间维度H×W进行聚合，生成通道描述符Pavg∈R(...

【专利技术属性】
技术研发人员：朱明，王佳荣，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林;22