面向自动驾驶的多传感器深度融合3D目标检测方法技术

本发明专利技术公开了一种面向自动驾驶的多传感器深度融合3D目标检测方法，通过边缘校准技术，有效解决了传感器时空不同步的问题，通过目标中心数据增强，有效解决了标注不足时的深度估计模型训练问题，通过不确定性估计技术、场景关联损失函数，有效提高了深度估计模型在场景变化条件下的鲁棒性和精度。通过2D‑3D无损信息转化、体素转换为点技术、由粗到细的深度对齐、多分支监督流，有效的解决了不同模态特征空间不一致且转换有信息损失问题，最终的架构可以在自动驾驶场景中，增强多模态信息的互补作用，降低多模态信息相互之间的干扰，在遮挡、点云稀疏、光照变化等场景下均取得良好表现。

【技术实现步骤摘要】
面向自动驾驶的多传感器深度融合3D目标检测方法
本专利技术涉及机器视觉
，尤其涉及一种面向自动驾驶的多传感器深度融合3D目标检测方法。
技术介绍
3D目标检测在无人驾驶、机器人、增强现实等场景具有广泛应用。相比普通的2D检测，3D检测额外提供了目标物体的长宽高和偏转角信息。是三维场景理解、自主决策规划的重要感知基础。目前存在以下几种代表性的融合方案。MV3D是第一个融合LiDARBEV特征和相机前视图特征的工作，但是由于特征未对齐，效果并不好。多任务多传感器融合技术(MingLiang,BinYang,YunChen,RuiHu,RaquelUrtasun；ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR),2019,pp.7345-7353)利用多任务学习(2D和3D目标检测、地面估计和深度估计)，将多层次的图像和LiDAR3D特征在各自的特征空间分别提取特征，在多任务多传感器融合技术中，深度估计只是在多传感器功能图之本文档来自技高网...

【技术保护点】
1.一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，包括：/n通过训练阶段优化得到的深度估计模型对当前双目图像进行估计，得到深度估计结果，再转换为3D空间中的伪点云数据；/n伪点云数据和点云数据通过体素化方法分别得到体素化特征网格，通过稀疏卷积网络之后得到下采样后的稀疏特征，通过将3D的稀疏特征在z轴方向拍平并拼接，得到2D的鸟瞰图特征；/n将两类2D的鸟瞰图特征作为输入，进入堆叠可形变卷积校准模块；通过堆叠可形变卷积校准模块，将点云数据的鸟瞰图特征和伪点云数据的鸟瞰图特征在特征通道维度拼接，进入卷积层产生2D偏移量，对伪点云数据的鸟瞰图特征以该2D偏移量作为指导提取点云指导的...

【技术特征摘要】
1.一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，包括：
通过训练阶段优化得到的深度估计模型对当前双目图像进行估计，得到深度估计结果，再转换为3D空间中的伪点云数据；
伪点云数据和点云数据通过体素化方法分别得到体素化特征网格，通过稀疏卷积网络之后得到下采样后的稀疏特征，通过将3D的稀疏特征在z轴方向拍平并拼接，得到2D的鸟瞰图特征；
将两类2D的鸟瞰图特征作为输入，进入堆叠可形变卷积校准模块；通过堆叠可形变卷积校准模块，将点云数据的鸟瞰图特征和伪点云数据的鸟瞰图特征在特征通道维度拼接，进入卷积层产生2D偏移量，对伪点云数据的鸟瞰图特征以该2D偏移量作为指导提取点云指导的特征，即从伪点云数据的鸟瞰图特征中提取对齐后的特征，最后通过直接拼接的方式融合对齐后的特征与点云数据的鸟瞰图特征，结合融合特征实现目标检测。


2.根据权利要求1所述的一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，该方法还包括：
将点云数据的体素化特征网格，采用体素转化为点技术变换为三维点云形式，再与融合特征进行特征聚合得到3D结果，最终通过ROIHead获得更为细化的目标检测结果。


3.根据权利要求1或2所述的一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，
训练阶段：通过一个预训练的深度估计网络得到当前双目图像的深度估计结果；同时，使用预训练的语义分割模型对当前双目图像进行处理，得到语义分割结果；利用语义分割结果与所述深度估计结果结合，得到前景物体的中心深度分布，再通过激光雷达采集的点云数据中前景物体的3D包围盒对所述深度估计结果进行边缘修正，并通过相机矩阵和2D-3D无损信息转化技术转换为3D空间中的伪点云数据；
伪点云数据和点云数据通过体素化方法分别得到体素化特征网格，通过稀疏卷积网络之后得到下采样后的稀疏特征，通过将3D的稀疏特征在z轴方向拍平并拼接，得到2D的鸟瞰图特征；将两类2D的鸟瞰图特征作为输入，进入堆叠可形变卷积校准模块；通过堆叠可形变卷积校准模块，将点云数据的鸟瞰图特征和伪点云数据的鸟瞰图特征在特征通道维度拼接，进入卷积层产生2D偏移量，对伪点云数据的鸟瞰图特征以该2D偏移量作为指导提取点云指导的特征，即对齐后的特征，最后通过直接拼接的方式进行特征融合，结合融合特征实现目标检测；其中，对于融合特征，以及对齐后的特征，通过分别设置的监督分支和相应真值进行比较产生监督信息回传网络进行训练，并按照实际效果设定权重参数。


4.根据权利要求3所述的一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，所述边缘修正的步骤包括：
根据数据集的3D标注，得到点云数据中的前景物体的3D包围盒；将3D包围盒中心的X轴坐标投影到2D空间，根据3D包围盒的3D空间距离、深度估计结果，以及2D空间中的前景掩码，掩码中...

【专利技术属性】
技术研发人员：张燕咏，祝含颀，吉建民，张昱，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34