一种融合深度补全的伪雷达车辆检测方法技术

本发明专利技术涉及自动驾驶技术领域，尤其是一种融合深度补全的伪雷达车辆检测方法，包括下述步骤：将摄像头所捕捉的场景信息转换为RGB图像；构建深度学习模型，以获得密集深度图，通过密集深度图计算获得场景中物体的距离数据；构建端到端两阶段的深度图补全模型，以获得颜色主导深度图及深度主导深度图；对颜色主导深度图及深度主导深度图进行处理，以分别获得尺度深度图及优化深度图，将尺度深度图及优化深度图进行融合，以获得融合深度图；将融合深度图转换为伪激光点云，以通过3D检测算法计算出车辆与摄像头之间的距离、速度及方向的信息。本发明专利技术通过构建深度图补全模型对深度信息进行补全，提高目标检测精度。

【技术实现步骤摘要】

本专利技术涉及自动驾驶，尤其是一种融合深度补全的伪雷达车辆检测方法。

技术介绍

1、车辆的3d检测是指从三维数据中识别和定位感兴趣的物体，是自动驾驶、机器人导航、增强现实等领域的重要任务。3d目标检测的主要目的是利用传感器采集的数据感知周围车辆或障碍物的位置与姿态。3d目标检测目前检测技术主要包括以下几种方法：基于视觉传感器的方法，即利用摄像头捕捉场景信息，通过深度学习模型进行目标检测和定位；基于激光雷达(lidar)的方法，即利用激光雷达测距原理，获取场景中物体的距离信息；基于数据融合的方法，即综合多种数据的优势，高分辨率的rgb图像负责提供上下文信息，激光雷达点云负责提供空间坐标信息雷达与摄像头融合，将激光雷达和摄像头的信息进行融合，以获得更准确和全面的3d场景理解。基于伪雷达(pseudo-lidar)的方法，即将单目影像图中的深度信息，转换成pseudo-lidar形式，通过该pseudo-lidar与图像加以结合，对3d检测框进行预测。

2、3d目标检测任务充满了复杂性，基于视觉传感器的方法主要使用相机成像，但由于缺乏深度信息，其3d本文档来自技高网...

【技术保护点】

1.一种融合深度补全的伪雷达车辆检测方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的一种融合深度补全的伪雷达车辆检测方法，其特征在于：在步骤S2中，通过ResNet模型对所述RGB图像中的密集特征进行特征提取，然后采用带有全连接层的Encoedr与空洞空间金字塔池模块进行多尺度特征融合，以对所述RGB图像的全面理解，使用对数空间表示深度，并进行深度预测，以生成五维张量特征，根据所述五维张量特征获得所述密集深度图，

3.根据权利要求2所述的一种融合深度补全的伪雷达车辆检测方法，其特征在于：采用softmax回归损失来学习所述密集深度图的参数，以计算获得所述...

【技术特征摘要】

1.一种融合深度补全的伪雷达车辆检测方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的一种融合深度补全的伪雷达车辆检测方法，其特征在于：在步骤s2中，通过resnet模型对所述rgb图像中的密集特征进行特征提取，然后采用带有全连接层的encoedr与空洞空间金字塔池模块进行多尺度特征融合，以对所述rgb图像的全面理解，使用对数空间表示深度，并进行深度预测，以生成五维张量特征，根据所述五维张量特征获得所述密集深度图，

3.根据权利要求2所述的一种融合深度补全的伪雷达车辆检测方法，其特征在于：采用softmax回归损失来学习所述密集深度图的参数，以计算获得所述场景中物体的距离数据。

4.根据权利要求1所述的一种融合深度补全的伪雷达车辆检测方法，其特征在于：在步骤s3中，在所述颜色主导分支输入所述rgb图像及所述密集深度图，通过构建编码器及解码器，对所述rgb图像学习对线边界周围的深度，且通过u-net网络架构分析图...

【专利技术属性】
技术研发人员：杨蓉，游志杰，于淼，季马东，黄伟，徐敏敏，
申请(专利权)人：广西大学，
类型：发明
国别省市：