一种基于车路协同的3D目标检测方法技术

本发明专利技术公开了一种基于车路协同的3D目标检测方法，获取车端图像数据、路端图像数据后，将其统一到同一时间坐标系和同一空间坐标系中，然后分别输入预训练好的特征提取网络，得到车端图像数据的特征图F1、车端图像数据的特征图F2；接着将特征图F1、F2中的图像特征投影到同一个3D体素体积中，对投影后的3D体素体积进行3D特征获取，并将其映射为二维张量；最后将获得的二维张量输入3D目标检测网络，回归出准确的3D目标框信息及类别信息。本发明专利技术能够实现良好的三维重建，有效解决复杂交通路口的车辆互相遮挡等问题所带来的检测困难，提高自动驾驶车辆的行驶稳定性和安全性。驾驶车辆的行驶稳定性和安全性。驾驶车辆的行驶稳定性和安全性。

【技术实现步骤摘要】
一种基于车路协同的3D目标检测方法


[0001]本专利技术涉及智能驾驶
，尤其涉及一种基于车路协同的3D目标检测方法。

技术介绍

[0002]随着技术经济的发展和智能技术的广泛应用，自动驾驶领域已经成为了目前热点的研究方向。其中借助计算机视觉和激光点云技术的发展，自动驾驶感知领域近年来取得了快速的发展。
[0003]3D目标检测是自动驾驶感知方向的重要分支。自动驾驶3D目标检测的主要任务是通过对传感器输入数据的处理，输出目标物体的类别和精确位置，从而帮助车辆躲避障碍规划路线。因此，能够准确地对周围环境进行感知，实现精确可靠的3D目标检测对于自动驾驶至关重要。
[0004]然而，目前自动驾驶领域良好的3D目标检测往往需要借助车载激光雷达的辅助，这就导致了自动驾驶车辆实际生产成本的大幅度增加，使自动驾驶车辆的市场前景堪忧。同时在城市拥挤的道路上，大量的车载激光雷达极其容易带来互相的干扰，从而影响自动驾驶车辆的行驶安全性。
[0005]考虑到车辆实际行驶过程中，最需要激光雷达辅助3D目标检测的区域往往发生在车流量大且拥挤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车路协同的3D目标检测方法，其特征在于，包含以下步骤：步骤1)，获取车载摄像头的实时前方道路的图像数据作为车端图像数据；步骤2)，获取交通路口路端摄像头拍摄的路口实时图像数据作为路端图像数据；步骤3)，将车端图像数据、路端图像数据统一到同一时间坐标系和同一空间坐标系中，获得统一后的车端图像数据和路端图像数据；步骤4)，将统一后的车端图像数据和路端图像数据分别输入预训练好的特征提取网络，得到车端图像数据的特征图F1、车端图像数据的特征图F2；步骤5)，将特征图F1、F2中的图像特征投影到同一个3D体素体积中，对于每个体素，通过元素平均来汇总特征图F1、F2中的图像特征；步骤6)，对投影后的3D体素体积进行3D特征获取，并将其映射为二维张量；步骤7)，将获得的二维张量输入3D目标检测网络，回归出准确的3D目标框信息及类别信息。2.根据权利要求1所述的基于车路协同的3D目标检测方法，其特征在于，所述步骤3)中统一到同一时间坐标系时通过GPS授时同步，统一到同一空间坐标系时以图像坐标系、像素坐标系和世界坐标系为中介实现车端图像数据、路端图像数据之间的配准。3.根据权利要求1所述的基于车路协同的3D目标检测方法，其特征在于，所述步骤4)中的特征提取网络包含ResNet
‑
50模型和FPN模型，...

【专利技术属性】
技术研发人员：王源隆，江恒涛，陈观迎，赵万忠，王春燕，周冠，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：