一种基于多传感器融合的车路协同目标检测方法技术

本公开涉及一种基于多传感器融合的车路协同目标检测方法，包括：从车载工业级单目相机获取车载图像，从车载激光雷达获取车端点云，对车载点云和车载图像进行特征提取，获得车载检测框；从路侧激光雷达获取路侧点云，对路侧点云进行特征提取，获得路侧检测框；对车载检测框和路侧检测框进行时空匹配，获得融合检测框。本公开对车载点云、车载图像和路侧点云进行特征提取，可以解决车端与路侧传感器的异质性，对车载检测框和路侧检测框进行时空匹配，获得融合检测框，可以解决车路传感器的时空匹配问题，综合利用车端和路侧的多模态传感器数据实现高精度、低传输成本的车路协同感知，促使车路协同感知走向大规模实际应用。促使车路协同感知走向大规模实际应用。促使车路协同感知走向大规模实际应用。

【技术实现步骤摘要】
一种基于多传感器融合的车路协同目标检测方法


[0001]本公开属于车路协同和自动驾驶
领域，具体而言涉及一种基于多传感器融合的车路协同目标检测方法。

技术介绍

[0002]随着传感器技术、现代通讯技术、计算机技术的飞速发展，基于单车智能的自动驾驶感知、定位、规划等关键技术得到突破与创新。作为自动驾驶关键技术之一的感知，单车智能场景下仅依靠车载传感器感知存在无法克服的感知距离有限、受遮挡影响严重、存在感知盲区等难题。
[0003]车路协同感知技术的发展为这些难题提供了新的思路，车路协同感知通过无线通讯技术使得路侧单元与车载单元采集到的交通环境数据信息进行交换共享与信息融合，为车端提供更丰富的感知能力和范围更广的交通环境状态，从而使得车辆可以获得更精确的环境信息，可以极大提升道路交通的效率和安全性。
[0004]然而车端与路侧传感器的异质性，车路传感器的时空匹配问题，路侧与车端的计算能力及实时性，以上问题阻碍车路协同感知走向大规模实际应用。

技术实现思路

[0005]本公开提出一种基于多传感器融合的车路协同目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合的车路协同目标检测方法，其特征在于，包括：S1从车载工业级单目相机获取车载图像，从车载激光雷达获取车端点云，对车载点云和车载图像进行特征提取，获得车载检测框；S2从路侧激光雷达获取路侧点云，对路侧点云进行特征提取，获得路侧检测框；S3对车载检测框和路侧检测框进行时空匹配，获得融合检测框。2.根据权利要求1所述的一种基于多传感器融合的车路协同目标检测方法，其特征在于，所述对车载点云和车载图像进行特征提取，获得车载检测框，包括：S11使用改进的Feature Pyramid Network(FPN)特征提取器对车载点云和车载图像进行特征提取，获取的特征一方面用做特征图参与后续特征融合，另一方面输入到区域建议网络用于生成建议框；S12将提取的特征进行了1
×
1的卷积，得到两个视图中尺寸相等的特征裁剪；S13将投影到两个输入视图后的特征裁剪，将其调整为7
×
7，然后使用元素平均操作融合。3.根据权利要求1所述的一种基于多传感器融合的车路协同目标检测方法，其特征在于，所述对路侧点云进行特征提取，获得路侧检测框，包括：S21将路侧点云体素化并提取体素特征，得到多尺度特征图；S22对多尺度特征图进行区域移动；S23将多尺度特征图上采样之后得到高分辨率深度特征图，进行三个不同的卷积操作，分别进行热力图预...

【专利技术属性】
技术研发人员：于海洋，余航，孙芸丽，於明飞，吴华实，王文达，
申请(专利权)人：北京市交通委员会北京和利时系统集成有限公司，
类型：发明
国别省市：