障碍物信息融合方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例涉及自动驾驶技术领域，提供了一种障碍物信息融合方法、装置、电子设备和存储介质，所述方法包括：基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。本申请实施例可以准确地将图像检测框对应障碍物的类别赋予雷达检测框对应的障碍物，实现障碍物信息的精准融合。

【技术实现步骤摘要】
障碍物信息融合方法、装置、电子设备和存储介质
本申请涉及自动驾驶
，尤其涉及一种障碍物信息融合方法、装置、电子设备和存储介质。
技术介绍
在车辆自动驾驶领域，自动驾驶的安全性主要依靠传感器采集数据的准确性来保障。通常，在车辆上会安装多个传感器以进行障碍物联合检测和跟踪，因此，需要对各个传感器检测跟踪得到的障碍物信息进行融合，以获取准确的障碍物信息。目前，针对雷达的障碍物检测结果和视觉相机的障碍物检测结果的融合方案通常是将雷达的障碍物检测结果映射到二维图像上之后，仅利用检测框之间的重叠情况或检测框中心点距离来判断雷达的障碍物检测结果与视觉相机的障碍物检测结果是否对应同一障碍物目标，进而完成相同障碍物目标的信息融合。然而，上述融合方案需要满足待融合障碍物目标个数较少且障碍物之间不存在重叠情况的条件。一旦处于复杂的外部环境，障碍物个数过多，且多个障碍物在视觉图像上相互重叠时，障碍物信息融合的准确性会下降，导致不同障碍物信息发生混乱。
技术实现思路
本申请提供一种障碍物信息融合方法、装置、电子设备和存储介质，以实现多传感器获取的障碍物信息的准确融合。本申请提供一种障碍物信息融合方法，包括：基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。根据本申请提供一种的障碍物信息融合方法，所述基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框，具体包括：基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。根据本申请提供的一种障碍物信息融合方法，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；否则，基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。根据本申请提供的一种障碍物信息融合方法，所述基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为所述雷达检测框对应障碍物的类别。根据本申请提供的一种障碍物信息融合方法，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：计算所述雷达检测框与图像检测框之间的重叠率；若所述重叠率大于预设重叠阈值，则将所述图像检测框对应障碍物的类别作为所述雷达检测框对应障碍物的类别；若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。根据本申请提供的一种障碍物信息融合方法，所述计算所述雷达检测框与图像检测框之间的重叠率，具体包括：基于所述雷达检测框在所述摄像头对应的二维图像坐标系中的坐标，确定所述雷达检测框与所述图像检测框的重叠部分的面积，以及所述雷达检测框与所述图像检测框并集的总面积；基于所述重叠部分的面积以及所述并集的总面积，确定所述重叠率。本申请还提供一种障碍物信息融合装置，包括：雷达目标检测单元，用于基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在所述摄像头的二维图像坐标系下的雷达检测框；图像目标检测单元，用于基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；障碍物类别融合单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。根据本申请提供的一种障碍物信息融合装置，所述雷达目标检测单元，具体包括：检测跟踪单元，用于基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；坐标映射单元，用于根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。根据本申请提供的一种障碍物信息融合装置，所述障碍物类别融合单元，具体包括：视觉中心点统计单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；跟踪融合单元，用于若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；视觉投票融合单元，用于若所述雷达检测框中包含的视觉中心点数量大于0，则基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。根据本申请提供的一种障碍物信息融合装置，所述障碍物类别融合单元，具体包括：重叠率计算单元，用于计算所述雷达检测框与图像检测框之间的重叠率；重叠率融合单元，用于若所述重叠率大于预设重叠阈值，则将所述图像检测框所属障碍物的类别作为所述雷达检测框所属障碍物的类别；障碍物类别融合子单元，用于若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述障碍物信息融合方法的本文档来自技高网...

【技术保护点】
1.一种障碍物信息融合方法，其特征在于，包括：/n基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；/n基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；/n统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。/n

【技术特征摘要】
1.一种障碍物信息融合方法，其特征在于，包括：
基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；
基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。


2.根据权利要求1所述的障碍物信息融合方法，其特征在于，所述基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框，具体包括：
基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；
其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。


3.根据权利要求2所述的障碍物信息融合方法，其特征在于，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；
若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；
否则，基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。


4.根据权利要求1至3任一项所述的障碍物信息融合方法，其特征在于，所述基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为所述雷达检测框对应障碍物的类别。


5.根据权利要求1所述的障碍物信息融合方法，其特征在于，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
计算所述雷达检测框与图像检测框之间的重叠率；
若所述重叠率大于预设重叠阈值，则将所述图像检测框对应障碍物的类别作为所述雷达检测框对应障碍物的类别；
若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。


6.根据权利要求5所述的障碍物信息融合方法，其特征在于，所述计算所述雷达检测框与图像检测框之间的重叠率，具体包括：
基于所述雷达检测框在所述摄像头...

【专利技术属性】
技术研发人员：陈海波，许皓，
申请(专利权)人：深兰科技上海有限公司，
类型：发明
国别省市：上海;31