基于异构图网络的多模态协同检测方法及系统技术方案

本发明专利技术提供一种基于异构图网络的多模态协同检测方法及系统，属于目标检测技术领域，包括：智能体基于点云和图像分别提取BEV特征；多个智能体将生成的多模态BEV特征传至中心车辆；基于异构图的方法在节点层和语义层融合多智能体的多模态BEV特征，得到新的协作特征；中心车辆基于新的协作特征进行目标检测，得到最终的检测结果。本发明专利技术采取多模态单阶融合检测模型，检测精度显著优于单模态单阶段检测模型，经过异构协作图的特征融合，大大扩大了单车的感知视野，丰富了感知信息，从而提升协同感知性能。感知性能。感知性能。

【技术实现步骤摘要】
基于异构图网络的多模态协同检测方法及系统


[0001]本专利技术涉及目标检测
，具体涉及一种基于异构图网络的多模态协同检测方法及系统。

技术介绍

[0002]目标检测是自动驾驶视觉领域的一个重要研究方向，自动驾驶领域的车辆在自动驾驶场景又称为智能体。传统的目标检测都是基于车载传感器的单智能体目标检测。然而，由于目标被遮挡以及车载传感器自身的局限性，单车检测存在盲区，常常不能取得很好的检测结果。为了应对单车目标检测面临的挑战，协同目标检测应运而生。协同目标检测是一种基于多智能体信息融合的检测方法，它通过把多智能体协同模块加入传统的目标检测框架来实现。自动驾驶场景下，道路上有多个自动驾驶车辆和道路基础设施，均配置激光雷达和RGB相机等传感器，一个车辆的盲区可能正处于其他智能体的检测区域，通过把其他车辆和基础设施观测到的目标信息传递给中心车辆，中心车辆可以得到更全面的视野，从而完成更精确的目标检测。协同目标检测根据参与协同的智能体类型可以分为车车协同和车路协同。
[0003]车车协同和车路协同的解决思路大致一致，区别是车路协同由于智能体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构图网络的多模态协同检测方法，其特征在于，包括：智能体基于点云和图像分别提取BEV特征；多个智能体将生成的多模态BEV特征传至中心车辆；基于异构图的方法在节点层和语义层融合多智能体的多模态BEV特征，得到新的协作特征；中心车辆基于新的协作特征进行目标检测，得到最终的检测结果。2.根据权利要求1所述的基于异构图网络的多模态协同检测方法，其特征在于，智能体基于点云和图像分别提取BEV特征，包括：采取鸟瞰图作为两种模态的转换特征；假设一共有C个类别的物体，n个自动驾驶车辆和m个路端基础设施，对于每个智能体A
i
的点云数据X
i
(i＝1,2,3,
…
,n+m)，利用点云特征提取器提取三维的点云数据，转换成二维的鸟瞰图特征利用图像的特征提取器，经过投影取得多幅图像生成的二维鸟瞰图特征其中h，k，c分别代表BEV特征的高、宽和通道数；基于点云范围，划分网格生成单阶段目标检测的锚框用于最终的区域提取。3.根据权利要求2所述的基于异构图网络的多模态协同检测方法，其特征在于，多个智能体将生成的多模态BEV特征传至中心车辆，包括：采取特征压缩的方式减小传输带宽；对于每一个智能体给定一个特征h
i
∈R
k
×
k
×
c
，将其压缩至其中在中心车辆端对压缩特征进行解码，从而得到与原始特征尺寸一致的特征4.根据权利要求3所述的基于异构图网络的多模态协同检测方法，其特征在于，基于异构图的方法在节点层和语义层融合多智能体的多模态BEV特征，得到新的协作特征，包括：为不同智能体设置异构协作图的元路径；根据元路径，在每一个元路径内进行节点层面的注意力机制特征融合；在不同的元路径之间进行语义层面的注意力机制特征融合；异构协作图输出的特征作为中心车辆的融合特征。5.根据权利要求4所述的基于异构图网络的多模态协同检测方法，其特征在于，根据元路径，在每一个元路径内进行节点层面的注意力机制特征融合，包括：多源异构智能体的多模态特征输入到异构图中，首先在每一种元路径内进行节点层面的注意力机制融合；对于某一种元路径φ
i
，首先设计一个特定的转换矩阵将特征进行转换，h'
i
为投影的特征：转换特征之后，使用self
‑
attention计算该元路径内节点特征间的权重；给...

【专利技术属性】
技术研发人员：张慧，李浥东，曹原周汉，韩瑜珊，金一，陈乃月，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：