【技术实现步骤摘要】
多传感器特征融合方法、系统、电子设备及存储介质
[0001]本专利技术实施例涉及雷达和视觉融合
，尤其涉及一种多传感器特征融合方法、系统、电子设备及存储介质。
技术介绍
[0002]环境感知是自动驾驶的一个重要模块，其中包括但不限于2D/3D目标检测、语义分割、深度补全以及预测等任务，而这些任务都依赖于安装在车辆上的传感器从环境中采集的原始数据。通常用来做环境感知的传感器包括相机、激光雷达、毫米波雷达等，这些传感器各有优缺点。然而，为了能够让汽车具有全天候探测的能力，实现道路障碍物检测、车道线检测、目标检测、测速测距等多种功能，单模态数据的感知能力达到了一定的瓶颈，大多数工业界和学术界研究者开始将目光放到多模态融合上来。目前，多传感器融合感知方法包括前融合算法，其主要是针对激光雷达、相机和毫米波雷达做数据融合或者特征融合。
[0003]然而，在相关的前融合方案中，存在视觉传感器与雷达传感器的工作频率不同的问题，特征融合时的时序对齐较为困难，当目标运动速度过大的时候，特征融合产生的误差较大。因此，如何在多传感器特...
【技术保护点】
【技术特征摘要】
1.一种多传感器特征融合方法，其特征在于，所述方法包括：根据图像数据，获取图像BEV特征；根据点云数据，获取初始点云BEV特征；将所述初始点云BEV特征转换至所述图像BEV特征的坐标系下，得到第一点云BEV特征；确定与所述第一点云BEV特征在所述坐标系下匹配的图像BEV特征，将所述第一点云BEV特征与所述匹配的图像BEV特征进行特征融合，得到融合BEV特征；将所述融合BEV特征输入目标检测头，进行目标检测。2.根据权利要求1所述的多传感器特征融合方法，其特征在于，所述确定与所述第一点云BEV特征在所述坐标系下匹配的图像BEV特征，将所述第一点云BEV特征与所述匹配的图像BEV特征进行特征融合，得到融合BEV特征，包括：通过邻域搜索网络的搜索匹配部分进行所述图像BEV特征的搜索，匹配得到与所述第一点云BEV特征在所述坐标系下对应的所述匹配的图像BEV特征；通过所述邻域搜索网络的特征融合部分将所述第一点云BEV特征与所述匹配的图像BEV特征进行特征融合，得到所述融合BEV特征。3.根据权利要求2所述的多传感器特征融合方法，其特征在于，所述通过邻域搜索网络的搜索匹配部分进行所述图像BEV特征的搜索，匹配得到与所述第一点云BEV特征在所述坐标系下对应的所述匹配的图像BEV特征，包括：通过所述搜索匹配部分将所述第一点云BEV特征和所述图像BEV特征进行特征相加，判断特征相加后BEV特征之间的关联度是否超过阈值；若所述关联度超过所述阈值，得到匹配对；若所述关联度未超过所述阈值，进行迭代学习，确定所述第一点云BEV特征的偏移量；基于所述第一点云BEV特征和所述偏移量，确定偏移后的第一点云BEV特征；将所述偏移后的第一点云BEV特征与所述图像BEV特征进行特征相加，直至判断出所述关联度超过所述阈值，得到所述匹配对；将所述匹配对中的图像BEV特征确定为与所述匹配对中第一点云BEV特征在所述坐标系下匹配的图像BEV特征。4.根据权利要求3所述的多传感器特征融合方法，其特征在于，所述通过所述邻域搜索网络的特征融合部分将所述第一点云BEV特征与所述匹配的图像BEV特征进行特征融合，得到所述融合BEV特征，包括：通过所述特征融合部分将所述匹配对的特征相加结果依次输入3X3卷积核、编码器和解码器，得到第一输出；将所述第一输出与所述3X3卷积核的输出进行特征融合，得到第二输出；将所述第二输出输入1X1卷积核进行降维后，得到第三输出；通过判断器对所述第三输出进行筛选处理，得到第四输出；将所述第四输出与所述3X3卷积核的输出进行特征融合，得到所述融合BEV特征。5.根据权利要求1所述的多传感器特征融合方法，其特征在于，所述根据图像数据，获取图像BEV特征，包括：获取车辆的周视摄像头拍摄的多张图像数据；通过改进后的LSS算法中的主干网络Dual
‑
Swin
‑
Tiny和FPN网络，对所述多张图像数据
进行2D特征的提取以及特征增强，得到多视角2D特征图；基于所述车辆的自车坐标系，将所述多视角2D特征图投影至所述自车坐标系中，得到所述图像BEV特征；其中，所述自车坐标系为所述图像BEV特征的坐标系。6.根据权利要求1所述的多传感器特征融合方法，其特征在于，所述根据点云数据，获取初始点云BEV特征，包括：获取车辆的点云设备拍摄的所述点云数据；通过学习原始点的...
【专利技术属性】
技术研发人员：钱鑫，钱少华，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。