基于多模态融合的物体检测方法技术

本公开公开了一种基于多模态融合的物体检测方法

【技术实现步骤摘要】
基于多模态融合的物体检测方法、系统、设备及介质


[0001]本公开涉及自动驾驶感知
，尤其涉及一种基于多模态融合的物体检测方法
、
系统
、
设备及介质
。

技术介绍

[0002]3D(
三维
)
目标检测是自动驾驶领域中的一项基本感知任务，它旨在对
3D
空间中的目标进行分类和定位
。
作为两种常用的传感器，激光雷达和相机能够以不同的方式感知自车周围的环境
。
激光雷达生成的点云数据能够通过发射波长来刻画自车周围的场景，并提供可信的
3D
目标的空间位置和几何信息
。
而相机获取的图像能够提供更稠密的语义和纹理信息
。
[0003]目前，在生成图像
BEV(
鸟瞰图
)
特征时，由于缺乏有效的深度监督，使得图像的深度预测不准确，从而造成图像
BEV
特征表达能力有限，影响最终目标检测的精度
。
[0004]另外，在进行多帧数据的时序融合时，由于需要处理每帧图像和点云原始数据，造成大量的计算资源和计算耗时，使得该方法难以在低时延，低功耗的车辆上实现物体检测
。

技术实现思路

[0005]本公开要解决的技术问题是为了克服现有技术中对物体检测的准确度不高及计算资源需求大的缺陷，提供一种基于多模态融合的物体检测方法
、
系统
、
设备及介质<br/>。
[0006]本公开是通过下述技术方案来解决上述技术问题：
[0007]本公开公开一种基于多模态融合的物体检测方法，所述物体检测方法包括：
[0008]获取目标点云数据对应的点云鸟瞰图特征；
[0009]获取目标图像数据对应的多视角图像的二维图像特征；
[0010]将所述点云鸟瞰图特征和所述多视角图像的二维图像特征进行处理，以生成图像鸟瞰图特征；
[0011]将所述点云鸟瞰图特征与所述图像鸟瞰图特征进行融合，以生成当前帧对应的融合鸟瞰图特征；
[0012]将当前帧对应的融合鸟瞰图特征和上一帧的时序融合特征进行融合，得到当前帧对应的时序融合鸟瞰图特征；
[0013]基于所述当前帧对应的时序融合特征，获取物体对应的类别和位置信息
。
[0014]较佳地，所述获取目标点云数据对应的点云鸟瞰图特征的步骤包括：
[0015]获取目标点云数据并对所述目标点云数据进行体素化；
[0016]对每个体素的所有目标点云数据进行编码，并对每个体素内的编码特征进行最大池化处理，得到每个体素对应的体素特征；
[0017]对所述体素特征进行编码，以得到目标点云数据对应的点云鸟瞰图特征
。
[0018]较佳地，所述获取目标图像数据对应的多视角图像的二维图像特征的步骤包括：
[0019]获取目标图像数据并对所述目标图像数据进行编码，以得到多视角图像的基础特
征；
[0020]对所述多视角图像的基础特征进行编码，得到多视角图像的二维图像特征；所多视角图像的二维图像特征为多层金字塔图像特征
。
[0021]较佳地，所述将所述点云鸟瞰图特征和所述多视角图像的二维图像特征进行处理，以生成图像鸟瞰图特征的步骤包括：
[0022]将网格对应的空间坐标映射到对应的所述二维图像特征中，以获取每个网格对应的图像特征；
[0023]基于每个网格对应的图像特征，生成图像初始化鸟瞰图特征；
[0024]将所述图像初始化鸟瞰图特征与所述点云鸟瞰图特征进行聚合，以生成对应的查询特征；
[0025]基于所述查询特征，生成图像鸟瞰图特征
。
[0026]较佳地，所述将当前帧对应的融合鸟瞰图特征和上一帧的时序融合特征进行融合，得到当前帧对应的时序融合鸟瞰图特征的步骤包括：
[0027]将上一帧的时序融合特征与当前帧的时序融合特征进行对齐，以获得对齐后的上一帧的时序融合特征；
[0028]将当前帧的融合特征和对齐后的上一帧的时序融合特征进行通道聚合以得到聚合特征；
[0029]基于所述聚合特征，生成输出特征；
[0030]将所述输出特征与所述当前帧的融合特征进行逐点相加，以得到当前帧的时序融合鸟瞰图特征
。
[0031]较佳地，所述物体检测方法还包括：
[0032]基于获取到的物体对应的类别和位置信息，进行非极大值抑制处理，以生成目标集合
。
[0033]较佳地，在得到当前帧对应的时序融合鸟瞰图特征的步骤之后，所述物体检测方法还包括：
[0034]对所述当前帧的时序融合鸟瞰图特征进行增强，得到增强后的时序融合鸟瞰图特征
。
[0035]本公开公开了一种基于多模态融合的物体检测系统，所述物体检测系统包括：
[0036]第一获取模块，用于获取目标点云数据对应的点云鸟瞰图特征；
[0037]第二获取模块，用于获取目标图像数据对应的多视角图像的二维图像特征；
[0038]第一生成模块，用于将所述点云鸟瞰图特征和所述多视角图像的二维图像特征进行处理，以生成图像鸟瞰图特征；
[0039]第二生成模块，用于将所述点云鸟瞰图特征与所述图像鸟瞰图特征进行融合，以生成当前帧对应的融合鸟瞰图特征；
[0040]融合模块，用于将当前帧对应的融合鸟瞰图特征和上一帧的时序融合特征进行融合，得到当前帧对应的时序融合鸟瞰图特征；
[0041]第三获取模块，用于基于所述当前帧对应的时序融合特征，获取物体对应的类别和位置信息
。
[0042]本公开公开了一种电子设备，包括存储器
、
处理器及存储在存储器上并用于在处
理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的基于多模态融合的物体检测方法
。
[0043]本公开公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于多模态融合的物体检测方法的步骤
。
[0044]本公开的积极进步效果在于：
[0045]本公开，在生成图像
BEV
特征时，借助雷达点云的先验空间信息来辅助图像生成
BEV
特征，提升图像
BEV
特征表达能力，从而提升目标检测的精度
。
同时，采用递归方式和注意力机制融合历史帧信息，不会显著增加计算耗时，使得基于多模态融合的物体检测方法能够保持低时延，低功耗
。
附图说明
[0046]图1为本公开实施例1的基于多模态融合的物体检测方法的流程图；
[0047]图2为本公开实施例1的基于多模态融合的物体检测方法的总体示意图；
[0048]图3为本公开实施例1的步骤
S101<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态融合的物体检测方法，其特征在于，所述物体检测方法包括：获取目标点云数据对应的点云鸟瞰图特征；获取目标图像数据对应的多视角图像的二维图像特征；将所述点云鸟瞰图特征和所述多视角图像的二维图像特征进行处理，以生成图像鸟瞰图特征；将所述点云鸟瞰图特征与所述图像鸟瞰图特征进行融合，以生成当前帧对应的融合鸟瞰图特征；将当前帧对应的融合鸟瞰图特征和上一帧的时序融合特征进行融合，得到当前帧对应的时序融合鸟瞰图特征；基于所述当前帧对应的时序融合特征，获取物体对应的类别和位置信息
。2.
如权利要求1所述的基于多模态融合的物体检测方法，其特征在于，所述获取目标点云数据对应的点云鸟瞰图特征的步骤包括：获取目标点云数据并对所述目标点云数据进行体素化；对每个体素的所有目标点云数据进行编码，并对每个体素内的编码特征进行最大池化处理，得到每个体素对应的体素特征；对所述体素特征进行编码，以得到目标点云数据对应的点云鸟瞰图特征
。3.
如权利要求1所述的基于多模态融合的物体检测方法，其特征在于，所述获取目标图像数据对应的多视角图像的二维图像特征的步骤包括：获取目标图像数据并对所述目标图像数据进行编码，以得到多视角图像的基础特征；对所述多视角图像的基础特征进行编码，得到多视角图像的二维图像特征；所多视角图像的二维图像特征为多层金字塔图像特征
。4.
如权利要求1所述的基于多模态融合的物体检测方法，其特征在于，所述将所述点云鸟瞰图特征和所述多视角图像的二维图像特征进行处理，以生成图像鸟瞰图特征的步骤包括：将网格对应的空间坐标映射到对应的所述二维图像特征中，以获取每个网格对应的图像特征；基于每个网格对应的图像特征，生成图像初始化鸟瞰图特征；将所述图像初始化鸟瞰图特征与所述点云鸟瞰图特征进行聚合，以生成对应的查询特征；基于所述查询特征，生成图像鸟瞰图特征
。5.
如权利要求1所述的基于多模态融合的物体检测方法，其特征在于，所述将当前帧对应的融合鸟瞰图特征和上一帧的时序融合特征进行融合，得到当前帧对应的时序融合...

【专利技术属性】
技术研发人员：胡晓林，张刚，潘湖杰，于乾坤，
申请(专利权)人：赛可智能科技上海有限公司，
类型：发明
国别省市：