【技术实现步骤摘要】
目标检测方法、装置、电子设备及机器可读存储介质
[0001]本申请涉及数据处理
，尤其涉及一种目标检测方法、装置、电子设备及机器可读存储介质。
技术介绍
[0002]在自动驾驶中，毫米波雷达和相机被广泛应用。相机有丰富的纹理信息，可以准确获取目标的尺寸和类别信息，但是测距测速性能一般，且易受光照、雨雾等影响；毫米波雷达具有良好的测距测速性能，较强的鲁棒性，但在测角、静态障碍物识别方面存在缺陷。因此，可以通过传感器融合方式，取长补短，提高目标检测性能。
[0003]近些年，出现了一些RV(Radar and Vision，毫米波雷达和视频)融合3D检测方案，在多视角图像3D检测模型的基础上，扩展成了多模态融合的3D目标检测框架。其主要实现方案包括：
[0004]利用Query(Transformer中的目标查询)生成参考点，一方面，以参考点为圆心，在周围采样最近的雷达点云，在接入全连接网络提取特征。另一方面，将参考点投影到各个相机，利用双线性差值提取图像特征点。最后，图像特征和匹配上的雷达特征进行concat(一种合并操作)连接融合，一起送入检测头预测3D目标。
[0005]实践发现，使用concat方式对图像特征和雷达特征进行融合的方式，特征融合性能交叉，导致3D目标检测性能受到影响。
技术实现思路
[0006]有鉴于此，本申请提供一种目标检测方法、装置、电子设备及机器可读存储介质，以优化目标检测性能。
[0007]具体地，本申请是通过如下技术方案实现的：>[0008]根据本申请实施例的第一方面，提供一种目标检测方法，包括：
[0009]依据目标查询确定候选目标框；
[0010]依据所述候选目标框进行雷达点采样，得到待处理雷达点，并对所述待处理雷达点进行特征提取，得到待融合雷达特征；以及，
[0011]依据所述候选目标框进行图像特征采样，得到待融合图像特征；
[0012]对于相互关联的待融合雷达特征和待融合图像特征，利用交叉注意力机制对该待融合雷达特征和待融合图像特征进行特征深度融合，得到深度融合特征；其中，相互关联的待融合雷达特征和待融合图像特征为与同一候选目标框关联的待融合雷达特征和待融合图像特征；
[0013]对所述深度融合特征进行目标检测。
[0014]根据本申请实施例的第二方面，提供一种目标检测装置，包括：
[0015]确定单元，用于依据目标查询确定候选目标框；
[0016]雷达特征获取单元，用于依据所述候选目标框进行雷达点采样，得到待处理雷达
点，并对所述待处理雷达点进行特征提取，得到待融合雷达特征；
[0017]图像特征获取单元，用于依据所述候选目标框进行图像特征采样，得到待融合图像特征；
[0018]特征融合单元，用于对于相互关联的待融合雷达特征和待融合图像特征，利用交叉注意力机制对该待融合雷达特征和待融合图像特征进行特征深度融合，得到深度融合特征；其中，相互关联的待融合雷达特征和待融合图像特征为与同一候选目标框关联的待融合雷达特征和待融合图像特征；
[0019]目标检测单元，用于对所述深度融合特征进行目标检测。
[0020]根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的方法。
[0021]根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面提供的方法。
[0022]本申请提供的技术方案至少可以带来以下有益效果：
[0023]在依据目标查询确定了候选目标框的情况下，一方面，依据候选目标框进行雷达点采样，得到待处理雷达点，并对待处理雷达点进行特征提取，得到待融合雷达特征；另一方面，依据候选目标框进行图像特征采样，得到待融合图像特征；对于相互关联的待融合雷达特征和待融合图像特征，利用交叉注意力机制对该待融合雷达特征和待融合图像特征进行特征深度融合，得到深度融合特征，并对深度融合特征进行目标检测，通过利用交叉注意力机制对雷达特征和图像特征进行深度调整融合，充分考虑不同模态的传感器数据的数据特点，优化了特征融合性能，得到更高质量的深度融合特征，进而，优化了目标检测性能。
附图说明
[0024]图1是本申请示例性实施例示出的一种目标检测方法的流程示意图；
[0025]图2是本申请示例性实施例示出的一种融合检测系统的框架示意图；
[0026]图3是本申请示例性实施例示出的一种多模态数据关联模块的工作流程示意图；
[0027]图4是本申请示例性实施例示出的一种特征深度融合的流程示意图；
[0028]图5是本申请示例性实施例示出的一种目标检测装置的结构示意图；
[0029]图6是本申请示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0031]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0032]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0033]需要说明的是，本申请实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
[0034]请参见图1，为本申请实施例提供的一种目标检测方法的流程示意图，如图1所示，该目标检测方法可以包括以下步骤：
[0035]步骤S100、依据目标查询确定候选目标框。
[0036]示例性的，可以依据目标查询(query)，利用神经网络，如多层全连接层，生成候选目标框。
[0037]示例性的，上述候选目标框为3D目标框。
[0038]步骤S110、依据候选目标框进行雷达点采样，得到待处理雷达点，并对待处理雷达点进行特征提取，得到待融合雷达特征。
[0039]步骤S120、依据候选目标框进行图像特征采样，得到待融合图像特征。
[0040]本申请实施例中，对于任一候选目标框，一方面，可以依据该候选目标框进行雷达点采样，得到待处理雷达点。
[0041]例如，可以在该候选目标框范围内采样一定数量的雷达点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：依据目标查询确定候选目标框；依据所述候选目标框进行雷达点采样，得到待处理雷达点，并对所述待处理雷达点进行特征提取，得到待融合雷达特征；以及，依据所述候选目标框进行图像特征采样，得到待融合图像特征；对于相互关联的待融合雷达特征和待融合图像特征，利用交叉注意力机制对该待融合雷达特征和待融合图像特征进行特征深度融合，得到深度融合特征；其中，相互关联的待融合雷达特征和待融合图像特征为与同一候选目标框关联的待融合雷达特征和待融合图像特征；对所述深度融合特征进行目标检测。2.根据权利要求1所述的方法，其特征在于，所述依据所述候选目标框进行雷达点采样，得到待处理雷达点，包括：对于任一候选目标框，对该候选目标框进行外扩处理，得到处理后的候选目标框；在该处理后的候选目标框的范围内，选取K1个与该处理后的候选目标框的中心点距离最近的雷达点，将所选取的雷达点确定为待处理雷达点；K1为整数，且K1＞1。3.根据权利要求2所述的方法，其特征在于，对于任一候选目标框，该候选目标框的外扩系数依据该候选目标框的中心点到原点的距离确定，且与该距离正相关。4.根据权利要求2所述的方法，其特征在于，对于任一处理后的候选目标框，在该处理后的候选目标框的范围内雷达点的数量小于K1个的情况下，通过补0的方式补足K1个待处理雷达点。5.根据权利要求1所述的方法，其特征在于，所述利用交叉注意力机制对该待融合雷达特征和待融合图像特征进行特征深度融合，得到深度融合特征，包括：依据该待融合图像特征，利用全连接网络，生成目标查询Query；依据该待融合雷达特征，利用全连接网络，分别生成键Key和值Value；依据该Query和该Key生成注意力矩阵；依据该注意力矩阵和该Value，确定深度融合特征。6.根据权利要求5所述的方法，其特征在于，所述依据该Query和该Key生成注意力矩阵，通过以下方式实现：A＝Query
*
Key
T
其中，A为注意力矩阵；所述依据该注意力矩阵和该Value，确定深度融合特征，通过以下方式实现：其中，C为深度融合特征，d为归一化因子。7.一种目标检测装置，其特征在于，包括：确定单元，用于依据目标查询确定候选目标框；雷达特征获取单元，用于依据所述候选目标框进行雷达点采样，得到待处理雷达点，并对所述待处理雷达点进行特征提取，得到待融合雷达特...
【专利技术属性】
技术研发人员：张经纬，方梓成，李昊，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。