基于信息融合的目标检测方法以及目标检测装置制造方法及图纸

本公开实施例提供一种基于信息融合的目标检测方法、装置、存储介质以及电子设备，所述目标检测方法包括：将基于激光雷达点云数据的第一体素和基于毫米波雷达点云数据的第二体素进行第一融合以获取伪图像；通过检测网络对所述伪图像进行检测并获取目标的状态信息；将所述目标的状态信息和通过所述毫米波雷达采集的目标的信息输入深度网络模型进行第二融合以获取所述目标的实际速度值。本公开基于激光雷达点云数据和毫米波雷达点云数据的早期融合和晚期融合，即利用体素的方式实现激光雷达和毫米波雷达的点云数据的早期融合和利用深度网络检测的目标的速度与关联的毫米波雷达采集的目标的速度之间进行融合的方式以实现对于目标的实际速度值的检测。现对于目标的实际速度值的检测。现对于目标的实际速度值的检测。

【技术实现步骤摘要】
基于信息融合的目标检测方法以及目标检测装置


[0001]本公开实施例涉及自动驾驶领域的信息检测
，特别涉及一种 基于信息融合的目标检测方法、装置、存储介质以及电子设备。

技术介绍

[0002]在自动驾驶汽车(Self
‑
driving vehicles,SDVs)的行驶中，为了 实现对于车辆周围障碍物(或者称为目标)的准确感知，需要在车辆上安 装多种异构的传感器，例如车载的激光雷达、毫米波雷达、摄像头、超声 波雷达等，并需要对多种传感器采集的信息进行融合，从而使得车辆在自 动驾驶中实现360
°
的全方位感知。
[0003]目前，车载感知传感器采集信息的融合方法主要包括前端融合方法和 后端融合方法，其中，所谓的前端融合方法属于原始数据级或特征级融 合，其主要是利用其中一种传感器进行目标检测并形成感兴趣区域，然后 将感兴趣区域投影到另一种传感器的原始数据中进行数据筛选，在筛选出 的原始数据中利用深度学习方法进行目标检测，该种方法的主要缺点是检 测的准确度严重依赖于第一种传感器的感知效果；所谓的后端融合方法属 于目标级融合，即通过各个传感器单独检测目标，然后将多种传感器的目 标检测结果进行融合，这种方式存在较大的信息损失，相比较而言，前端 融合方案的信息损失更小。

技术实现思路

[0004]针对上述现有技术的不足，本公开实施例提供了一种基于信息融合的 目标检测方法、装置、存储介质以及电子设备，以解决现有采用单一传感 器感兴趣区域的方式导致过度依赖某一传感器的目标检测效果等问题。
[0005]为了解决上述技术问题，本公开的实施例采用了如下技术方案：
[0006]一种基于信息融合的目标检测方法，其包括：将基于激光雷达点云数 据的第一体素和基于毫米波雷达点云数据的第二体素进行第一融合以获取 伪图像；通过检测网络对所述伪图像进行检测并获取目标的状态信息；将 所述目标的状态信息和通过所述毫米波雷达采集的目标的信息输入深度网 络模型进行第二融合以获取所述目标的实际速度值。
[0007]在一些实施例中，所述将基于激光雷达点云数据的第一体素和基于毫 米波雷达点云数据的第二体素进行第一融合以获取伪图像，包括：获取激 光雷达点云数据和毫米波雷达点云数据相互之间的交互信息；获取包括具 有所述交互信息的激光雷达的特征和毫米波雷达的特征的总体特征；将所 述总体特征按位置编码映射到平面，从而形成伪图像。
[0008]在一些实施例中，所述通过检测网络对所述伪图像进行检测并获取目 标的状态信息，包括：通过所述检测网络的主干网络从所述伪图像中提取 特征信息；将所述特征信息输入至所述检测网络的全卷积检测头以输出目 标的状态信息。
[0009]在一些实施例中，所述状态信息通过D＝(c,x,y,w,l,θ,v)的方式进行描述， 其中，c表示置信度分数、x和y表示BEV视角下所述目标的中心位置、w 表示所述目标的宽度、l表示所述目标的长度、θ表示所述目标的朝向、v 表示所述目标的二维速度。
[0010]在一些实施例中，所述将所述目标的状态信息和通过所述毫米波雷达 采集的目标的信息输入深度网络模型以获取所述目标的实际速度值，包括： 将所述检测网络获取的第一目标和毫米波雷达采集的第二目标进行关联； 获取所述第一目标和所述第二目标之间的关联分数；基于所述关联分数获 取每个目标的实际速度值。
[0011]在一些实施例中，所述深度网络模型通过多任务的总体损失函数进行 训练，所述总体损失函数至少包括所述检测网络检测所述第一目标的检测 损失、检测阶段的速度损失、第二融合阶段的速度损失。
[0012]在一些实施例中，在所述将基于激光雷达点云的第一体素和基于毫米 波雷达的第二体素进行第一融合以获取伪图像之前，还包括：通过激光雷 达和毫米波雷达分别采集并获取激光雷达点云数据和毫米波雷达点云数据； 对所述激光雷达点云数据和所述毫米波雷达点云数据进行基于鸟瞰图视角 和透视视角的体素化处理以获取第一体素和第二体素。
[0013]本公开还提供一种基于信息融合的目标检测装置，其包括：第一融合 模块，用于将基于激光雷达点云数据的第一体素和基于毫米波雷达点云数 据的第二体素进行第一融合以获取伪图像；获取模块，用于通过检测网络 对所述伪图像进行检测并获取目标的状态信息；第二融合模块，用于将所 述目标的状态信息和通过所述毫米波雷达采集的目标的信息输入深度网络 模型进行第二融合以获取所述目标的实际速度值。
[0014]本公开还提供一种存储介质，存储有计算机程序，所述计算机程序被 处理器执行时实现上述任一项所述方法的步骤。
[0015]本公开还提供一种电子设备，至少包括存储器、处理器，所述存储器 上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实 现上述任一项所述方法的步骤。
[0016]本公开实施例的有益效果在于：本公开实施例基于激光雷达点云数据 和毫米波雷达点云数据的早期融合和晚期融合，即利用体素的方式实现激 光雷达和毫米波雷达的点云数据的早期融合和利用深度网络检测的目标的 速度与关联的毫米波雷达采集的目标的速度之间进行融合的方式以实现对 于目标的实际速度值的检测。
附图说明
[0017]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技 术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得 其他的附图。
[0018]图1为本公开实施例的基于信息融合的目标检测方法的原理示意图；
[0019]图2为本公开实施例的基于信息融合的目标检测方法的步骤示意图；
[0020]图3为本公开实施例的基于信息融合的目标检测方法的原理示意图；
[0021]图4为本公开实施例的基于信息融合的目标检测方法的步骤示意图。
具体实施方式
[0022]此处参考附图描述本公开的各种方案以及特征。
[0023]应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说 明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想 到在本公开的范围和精神内的其他修改。
[0024]包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例， 并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描 述一起用于解释本公开的原理。
[0025]通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述， 本公开的这些和其它特性将会变得显而易见。
[0026]还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本 领域技术人员能够确定地实现本公开的很多其它等效形式，它们具有如权 利要求所述的特征并因此都位于借此所限定的保护范围内。
[0027]当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征 和优势将变得更为显而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息融合的目标检测方法，其特征在于，包括：将基于激光雷达点云数据的第一体素和基于毫米波雷达点云数据的第二体素进行第一融合以获取伪图像；通过检测网络对所述伪图像进行检测并获取目标的状态信息；将所述目标的状态信息和通过所述毫米波雷达采集的目标的信息输入深度网络模型进行第二融合以获取所述目标的实际速度值。2.根据权利要求1所述的目标检测方法，其特征在于，所述将基于激光雷达点云数据的第一体素和基于毫米波雷达点云数据的第二体素进行第一融合以获取伪图像，包括：获取激光雷达点云数据和毫米波雷达点云数据相互之间的交互信息；获取包括具有所述交互信息的激光雷达的特征和毫米波雷达的特征的总体特征；将所述总体特征按位置编码映射到平面，从而形成伪图像。3.根据权利要求1所述的目标检测方法，其特征在于，所述通过检测网络对所述伪图像进行检测并获取目标的状态信息，包括：通过所述检测网络的主干网络从所述伪图像中提取特征信息；将所述特征信息输入至所述检测网络的全卷积检测头以输出目标的状态信息。4.根据权利要求3所述的目标检测方法，其特征在于，所述状态信息通过D＝(c,x,y,w,l,θ,v)的方式进行描述，其中，c表示置信度分数、x和y表示BEV视角下所述目标的中心位置、w表示所述目标的宽度、l表示所述目标的长度、θ表示所述目标的朝向、v表示所述目标的二维速度。5.根据权利要求1所述的目标检测方法，其特征在于，所述将所述目标的状态信息和通过所述毫米波雷达采集的目标的信息输入深度网络模型以获取所述目标的实际速度值，包括：将所述检测网络获取的第一目标...

【专利技术属性】
技术研发人员：衣春雷，尹荣彬，李兵，王秋，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：