多传感器数据融合的目标检测方法及装置制造方法及图纸

本发明专利技术实施例提供了一种多传感器数据融合的目标检测方法及装置，其中方法包括：根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据，以及根据图像特征数据确定第二目标候选框数据；生成融合张量数据；通过卷积神经网络对所述融合张量数据进行处理，生成融合置信度数据，并根据该融合置信度数据修正所述第一目标候选框数据中的第一置信度数据；基于修正后的第一目标候选框数据进行目标识别处理。本发明专利技术实施例的多传感器数据融合的目标检测方法及装置，通过在点云特征提取中引入几何矩，提升了3D候选框的检测精度，进一步再结合2D图像候选框数据的辅助修正，从而有效提高了点云目标识别的准确度。提高了点云目标识别的准确度。提高了点云目标识别的准确度。

【技术实现步骤摘要】
多传感器数据融合的目标检测方法及装置


[0001]本专利技术实施例涉及一种目标检测方法及装置，尤其是一种多传感器数据融合的目标检测方法及装置，属于计算机


技术介绍

[0002]随着激光雷达传感器的广泛应用，对于基于点云数据的目标识别技术也开始在各个领域中进行应用。现有的基于点云数据的目标检测主要是利用神经网络的处理方法对目标进行识别，与传统方法相比有着更快速更高效更准确的检测结果，但现有的基于神经网络的检测器对于激光雷达的点云数据的处理上有明显的局限性，大多数都是使用传统的针对图像的神经网络检测器进行简单改进后，就应用到了点云处理中，为了处理点云的无序性，需要对原始点云进行随机采样或过滤部分点，这就导致神经网络在学习过程中缺乏更多点的信息，进而也会导致在目标候选框的确定以及筛选上存在很大的偏差，严重影响了目标检测的准确性。

技术实现思路

[0003]本专利技术实施例提供一种多传感器数据融合的目标检测方法及装置，通过将基于不同传感器而生成的目标候选框数据进行融合处理，来提高目标识别的准确度。
[0004]本专利技术实施例提供了一种多传感器数据融合的目标检测方法，包括：
[0005]根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据，以及根据图像特征数据确定第二目标候选框数据；
[0006]根据所述第一目标候选框数据和所述第二目标候选框数据，生成融合张量数据，所述融合张量数据包括第一目标候选框数据中的多个第一候选框与第二目标候选框数据中的多个第二候选框之间的交叠度、以及各个交叠度对应的第一目标候选框的第一置信度和第二目标候选框的第二置信度；
[0007]通过卷积神经网络对所述融合张量数据进行处理，生成融合置信度数据，并根据该融合置信度数据修正所述第一目标候选框数据中的第一置信度数据；
[0008]基于修正后的第一目标候选框数据进行目标识别处理。
[0009]本专利技术实施例提供了一种多传感器数据融合的目标检测装置，包括：
[0010]候选框数据生成模块，用于根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据，以及根据图像特征数据确定第二目标候选框数据；
[0011]融合张量数据生成模块，用于根据所述第一目标候选框数据和所述第二目标候选框数据，生成融合张量数据，所述融合张量数据包括第一目标候选框数据中的多个第一候选框与第二目标候选框数据中的多个第二候选框之间的交叠度、以及各个交叠度对应的第一目标候选框的第一置信度和第二目标候选框的第二置信度；
[0012]候选框数据修正模块，通过卷积神经网络对所述融合张量数据进行处理，生成融合置信度数据，并根据该融合置信度数据修正所述第一目标候选框数据中的第一置信度数
据；
[0013]识别处理模块，用于基于修正后的第一目标候选框数据进行目标识别处理。
[0014]本专利技术实施例的多传感器数据融合的目标检测方法及装置，通过在点云特征提取中引入几何矩，提升了3D候选框的检测精度，进一步再结合2D图像候选框数据的辅助修正，从而有效提高了点云目标识别的准确度。
[0015]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0016]图1为本专利技术实施例的多传感器数据融合的目标检测方法的流程示意图；
[0017]图2为本专利技术实施例的IoU和GIoU的原理说明示意图；
[0018]图3为本专利技术实施例的IoU和GIoU的示例性示意图；
[0019]图4为本专利技术实施例的多传感器数据融合的目标检测方法整体框架示意图；
[0020]图5为本专利技术实施例的多传感器数据融合的目标检测装置的结构示意图。
具体实施方式
[0021]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0022]多传感器融合的目标检测方法主要分为数据级融合、特征级融合和决策级融合，使用传感器主要为激光雷达和相机。在本专利技术实施例中，采用以激光雷达的点云数据为主的目标识别机制，通过引入相机采集的图像数据来辅助基于激光雷达的目标识别，从而弥补单纯使用点云数据的目标识别的不足。
[0023]激光雷达的优势在于主动发射的激光束，要比可见光具有更强的穿透恶劣天气的能力。借助激光点云的三维坐标信息，能够更便捷的实现三维空间的物体感知，相比于图像处理，对系统芯片与算法的压力更轻，处理速度也更快。但是，相比于图像传感器，其点云数据相对稀疏，在识别中远距离目标以及目标轮廓的细节方面存在不足。
[0024]在本专利技术实施例中，在点云数据的处理上，引入了几何矩特征，以提高点云特征的空间连续性，从而使得在目标候选框的识别上更加靠近图像识别模式，另一方面，将基于图像数据而识别出的目标候选框数据来进一步修正基于激光雷达生成的目标候选框数据，从而提高整体检测的精度和准确性。
[0025]如图1所示，其为本专利技术实施例的多传感器数据融合的目标检测方法的流程示意图，该方法可以应用于自动驾驶、自动化生产、测绘等多个
，该方法可以部署在个人计算机、平板电脑、智能手机、车载系统等终端上，也可以部署于网络侧的服务器上，从而获取终端侧的图像数据和点云数据在网络侧进行处理。具体地，该方法包括如下处理过程：
[0026]S101:根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据，以及根据图像特征数据确定第二目标候选框数据。
[0027]这里的几何矩可以是一阶几何矩、二阶几何矩或者三阶几何矩，一阶几何矩与形状有关，二阶几何矩能够体现显示曲线围绕直线平均值的扩展程度，更多地表现空间曲面信息，三阶几何矩则是关于平均值的对称性的测量。这里所说的几何矩特征可以是原始的几何矩的数据也可以是基于这些几何矩的数据通过神经网络或者其他特征提取算法而进一步提取出的特征，这些特征也可以是结合三维点云数据与几何矩信息共同提取的。
[0028]在本专利技术实施例中，以二阶几何矩为例进行详细说明，二阶几何矩能够表达出协方差方面的特征。点云的坐标向量可以表示为X
j
＝(x
j
,y
j
,z
j
)
T
,则二阶几何矩可以表示为一个3*3对称矩阵Σ：
[0029][0030]在本专利技术实施例中，对二阶几何矩进行了进一步的简化，以x,y,z表示点云的三维坐标，则点云的几何矩的向量可以表示为(x2,y2,z2,xy,xz,yz)。上述的根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据可以包括：
[0031]S1011：获取点云坐标向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多传感器数据融合的目标检测方法，包括：根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据，以及根据图像特征数据确定第二目标候选框数据；根据所述第一目标候选框数据和所述第二目标候选框数据，生成融合张量数据，所述融合张量数据包括第一目标候选框数据中的多个第一候选框与第二目标候选框数据中的多个第二候选框之间的交叠度、以及各个交叠度对应的第一目标候选框的第一置信度和第二目标候选框的第二置信度；通过卷积神经网络对所述融合张量数据进行处理，生成融合置信度数据，并根据该融合置信度数据修正所述第一目标候选框数据中的第一置信度数据；基于修正后的第一目标候选框数据进行目标识别处理。2.根据权利要求1所述的方法，其中，根据包含点云的几何矩特征的点云特征数据确定第一目标候选框数据包括：根据包含点云的几何矩特征的点云特征数据确定三维候选框以及对应的置信度，将所述三维候选框投影到所述图像特征数据所在的平面，将投影得到的二维候选框作为所述第一候选框，将所述三维候选框对应的置信度作为所述第一置信度，并将所述三维候选框到所述平面的投影距离记录到所述第一目标候选框数据中；相应地，所述融合张量数据还包括所述第一目标候选框对应的投影距离。3.根据权利要求1所述的方法，其中，所述通过卷积神经网络对所述融合张量数据进行处理，生成融合置信度数据包括：获取所述交叠度大于预设第一阈值的融合张量数据，并通过卷积神经网络进行处理，生成融合置信度数据。4.根据权利要求1所述的方法，其中，所述交叠度为所述多个第一候选框与所述多个第二候选框之间的交并比或者广义交并比。5.根据权利要求1所述的方法，其中，所述基于修正后的第一目标候选框数据进行目标识别处理包括：S1:对所述第一目标候选框数据中第一置信度进行排序；S2:获取排名最高的第一置信度对应的第一候选框，计算该排名最高的第一候选框与其余的第一候选框的广义交并比，并将第一候选框对应的目标候选框数据条目从第一目标候选框数据中取出放入到目标候选框数据输出列表中；S3:从所述第一目标候选框数据中剔除掉广义交并比大于预设的第二阈值的第一目标候选框对应的目标候选框数据条目；重复执行上述S2和S3的处理，直至第一目标候选框数据中的第一目标候选框为空，然后，将目标候选框输出列表中的目标...

【专利技术属性】
技术研发人员：逯博，陈天楷，王世峰，孟锦，孟馨，吕佳航，
申请(专利权)人：长春理工大学中山研究院，
类型：发明
国别省市：