多传感数据融合方法、多源融合感知系统和计算机设备技术方案

本申请公开了一种多传感数据融合方法、多源融合感知系统、计算机设备和存储介质，获取同一时刻、同一场景下的点云数据和视频数据；对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；对第一检测结果与第二检测结果进行融合，得到初始融合结果；判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。通过上述方法得到了更为准确的目标物的信息，进而提高了目标检测的准确性。性。性。

Multi sensor data fusion method, multi-source fusion sensing system and computer equipment

【技术实现步骤摘要】
多传感数据融合方法、多源融合感知系统和计算机设备


[0001]本公开实施例涉及道路检测
，特别是涉及一种多传感数据融合方法、多源融合感知系统和计算机设备以及存储介质。

技术介绍

[0002]随着城市车辆越来越多，对车辆行驶过程的监管难度越来越大，在实际应用中，常常需要对道路中的目标物进行监测，以获取目标物的目标信息。
[0003]现有技术中，对道路中的目标物进行监测的方法一般是：在道路上安装摄像机，通过摄像机对待测区域进行连续拍摄得到视频数据，然后对视频数据进行分析和处理，得到视频数据中的目标物的检测信息。
[0004]然而，利用单一传感器采集得到的感知数据进行目标检测时，容易发生误检或者虚检问题，且无法对误检、虚检问题进行修正，导致检测结果的准确度较低。

技术实现思路

[0005]基于此，有必要针对上述存在的漏检的问题，提供一种多传感数据融合方法、多源融合感知系统和计算机设备以及存储介质。
[0006]一种多传感数据融合方法，包括：
[0007]获取同一时刻、同一场景下的点云数据和视频数据；
[0008]对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；
[0009]对第一检测结果与第二检测结果进行融合，得到初始融合结果；
[0010]判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。
[0011]在其中一个实施例中，对第一检测结果与第二检测结果进行融合，得到初始融合结果，包括：
[0012]根据外参矩阵将第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将点云目标从三维坐标系转换至第二检测结果中视频目标所在的二维坐标系；
[0013]根据二维坐标系中的点云目标和视频目标确定初始融合结果中的目标物；其中，信息匹配概率大于匹配阈值的点云目标和视频目标为同一目标物，信息匹配概率用于表征点云目标与视频目标的位置重叠度。
[0014]在其中一个实施例中，修正类型为多目标误判修正，根据判断结果的修正类型修正初始融合结果，包括：
[0015]若初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在初始融合结果中的多个视频目标分别标记为不同
的目标物；
[0016]若初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在初始融合结果中的多个点云目标分别标记为不同的目标物。
[0017]在其中一个实施例中，修正类型为置信度修正，根据判断结果的修正类型修正初始融合结果，包括：
[0018]获取初始融合结果包括的目标物的第一置信度和第二置信度，第一置信度为根据点云数据确定的目标物的类别的置信度，第二置信度为根据视频数据确定的目标物的类别的置信度；
[0019]将目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为目标物的类别。
[0020]在其中一个实施例中，修正类型为目标颜色修正，根据判断结果的修正类型修正初始融合结果，包括：
[0021]检测初始融合结果包括的目标物在第二检测结果中是否存在对应的视频目标；
[0022]若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，则基于视频数据获取对应的视频目标的颜色信息，并将颜色信息作为目标物的颜色信息。
[0023]在其中一个实施例中，修正类型为漏检修正，根据判断结果的修正类型修正初始融合结果，包括：
[0024]若初始融合结果包括的目标物在第一检测结果中存在对应的点云目标，在第二检测结果中不存在对应的视频目标，则将点云目标的第一检测结果映射至第二检测结果中视频目标所在的二维坐标系中，作为目标物的第二检测结果；
[0025]若初始融合结果包括的目标物在第二检测结果中存在对应的视频目标，在第一检测结果中不存在对应的点云目标，则将视频目标的第二检测结果通过互学习模型转换至第一检测结果中点云目标所在的点云坐标系中，作为目标物的第一检测结果。
[0026]在其中一个实施例中，修正类型为虚检修正，根据判断结果的修正类型修正初始融合结果，包括：
[0027]获取初始融合结果包括的目标物的第一置信度，第一置信度为根据点云数据确定的目标物的类别的置信度；
[0028]在第一置信度小于置信度阈值的情况下，获取初始融合结果包括的目标物在第一检测结果中对应的检测框的面积；
[0029]若检测框的面积小于面积阈值，则从初始融合结果中剔除目标物。
[0030]在其中一个实施例中，修正类型为轨迹修正，根据判断结果的修正类型修正初始融合结果，包括：
[0031]获取初始融合结果包括的目标物对应的点云目标的轨迹行驶方向以及对应的视频目标的轨迹行驶方向；
[0032]若点云目标的轨迹行驶方向发生跳变，而视频目标的轨迹行驶方向未发生跳变，则根据视频目标的轨迹行驶方向确定初始融合结果包括的目标物的行驶方向。
[0033]在其中一个实施例中，点云数据是根据路侧激光雷达对待测区域进行检测得到的。
[0034]一种多源融合感知系统，包括：
[0035]数据获取模块，用于获取同一时刻、同一场景下的点云数据和视频数据；
[0036]目标检测模块，用于对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；
[0037]目标融合模块，用于对第一检测结果与第二检测结果进行融合，得到初始融合结果；
[0038]结果修正模块，用于判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。
[0039]一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：
[0040]获取同一时刻、同一场景下的点云数据和视频数据；
[0041]对点云数据进行目标检测得到第一检测结果，对视频数据进行目标检测得到第二检测结果；
[0042]对第一检测结果与第二检测结果进行融合，得到初始融合结果；
[0043]判断初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正初始融合结果，输出数据融合结果；其中，修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。
[0044]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
[0045]获取同一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多传感数据融合方法，其特征在于，包括如下步骤：获取同一时刻、同一场景下的点云数据和视频数据；对所述点云数据进行目标检测得到第一检测结果，对所述视频数据进行目标检测得到第二检测结果；对所述第一检测结果与所述第二检测结果进行融合，得到初始融合结果；判断所述初始融合结果是否需要修正，若判断结果为需要修正，则根据判断结果的修正类型修正所述初始融合结果，输出数据融合结果；其中，所述修正类型包括：多目标误判修正，置信度修正，目标颜色修正，漏检修正，虚检修正以及轨迹修正中的一种或几种。2.根据权利要求1所述的方法，其特征在于，所述对所述第一检测结果与所述第二检测结果进行融合，得到初始融合结果，包括：根据外参矩阵将所述第一检测结果中的点云目标从点云坐标系转换至三维坐标系，并根据内参矩阵将所述点云目标从所述三维坐标系转换至所述第二检测结果中视频目标所在的二维坐标系；根据所述二维坐标系中的点云目标和所述视频目标确定所述初始融合结果中的目标物；其中，信息匹配概率大于匹配阈值的所述点云目标和所述视频目标为同一所述目标物，所述信息匹配概率用于表征所述点云目标与所述视频目标的位置重叠度。3.根据权利要求2所述的方法，其特征在于，所述修正类型为所述多目标误判修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：若所述初始融合结果中存在目标物对应的一个点云目标与多个视频目标的信息匹配概率均大于第一匹配阈值的情况，则将在所述初始融合结果中的所述多个视频目标分别标记为不同的目标物；若所述初始融合结果中存在目标物对应的一个视频目标与多个点云目标的信息匹配概率均大于第二匹配阈值的情况，则将在所述初始融合结果中的所述多个点云目标分别标记为不同的目标物。4.根据权利要求1所述的方法，其特征在于，所述修正类型为置信度修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：获取所述初始融合结果包括的目标物的第一置信度和第二置信度，所述第一置信度为根据所述点云数据确定的所述目标物的类别的置信度，所述第二置信度为根据所述视频数据确定的所述目标物的类别的置信度；将所述目标物的第一置信度和第二置信度进行转换处理，将转换处理后得到的两个置信度中较大的置信度所对应的类别作为所述目标物的类别。5.根据权利要求1所述的方法，其特征在于，所述修正类型为所述目标颜色修正，所述根据判断结果的修正类型修正所述初始融合结果，包括：检测所述初始融合结果包括的目标物在所述第二检测结果中是否存在对应的视频目标；若所述初始融合结果包括的目标物在所述第二检测结果中存在对应的视频目标，则基于所述视频数据获取所述对应的视频目标的颜色信息，并将所述颜色信息作为所述目标物的颜色信息。6.根据权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：关喜嘉，王邓江，王亚军，邓永强，
申请(专利权)人：北京万集科技股份有限公司，
类型：发明
国别省市：