一种相机和激光雷达的多源异构传感器融合方法及设备技术

本申请公开了一种相机和激光雷达的多源异构传感器融合方法及设备，用于解决现有的传感器融合策略无法满足智能汽车在全天候、全工时的工况下，对于复杂交通场景的感知需求的技术问题。其中，确定相机对应的图像目标检测序列，及激光雷达对应的点云三维目标检测序列；分别确定与图像目标匹配成功的第一点云目标，以及与图像目标匹配不成功的第二点云目标；确定第一点云目标及与其相匹配的图像目标为融合目标，构建由多个融合目标组成的融合目标序列；将第二点云目标作为融合目标添加至融合目标序列中；从相机和激光雷达中确定出主传感器；确定融合目标序列中的各融合目标为最终检测到的道路目标，并根据主传感器，确定各道路目标对应的目标类别。目标对应的目标类别。目标对应的目标类别。

【技术实现步骤摘要】
一种相机和激光雷达的多源异构传感器融合方法及设备


[0001]本申请涉及传感器融合
，尤其涉及一种相机和激光雷达的多源异构传感器融合方法及设备。

技术介绍

[0002]随着智能驾驶汽车的快速发展，仅靠任意单一传感器已不能满足车辆在复杂交通场景下的检测需求。例如，相机能够采集物体的形状、纹理、颜色等信息，对于行人和骑行者具备较优越的检测性能，但其受光照、气候的影响比较大，在较暗的环境中检测效果差。激光雷达可以轻松获取点云的三维位置信息，并通过检测算法检测出目标的位置、种类、航向信息，但激光雷达会因为遮挡问题或者近邻问题而产生漏检，并且其对于行人和骑行者等小目标的检测和分类效果较差。
[0003]由于现有的单一传感器检测方法对于道路目标的检测准确率较低，智能驾驶汽车环境感知能力较差，基于激光雷达和相机的传感器融合策略在智能驾驶汽车感知领域已有较为广泛的应用。但是，现有技术中多采用原始融合策略，只有在激光雷达识别出的目标和相机识别出的目标相匹配时才认定融合成功，将激光雷达和相机的检测结果进行融合，自适应性较低。并且，原始融合策略会设定信任传感器，由于单一信任传感器的不同，分别存在有以激光雷达为主的融合策略和以相机为主的融合策略，但受限于单一传感器的使用限制，无法满足智能驾驶汽车在全天候、全天时工况下的检测需求。

技术实现思路

[0004]本申请公开了一种相机和激光雷达的多源异构传感器融合方法及设备，用于解决现有传感器融合策略无法满足智能驾驶汽车在全天候、全工时的工况下，对于复杂交通场景的感知需求的技术问题。
[0005]一方面，本申请实施例提供了一种相机和激光雷达的多源异构传感器融合方法，方法包括：根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列；其中，所述图像目标检测序列中包括若干图像目标，所述点云三维目标检测序列中包括若干点云目标；计算各所述图像目标与各所述点云目标之间的最优匹配结果，并根据所述最优匹配结果，分别确定与所述图像目标匹配成功的第一点云目标，以及与所述图像目标匹配不成功的第二点云目标；确定所述第一点云目标及与其相匹配的图像目标为融合目标，构建由多个融合目标组成的融合目标序列；针对各所述第二点云目标，判断所述第二点云目标对应的置信度是否大于预设置信度阈值，若大于所述预设置信度阈值，则将所述第二点云目标作为融合目标添加至所述融合目标序列中；针对各所述第一点云目标，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器；确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别。
[0006]在本申请的一种实现方式中，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器，具体包括：分别确定各所述图像目标对应的第一目标类别和第一置信度，以及各所述第一点云目标对应的第二目标类别和第二置信度，并确定所述第一目标类别和所述第二目标类别是否一致；在所述第一目标类别和所述第二目标类别一致的情况下，确定所述相机和所述激光雷达均为主传感器；在所述第一目标类别和所述第二目标类别不一致的情况下，将所述第一置信度与所述第二置信度进行比较，以确定所述第一置信度和所述第二置信度中置信度更高的传感器为主传感器。
[0007]在本申请的一种实现方式中，确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别，具体包括：所述融合目标包括第一点云目标及与其相匹配的图像目标，以及置信度大于预设置信度阈值的第二点云目标；针对各所述第一点云目标及与其相匹配的图像目标，确定所述主传感器对应的目标类别，为各所述道路目标对应的目标类别；针对所述融合目标序列中的第二点云目标，确定所述第二点云目标对应的目标类别，为各所述道路目标对应的目标类别。
[0008]在本申请的一种实现方式中，计算各所述图像目标与各所述点云目标之间的最优匹配结果之前，所述方法还包括：基于预先确定的联合标定矩阵，将所述点云三维目标检测序列投影至图像平面中，得到点云二维目标检测序列；其中，所述联合标定矩阵是基于预设的标定工具，对相机和激光雷达进行联合标定得到的。
[0009]在本申请的一种实现方式中，计算各所述图像目标与各所述点云目标之间的最优匹配结果，具体包括：确定各所述图像目标对应的图像检测框，及所述点云二维目标检测序列中的各点云目标对应的点云检测框；针对所述图像目标检测序列中的各图像目标，根据所述图像检测框和所述点云检测框，计算各所述图像目标与各所述点云目标之间的交并比值，以得到所述图像目标与所述点云目标之间的关联矩阵；其中，所述关联矩阵包括各所述图像目标与各所述点云目标之间的交并比值；基于所述关联矩阵，计算各所述图像目标与各所述点云目标之间的最优匹配结果。
[0010]在本申请的一种实现方式中，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列之后，所述方法还包括：通过智能车辆上设置的车载工控机，对所述图像目标检测序列和所述点云三维目标检测序列设置相应的时间戳；以所述点云三维目标检测序列的时间戳为基准，从所述图像目标检测序列中，确定与所述点云三维目标检测序列的时间戳差值最小的图像目标，以对相应的道路图像信息和道路点云信息进行时间同步。
[0011]在本申请的一种实现方式中，所述融合目标包括目标类别、二维平面信息、空间位置信息、航向信息以及距离信息；在确定各所述道路目标对应的目标类别之后，所述方法还包括：将所述融合目标序列中的各融合目标投影至当前智能车辆对应的世界坐标系中，确定各所述融合目标相对于所述智能车辆的位置、距离、航向信息；根据各融合目标对应的目标类别，以及所述相对于所述智能车辆的位置、距离、航向信息，确定所述智能车辆在当前时刻的行动决策。
[0012]在本申请的一种实现方式中，根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三
维目标检测序列，具体包括：将所述道路图像信息和所述道路点云信息分别输入至对应的预先训练好的道路目标检测模型中；根据各所述预先训练好的道路目标检测模型，分别确定各图像目标、各所述图像目标对应的目标检测信息，以及各点云目标、各所述点云目标对应的目标检测信息；其中，所述图像目标的目标检测信息包括图像目标的类别、中心点像素坐标及长宽尺寸，所述点云目标的目标检测信息包括点云目标的类别、中心点空间坐标及长宽高尺寸。
[0013]在本申请的一种实现方式中，将所述第二点云目标作为融合目标添加至所述融合目标序列中之前，所述方法还包括：将置信度大于预设置信度阈值的各第二点云目标投影至图像平面中，以获取各所述第二点云目标的外观信息。
[0014]另一方面，本申请实施例还提供了一种相机和激光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机和激光雷达的多源异构传感器融合方法，其特征在于，所述方法包括：根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列；其中，所述图像目标检测序列中包括若干图像目标，所述点云三维目标检测序列中包括若干点云目标；计算各所述图像目标与各所述点云目标之间的最优匹配结果，并根据所述最优匹配结果，分别确定与所述图像目标匹配成功的第一点云目标，以及与所述图像目标匹配不成功的第二点云目标；确定所述第一点云目标及与其相匹配的图像目标为融合目标，构建由多个融合目标组成的融合目标序列；针对各所述第二点云目标，判断所述第二点云目标对应的置信度是否大于预设置信度阈值，若大于所述预设置信度阈值，则将所述第二点云目标作为融合目标添加至所述融合目标序列中；针对各所述第一点云目标，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器；确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别。2.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器，具体包括：分别确定各所述图像目标对应的第一目标类别和第一置信度，以及各所述第一点云目标对应的第二目标类别和第二置信度，并确定所述第一目标类别和所述第二目标类别是否一致；在所述第一目标类别和所述第二目标类别一致的情况下，确定所述相机和所述激光雷达均为主传感器；在所述第一目标类别和所述第二目标类别不一致的情况下，将所述第一置信度与所述第二置信度进行比较，以确定所述第一置信度和所述第二置信度中置信度更高的传感器为主传感器。3.根据权利要求2所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别，具体包括：所述融合目标包括第一点云目标及与其相匹配的图像目标，以及置信度大于预设置信度阈值的第二点云目标；针对各所述第一点云目标及与其相匹配的图像目标，确定所述主传感器对应的目标类别，为各所述道路目标对应的目标类别；针对所述融合目标序列中的第二点云目标，确定所述第二点云目标对应的目标类别，为各所述道路目标对应的目标类别。4.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，计算各所述图像目标与各所述点云目标之间的最优匹配结果之前，所述方法还包括：基于预先确定的联合标定矩阵，将所述点云三维目标检测序列投影至图像平面中，得
到点云二维目标检测序列；其中，所述联合标定矩阵是基于预设的标定工具，对相机和激光雷达进行联合标定得到的。5.根据权利要求4所述的一种相机和激光雷达的多源异构传感器...

【专利技术属性】
技术研发人员：陈雪梅，韩欣彤，孔令兴，肖龙，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：