多传感数据融合方法、装置、计算机设备和存储介质制造方法及图纸

本申请公开了一种多传感数据融合方法、装置、计算机设备和存储介质，涉及道路交通数据采集技术领域。该方法将通过相机、激光雷达以及毫米波雷达获取的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果，然后对多类匹配结果进行融合处理，得到多传感数据融合结果。该多传感数据融合结果包含多种类型，因此其在发挥多源传感器融合结果具有更丰富特征的前提下，更加灵活的发挥各个传感器的优势，相对于传统的多传感数据融合，本实施例的方案可以增加多传感器的数据利用率，增强了检测区域的环境感知。知。知。

【技术实现步骤摘要】
多传感数据融合方法、装置、计算机设备和存储介质


[0001]本公开实施例涉及道路交通数据采集
，特别是涉及一种多传感数据融合方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着智能交通行业的快速发展，基于道路交通数据采集进行智能目标检测是本领域的一个重要研究方向。
[0003]目前，相机对目标的纹理、颜色信息获取更完备，在类别判定、颜色定义上更充分，但缺乏深度定位信息，且受光照影响较大；激光雷达对目标的位置、尺寸信息更完整，且探测精度高，但检测范围有限，受天气影响严重，抗干扰能力差；毫米波雷达抗干扰能力强，检测范围远，但定位和分类精度相对较差。
[0004]由于单一传感器对交通场景的检测具有一定局限性，因此，融合多传感器的融合感知系统对提升交通态势的感知更加重要。

技术实现思路

[0005]基于此，有必要针对上述单一传感器对交通场景的检测具有局限性的问题，提供一种多传感数据融合方法、装置、计算机设备和存储介质。
[0006]一种多传感数据融合方法，包括如下步骤：
[0007]获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
[0008]对视频进行目标检测，得到视频检测结果；
[0009]对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
[0010]对毫米波点云进行目标检测，得到毫米波点云检测结果；
[0011]将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
[0012]对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
[0013]对多类匹配结果进行融合处理，得到多传感数据融合结果。
[0014]在其中一个实施例中，对多类匹配结果进行融合处理，得到多传感数据融合结果，包括：
[0015]若多类匹配结果为第一类匹配结果，则多传感数据融合结果包括第一融合结果，
第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行第一类匹配结果进行融合，输出的融合结果；
[0016]若多类匹配结果为第二类匹配结果，则多传感数据融合结果包括第二融合结果，第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行第二类匹配结果进行融合，输出的融合结果；
[0017]若多类匹配结果为第三类匹配结果，则多传感数据融合结果包括第三融合结果，第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行第三类匹配结果进行融合，输出的融合结果；
[0018]若多类匹配结果为第四类匹配结果，则多传感数据融合结果包括第四融合结果，第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行第四类匹配结果进行融合，输出的融合结果。
[0019]在其中一个实施例中，该方法还包括：
[0020]根据目标坐标系的空间位置，将未匹配成功的目标与融合结果同时输出，其中，未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。
[0021]在其中一个实施例中，目标坐标系为图像坐标系，将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果，包括：
[0022]利用标定参数将激光雷达点云检测结果以及毫米波点云检测结果转换至视频检测结果所在的图像坐标系。
[0023]在其中一个实施例中，对视频进行目标检测，得到视频检测结果，包括：
[0024]利用视频检测算法和跟踪算法处理视频得到视频检测结果，视频检测结果包括目标的位置、速度、类别、置信度和颜色。
[0025]在其中一个实施例中，对激光雷达点云进行目标检测，得到激光雷达点云检测结果，包括：
[0026]利用点云检测模型以及跟踪算法处理激光雷达点云，输出得到激光雷达点云检测结果，激光雷达点云检测结果包括目标的位置，尺寸，速度和航向角。
[0027]在其中一个实施例中，对毫米波点云进行目标检测，得到毫米波点云检测结果；包括：
[0028]利用数字波束形成DBF算法以及DSP算法处理毫米波点云，得到目标的位置、速度以及航向角。
[0029]在其中一个实施例中，对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果，包括：
[0030]获取视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果在目标坐标系下的检测框；
[0031]根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的目标在目标坐标系下的位置，计算各目标对应检测框的交并比；
[0032]根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的在目标坐标系下各目标的轨迹和速度；
[0033]根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果。
[0034]一种多传感数据融合装置，该装置包括：
[0035]获取模块，用于获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
[0036]第一目标检测模块，用于对视频进行目标检测，得到视频检测结果；
[0037]第二目标检测模块，用于对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
[0038]第三目标检测模块，用于对毫米波点云进行目标检测，得到毫米波点云检测结果；
[0039]空间同步模块，用于将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
[0040]匹配模块，用于对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多传感数据融合方法，其特征在于，包括如下步骤：获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；对所述视频进行目标检测，得到视频检测结果；对所述激光雷达点云进行目标检测，得到激光雷达点云检测结果；对所述毫米波点云进行目标检测，得到毫米波点云检测结果；将所述视频检测结果，所述激光雷达点云检测结果以及所述毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；对所述目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；所述多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；所述第一类匹配结果为视频检测结果与所述激光雷达点云检测结果中匹配成功的目标；所述第二类匹配结果为激光雷达点云检测结果与所述毫米波点云检测结果中匹配成功的目标；所述第三类匹配结果为视频检测结果与所述毫米波点云检测结果中匹配成功的目标；所述第四类匹配结果为视频检测结果，所述激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；对所述多类匹配结果进行融合处理，得到多传感数据融合结果。2.根据权利要求1所述的方法，其特征在于，对所述多类匹配结果进行融合处理，得到多传感数据融合结果，包括：若多类匹配结果为第一类匹配结果，则所述多传感数据融合结果包括第一融合结果，所述第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行所述第一类匹配结果进行融合，输出的融合结果；若多类匹配结果为第二类匹配结果，则所述多传感数据融合结果包括第二融合结果，所述第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行所述第二类匹配结果进行融合，输出的融合结果；若多类匹配结果为第三类匹配结果，则所述多传感数据融合结果包括第三融合结果，所述第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行所述第三类匹配结果进行融合，输出的融合结果；若多类匹配结果为第四类匹配结果，则所述多传感数据融合结果包括第四融合结果，所述第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行所述第四类匹配结果进行融合，输出的融合结果。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述目标坐标系的空间位置，将未匹配成功的目标与所述融合结果同时输出，其中，所述未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。4.根据权利要求1所述的方法，其特征在于，所述目标坐标系为图像坐标系，将所述视频检测结果，所述激光雷达点云检测结果以及所述毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果，包括：利用标定参数将所述激光雷达点云检测结果以及毫米波点云检测结果转换至所述视
频检测结果所在的图像坐标系。5.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：王邓江，关喜嘉，刘建超，王亚军，邓永强，
申请(专利权)人：北京万集科技股份有限公司，
类型：发明
国别省市：