传感器数据融合方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种传感器数据融合方法、装置、设备以及存储介质，涉及数据处理技术领域，尤其涉及感知和自动驾驶技术领域。具体实现方案为：将第一传感器的目标数据和该第一传感器的融合数据进行关联融合处理，得到该第一传感器的融合目标数据；将该第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据。本公开实施例通过将多个传感器的数据进行关联融合，可以充分利用多个传感器的检测性能，有利于适用于更多的应用场景。景。景。

【技术实现步骤摘要】
传感器数据融合方法、装置、设备以及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及感知和自动驾驶


技术介绍

[0002]自动化或者无人化的车辆，能够安全舒适运行的重要前提是准确可靠的环境感知。环境感知系统是基于传感器的系统。环境感知系统需要具有高精度和高可靠性，以便正确检测车的前后、左右、相邻等位置的各种交通参与者以及静止背景等障碍物。因此，需要使用许多环境感知传感器，覆盖所有可能的角度。由于不同应用需求，设计选择安装的传感器类型、数量、安装位置等可能不同，许多的不同传感器可以采集大量数据。

技术实现思路

[0003]本公开提供了一种传感器数据融合方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种传感器数据融合方法，包括：
[0005]将第一传感器的目标数据和该第一传感器的融合数据进行关联融合处理，得到该第一传感器的融合目标数据；
[0006]将该第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据。
[0007]根据本公开的另一方面，提供了一种传感器数据融合装置，包括：
[0008]第一处理模块，用于将第一传感器的目标数据和该第一传感器的融合数据进行关联融合处理，得到该第一传感器的融合目标数据；
[0009]第二处理模块，用于将该第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：<br/>[0011]至少一个处理器；以及
[0012]与该至少一个处理器通信连接的存储器；其中，
[0013]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0014]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0015]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0016]本公开实施例通过将多个传感器的数据进行关联融合，可以充分利用多个传感器的检测性能，有利于适用于更多的应用场景。
[0017]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0018]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0019]图1是根据本公开一实施例的传感器数据融合方法的流程示意图；
[0020]图2是根据本公开另一实施例的传感器数据融合方法的流程示意图；
[0021]图3是根据本公开另一实施例的传感器数据融合方法的流程示意图；
[0022]图4是根据本公开另一实施例的传感器数据融合方法的流程示意图；
[0023]图5是本公开实施例的多传感器融合的体系结构图
[0024]图6是本公开实施例的单传感器感知处理图；
[0025]图7是本公开实施例的传感器间基于原始数据的感知融合处理流程图；
[0026]图8是本公开实施例的基于原始数据的关联融合处理流程图；
[0027]图9是本公开实施例的航迹关联性判断的示意图；
[0028]图10是根据本公开一实施例的传感器数据融合装置的结构示意图；
[0029]图11是根据本公开另一实施例的传感器数据融合装置的结构示意图；
[0030]图12是用来实现本公开实施例的电子设备的框图。
具体实施方式
[0031]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0032]图1是根据本公开一实施例的传感器数据融合方法的流程示意图，该方法可以包括：
[0033]S101、将第一传感器的目标数据和该第一传感器的融合数据进行关联融合处理，得到该第一传感器的融合目标数据；
[0034]S102、将该第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据。
[0035]在本公开实施例中，车辆等设备的环境感知系统中可以包括很多传感器。例如，不同安装位置或不同位置的各种传感器可以采集到大量数据。传感器的类型可以包括例如视觉传感器、激光雷达和毫米波雷达等。视觉传感器例如相机可以采集图像，激光雷达可以采集点云，毫米波雷达可以采集点云。各个传感器可以分别独立进行感知处理。例如，一种感知处理流程可以包括：目标检测、目标分类、场景语义分割、目标动静态识别等；对目标进行关联跟踪；对目标存在性进行估计；根据目标信息比如存在性或者置信度，对目标过滤；目标数据按照目标协议输出；模块输出再按照帧协议输出。
[0036]在本公开实施例中，基于传感器的原始数据进行感知处理可以得到传感器的目标数据。传感器的目标数据中可以包括该传感器感知到的一个或多个目标的属性信息，例如，目标的位置、形状、朝向、速度、加速度、类别等。第一传感器的融合数据也可以包括第一传感器和其他传感器感知到的一个或多个目标的属性信息。
[0037]先利用单个传感器的原始数据和融合数据进行关联融合处理，得到单个传感器的融合目标数据。然后利用多个传感器的融合目标数据可以得到全局融合数据。全局融合数
据中不仅可以包括多个传感器的融合目标数据，还可以包括多个传感器的融合航迹数据。然后再根据单个传感器的融合目标数据和全局融合数据进行关联融合处理，可以对全局融合数据进行更新。这样通过将多个传感器的数据进行关联融合，可以充分利用多个传感器的检测性能，有利于适用于更多的应用场景。
[0038]图2是根据本公开另一实施例的传感器数据融合方法的流程示意图，该方法可以包括上述实施例的传感器数据融合方法的一个或多个特征，在一种实施方式中，该方法还包括：
[0039]S201、将该第一传感器目标数据和至少一个第二传感器的目标数据进行融合处理，得到该第一传感器的融合数据。
[0040]在本公开实施例中，基于第一传感器的原始数据与其他传感器的原始数据融合之后进行感知处理可以得到第一传感器的融合数据。或者，基于第一传感器的目标数据与其他传感器的目标数据融合也可以得到第一传感器的融合数据。以激光雷达、视觉传感器、毫米波雷达等传感器为例。激光雷达传感器为第一传感器，视觉传感器、毫米波雷达为第二传感器。激光雷达传感器的目标数据为{L}，视觉传感器的目标数据为{C}，毫米波雷达传感器的目标数据为{R}。激光雷达传感器和视觉传感器融合处理得到的融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种传感器数据融合方法，包括：将第一传感器的目标数据和所述第一传感器的融合数据进行关联融合处理，得到所述第一传感器的融合目标数据；将所述第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据。2.根据权利要求1所述的方法，还包括：将所述第一传感器目标数据和至少一个第二传感器的目标数据进行融合处理，得到所述第一传感器的融合数据。3.根据权利要求2所述的方法，将所述第一传感器目标数据和至少一个第二传感器的目标数据进行融合处理，得到所述第一传感器的融合数据，包括：将所述第一传感器的目标数据与多种第二传感器的目标数据基于投影关系得到表达方式提取特征后两两融合，得到所述第一传感器的多种融合数据。4.根据权利要求1至3中任一项所述的方法，将第一传感器的目标数据和所述第一传感器的融合数据进行关联融合处理，得到所述第一传感器的融合目标数据，包括：按照关联方式比较第一传感器的目标数据与不同类型的融合数据是否存在期望目标；在一种关联方式存在多个期望目标的情况下，对所述关联方式的多个期望目标进行融合，得到融合目标；根据不同关联方式对应的期望目标或融合目标，得到所述第一传感器的融合目标数据。5.根据权利要求4所述的方法，其中，所述关联方式包括以下至少之一：所述第一传感器的目标数据与所述第一传感器的所有融合数据没有关联的目标；第一融合数据与所述第一传感器的目标数据以及第二融合数据没有关联的目标；第二融合数据与所述第一传感器的目标数据以及第一融合数据没有关联的目标；所述第一传感器的目标数据与第一融合数据具有关联但是与第二融合数据没有关联的目标；所述第一传感器的目标数据与第二融合数据具有关联但是与第一融合数据没有关联的目标；第一融合数据与第二融合数据具有关联但是与所述第一传感器的目标数据没有关联的目标；所述第一传感器的目标数据与所述第一传感器的所有融合数据具有关联的目标；其中，所述第一融合数据和所述第二融合数据是所述第一传感器与不同的第二传感器融合得到的融合数据。6.根据权利要求1至5中任一项所述的方法，还包括：根据多帧的所述第一传感器的融合目标数据，得到所述第一传感器的融合航迹数据；根据多帧的全局融合目标数据，得到全局融合航迹数据。7.根据权利要求1至6中任一项所述的方法，其中，将所述第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据，包括：根据所述第一传感器的融合目标数据与全局融合数据，得到关联矩阵；使用融合目标数据中的跟踪信息、传感器间的关联信息、类别信息、动静态属性、速度
信息的至少之一，检验并更新所述关联矩阵。8.根据权利要求7所述的方法，其中，所述关联矩阵中的元素用于表示以下至少之一：所述第一传感器的融合目标数据中的目标与全局融合数据中的目标的关联距离；所述第一传感器的融合目标数据中的目标与全局融合数据中的航迹的关联距离；所述第一传感器的融合航迹数据中的航迹与全局融合数据中的航迹的关联距离；所述第一传感器的融合航迹数据中的航迹与全局融合数据中的目标的关联距离。9.根据权利要求7或8所述的方法，其中，所述关联矩阵中的元素所表示的两个对象的关联距离大于或等于阈值的情况下，所述关联矩阵中对应的元素为第一值；所述关联距离小于所述阈值的情况下，所述关联矩阵中对应的元素等于所述关联距离除以所述阈值。10.根据权利要求7至9中任一项所述的方法，其中，将所述第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据，还包括以下至少之一：根据更新后的关联矩阵得到的关联对，对单一传感器的融合目标数据和全局融合目标数据进行属性融合处理；根据属性融合处理后的全局融合目标数据，更新全局融合航迹数据。11.根据权利要求10所述的方法，其中，所述属性融合处理包括以下至少之一：位置形状融合；朝向融合；类别融合；运动融合；存在性融合；语义融合。12.根据权利要求11所述的方法，其中，所述位置形状融合包括：对来自于不同传感器的位置观测值进行滤波处理或光滑处理，并对低置信度的位置观测值进行时序估计，得到融合目标的位置；或者，从来自于不同传感器的形状观测值选出高精度形状观测值，利用其他形状观测值对所述高精度形状观测值进行修正，得到融合目标的形状；所述朝向融合包括：根据朝向观测值的统计信息，得到融合目标的朝向；所述类别融合包括：根据原始的目标数据的感知处理结果，得到分类向量对应的分类概率，根据所述分类概率得到融合目标的类别；所述运动融合包括：根据运动模型和卡尔曼滤波算法，估计所述融合目标的运动状态量；所述存在性融合包括：计算融合目标的存在概率；所述语义融合包括：根据原始的目标数据得到动静态遮挡区域，对进入遮挡区域的融合目标提供消失语义。13.根据权利要求1至12中任一项所述的方法，还包括：根据融合目标的关联信息、属性信息以及跟踪信息进行目标过滤；所述融合目标包括更新的全局融合数据中的融合目标。14.根据权利要求1至13中任一项所述的方法，还包括：根据应用程序的数据源和更新的全局融合数据，在所述应用程序中输出关注的融合目标。15.一种传感器数据融合装置，包括：第一处理模块，用于将第一传感器的目标数据和所述第一传感器的融合数据进行关联融合处理，得到所述第一传感器的融合目标数据；第二处理模块，用于将所述第一传感器的融合目标数据和全局融合数据进行关联融合处理，得到更新的全局融合数据。
16.根据权利要求15所述的装置，还包...

【专利技术属性】
技术研发人员：李俊慧，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：