基于单传感器时序追踪结果的多传感器后融合方法及装置制造方法及图纸

本申请公开了一种基于单传感器时序追踪结果的多传感器后融合方法及装置，属于自动驾驶领域。该方法包括：利用自动驾驶车辆的单传感器，获取各个时刻目标物体对应的目标检测结果；对目标检测结果预处理，获得目标检测数据；利用第一预设图神经网络模型对各个时刻的目标检测数据进行追踪，确定同一目标物体；将同一目标物体的目标检测数据输入第二预设图神经网络模型对同一目标物体进行重新确定，获得优化同一目标。利用图神经网络对来实现对周边环境中车辆行人等目标的识别，根据单个传感器的追踪结果确定同一目标对应的数据，提高单传感器对目标的感知能力，将多个传感器的同一目标物体的数据进行融合增大了更加准确的对行人车辆等目标进行识别。人车辆等目标进行识别。人车辆等目标进行识别。

【技术实现步骤摘要】
基于单传感器时序追踪结果的多传感器后融合方法及装置


[0001]本申请涉及自动驾驶
，特别涉及一种基于单传感器时序追踪结果的多传感器后融合方法及装置。

技术介绍

[0002]目前，随着交通参与者数目的不断增加，路况信息日趋复杂。在复杂和动态交通环境中，为了使自动驾驶车辆有主动的行动决策能力，如依据所处交通环境对车道切换、加速超车、制动减速等驾驶行为进行决策对建立安全且高效的智能交通系统有重要的作用。在车辆所处的交通环境中，对周边环境中车辆行人等的感知探测影响自动驾驶车辆行为决策的一个重要因素，因此，在多车交互环境下，感知探测周边环境中的车辆行人等对发展高级驾驶辅助系统、智能交通系统和自动驾驶有重要作用。
[0003]在对周边环境中车辆的感知探测过程中，通常将自车配置的相机、毫米波雷达、激光雷达等多个传感器拍摄到的周边环境中的车辆行人等数据融合在一起，通过融合之后的数据输出关于车辆行人等的相关数据。
[0004]在现有技术中，通常采用两种方式进行融合，其中方式(1)采用硬关联的方式进行融合，方式(2)通过对机器学习、深度学习的一些学习算法模型进行模型的训练，并以训练完成的模型作输出融合结果。但是利用方式(1)进行融合时，只是进行数据之间的相互补充，并没有将其他传感器的数据利用起来，得到的融合数据过于单一，影响感知算法的实现，因此对感知的精度上并不能有较好的效果；而方式(2)中一般采用CNN，该方式只能获取有限感知范围内的信息，无法做到信息的全局融合，且只对稠密的规制的数据融合后的效果好，并不能对其他数据起到较好的效果。

技术实现思路

[0005]针对现有技术存在的融合数据单一、感知信息有限而造成融合效果不好的问题，本申请主要提供一种基于单传感器时序追踪结果的多传感器后融合方法及装置。
[0006]为了实现上述目的，本申请采用的一个技术方案是：提供一种基于单传感器时序追踪结果的多传感器后融合方法，其包括：利用自动驾驶车辆的多个单传感器，获取每一单传感器中各个时刻下目标物体分别对应的目标检测结果；对多个目标检测结果进行过预处理，获得目标检测结果对应的目标检测数据；利用第一预设图神经网络模型对每一单传感器中各个时刻的目标检测数据进行时序追踪，确定每一单传感器中的同一目标物体；将多个单传感器分别确定的同一目标物体在同一时刻的目标检测数据输入第二预设图神经网络模型对同一目标物体进行重新确定，获得多个单传感器对应的优化同一目标。
[0007]本申请采用的另一个技术方案是：提供一种基于单传感器时序追踪结果的多传感器后融合装置，其包括：用于利用自动驾驶车辆的多个单传感器，获取每一单传感器中各个时刻下目标物体分别对应的目标检测结果的模块；用于对多个目标检测结果进行过预处理，获得目标检测结果对应的目标检测数据的模块；用于利用第一预设图神经网络模型对
每一单传感器中各个时刻的目标检测数据进行时序追踪，确定每一单传感器中的同一目标物体的模块；用于将多个单传感器分别确定的同一目标物体在同一时刻的目标检测数据输入第二预设图神经网络模型对同一目标物体进行重新确定，获得多个单传感器对应的优化同一目标的模块。
[0008]本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被操作以执行方案一中的基于单传感器时序追踪结果的多传感器后融合方法。
[0009]本申请采用的另一个技术方案是：提供一种计算机设备，其包括：至少一个处理器；以及与至少一个处理器进行通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机指令，至少一个处理器操作计算机指令以执行方案一中的基于单传感器时序追踪结果的多传感器后融合方法。
[0010]本申请的技术方案可以达到的有益效果是：本申请设计了基于单传感器时序追踪结果的多传感器后融合方法及装置。本申请完全通过数据驱动实现整个技术方案，使得感知融合更加便捷；并且利用图神经网络对来实现对周边环境中车辆行人等目标的识别，避免噪声的影响，提高鲁棒性；根据单个传感器对目标的追踪结果确定同一目标物体对应的数据，提高单传感器对目标的感知能力，并将多个单传感器分别确定的同一目标物体的数据进行融合，实现信息的全局融合，更加准确的对行人车辆等目标进行识别。。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是本申请一种基于单传感器时序追踪结果的多传感器后融合方法的一个实施方式的示意图；
[0013]图2是本申请一种基于单传感器时序追踪结果的多传感器后融合装置的一个实施方式的示意图。
[0014]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0015]下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。
[0016]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备
所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0017]目前，随着交通参与者数目的不断增加，路况信息日趋复杂。在复杂和动态交通环境中，为了使自动驾驶车辆有主动的行动决策能力，如依据所处交通环境对车道切换、加速超车、制动减速等驾驶行为进行决策对建立安全且高效的智能交通系统有重要的作用。在车辆所处的交通环境中，对周边环境中车辆行人等的感知探测影响自动驾驶车辆行为决策的一个重要因素，因此，在多车交互环境下，感知探测周边环境中的车辆行人等对发展高级驾驶辅助系统、智能交通系统和自动驾驶有重要作用。在对周边环境中车辆的感知探测过程中，通常将自车配置的相机、毫米波雷达、激光雷达等多个传感器拍摄到的周边环境中的车辆行人等数据融合在一起，通过融合之后的数据输出关于车辆行人等的相关数据。
[0018]在现有技术中，通常采用两种方式进行融合，其中方式(1)采用硬关联的方式进行融合，方式(2)通过对机器学习、深度学习的一些学习算法模型进行模型的训练，并以训练完成的模型作输出融合结果。但是利用方式(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单传感器时序追踪结果的多传感器后融合方法，其特征在于，包括：利用自动驾驶车辆的多个单传感器，获取每一单传感器中各个时刻下目标物体分别对应的目标检测结果；对多个所述目标检测结果进行过预处理，获得所述目标检测结果对应的目标检测数据；利用第一预设图神经网络模型对所述每一单传感器中各个时刻的所述目标检测数据进行时序追踪，确定所述每一单传感器中的同一目标物体；将所述多个单传感器分别确定的所述同一目标物体在同一时刻的目标检测数据输入第二预设图神经网络模型对所述同一目标物体进行重新确定，获得所述多个单传感器对应的优化同一目标。2.根据权利要求1所述的基于单传感器时序追踪结果的多传感器后融合方法，其特征在于，若所述多个单传感器为相机和/或激光雷达，则所述目标检测数据包括：所述目标物体的检测结果、当前时刻信息、输出所述目标检测结果的传感器类型信息以及所述目标检测结果的特征向量；若所述多个单传感器为毫米波雷达，则所述目标检测数据包括：所述目标物体的检测结果、当前时刻信息以及输出所述目标检测结果的传感器类型信息。3.根据权利要求1所述的基于单传感器时序追踪结果的多传感器后融合方法，其特征在于，所述利用第一预设图神经网络模型对所述每一单传感器中各个时刻的所述目标检测数据进行时序追踪，确定所述每一单传感器中的同一目标物体，包括：将所述每一单传感器中各个时刻的所述目标检测数据输入所述第一预设图神经网络模型，获得所述每一单传感器中所述目标物体对应的目标融合数据；判断所述目标融合数据的分数，将大于分数阈值的目标融合数据对应的目标物体确定为所述每一单传感器中的同一目标物体。4.根据权利要求1所述的基于单传感器时序追踪结果的多传感器后融合方法，其特征在于，所述将所述多个单传感器分别确定的所述同一目标物体在同一时刻的目标检测数据输入第二预设图神经网络模型对所述同一目标物体进行重新确定，获得所述多个单传感器对应的优化同一目标，包括：将所述多个单传感器分别确定的所述同一目标物体在同一时刻的目标检测数据输入所述第二预设图神经网络模型，判断所述目标检测数据中的传感器类型信息；将所述传感器类型信息相同的所述目标检测数据进行合并，获得所述目标物体对应的第一融合数据；根据所述第一融合数据确定所述优化同一目标。5.根据权利要求1所述的基于单传感器时序追踪结果的多传感器后融合方法，其特征在于，所述将所述多个单传感器分别确定的所述同一目标物体在同一时刻的目标检测数据输入第二预设图神经网络模...

【专利技术属性】
技术研发人员：尹瑞豪，朱剑锋，朱望江，刘先兵，杜文文，郁亚峰，范蓉蓉，
申请(专利权)人：魔门塔苏州科技有限公司，
类型：发明
国别省市：