基于单传感器时序追踪结果的多传感器前融合方法及装置制造方法及图纸

本申请公开了一种基于单传感器时序追踪结果的多传感器前融合方法及装置，属于自动驾驶领域。该方法包括：对单传感器采集到的多帧原始数据进行预处理，获取预设数量目标物体对应的多帧特征向量；将多帧特征向量输入第一预设图神经网络模型中，确定同一目标物体；将多个传感器分别确定的同一目标物体的数据融合，获得多传感器融合数据；将多传感器融合数据输入第二预设图神经网络模型，获得多个传感器对应的优化同一目标。利用图神经网络对来实现对周边环境中车辆行人等目标的识别，根据单个传感器的追踪结果确定同一目标对应的数据，提高单传感器对目标的感知能力，将多个传感器的同一目标物体的数据融合，更加准确的对行人车辆等目标进行识别。等目标进行识别。等目标进行识别。

【技术实现步骤摘要】
基于单传感器时序追踪结果的多传感器前融合方法及装置


[0001]本申请涉及自动驾驶
，特别涉及一种基于单传感器时序追踪结果的多传感器前融合方法及装置。

技术介绍

[0002]目前，随着交通参与者数目的不断增加，路况信息日趋复杂。在复杂和动态交通环境中，为了使自动驾驶车辆有主动的行动决策能力，如依据所处交通环境对车道切换、加速超车、制动减速等驾驶行为进行决策对建立安全且高效的智能交通系统有重要的作用。在车辆所处的交通环境中，对周边环境中车辆行人等的感知探测影响自动驾驶车辆行为决策的一个重要因素，因此，在多车交互环境下，感知探测周边环境中的车辆行人等对发展高级驾驶辅助系统、智能交通系统和自动驾驶有重要作用。
[0003]在对周边环境中车辆的感知探测过程中，通常将自车配置的相机、毫米波雷达、激光雷达等多个传感器拍摄到的周边环境中的车辆行人等数据融合在一起，通过融合之后的数据输出关于车辆行人等的相关数据。
[0004]在现有技术中，通常采用两种方式进行融合，其中方式(1)采用硬关联的方式进行融合，方式(2)通过对机器学习、深度学习的一些学习算法模型进行模型的训练，并以训练完成的模型作输出融合结果。但是利用方式(1)进行融合时，只是进行数据之间的相互补充，并没有将其他传感器的数据利用起来，得到的融合数据过于单一，影响感知算法的实现，因此对感知的精度上并不能有较好的效果；而方式(2)中一般采用CNN，该方式只能获取有限感知范围内的信息，无法做到信息的全局融合，且只对稠密的规制的数据融合后的效果好，并不能对其他数据起到较好的效果。

技术实现思路

[0005]针对现有技术存在的融合数据单一、感知信息有限而造成融合效果不好的问题，本申请主要提供一种基于单传感器时序追踪结果的多传感器前融合方法及装置。
[0006]为了实现上述目的，本申请采用的一个技术方案是：提供一种基于单传感器时序追踪结果的多传感器前融合方法，其包括：对自动驾驶车辆的单传感器采集到的多帧原始数据进行预处理，获取预设数量目标物体对应的多帧特征向量；将多帧特征向量输入第一预设图神经网络模型中对目标物体进行时序追踪，在多帧的目标物体中确定同一目标物体；将对多个传感器分别确定的同一目标物体对应的数据进行融合，获得同一目标物体对应的多传感器融合数据；将多传感器融合数据输入第二预设图神经网络模型对同一目标物体进行重新确定，获得多个传感器对应的优化同一目标物体。
[0007]本申请采用的另一个技术方案是：提供一种基于单传感器时序追踪结果的多传感器前融合装置，其包括：用于对自动驾驶车辆的单传感器采集到的多帧原始数据进行预处理，获取预设数量目标物体对应的多帧特征向量的模块；用于将多帧特征向量输入第一预设图神经网络模型中对目标物体进行时序追踪，在多帧的目标物体中确定同一目标物体的
模块；用于将对多个传感器分别确定的同一目标物体对应的数据进行融合，获得同一目标物体对应的多传感器融合数据的模块；用于将多传感器融合数据输入第二预设图神经网络模型对同一目标物体进行重新确定，获得多个传感器对应的优化同一目标物体的模块。
[0008]本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被操作以执行方案一中的基于单传感器时序追踪结果的多传感器前融合方法。
[0009]本申请采用的另一个技术方案是：提供一种计算机设备，其包括：至少一个处理器；以及与至少一个处理器进行通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机指令，至少一个处理器操作计算机指令以执行方案一中的基于单传感器时序追踪结果的多传感器前融合方法及装置方法。
[0010]本申请的技术方案可以达到的有益效果是：本申请设计了一种基于单传感器时序追踪结果的多传感器前融合方法及装置。本申请完全通过数据驱动实现整个技术方案，使得感知融合更加便捷；并且利用图神经网络对来实现对周边环境中车辆行人等目标的识别，避免噪声的影响，提高鲁棒性；根据单个传感器对目标的追踪结果确定同一目标物体对应的数据，提高单传感器对目标的感知能力，并将多个传感器分别确定的同一目标物体的数据进行融合，实现信息的全局融合，更加准确的对行人车辆等目标进行识别。。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是本申请一种基于单传感器时序追踪结果的多传感器前融合方法的一个实施方式的示意图；
[0013]图2是本申请一种基于单传感器时序追踪结果的多传感器前融合装置的一个实施方式的示意图。
[0014]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0015]下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。
[0016]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括
所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0017]目前，随着交通参与者数目的不断增加，路况信息日趋复杂。在复杂和动态交通环境中，为了使自动驾驶车辆有主动的行动决策能力，如依据所处交通环境对车道切换、加速叉车、制动减速等驾驶行为进行决策对建立安全且高效的智能交通系统有重要的作用。在车辆所处的交通环境中，对周边环境中车辆行人等的感知探测影响自动驾驶车辆行为决策的一个重要因素，因此，在多车交互环境下，感知探测周边环境中的车辆行人等对发展高级驾驶辅助系统、智能交通系统和自动驾驶有重要作用。在对周边环境中车辆的感知探测过程中，通常将自车配置的相机、毫米波雷达、激光雷达等多个传感器拍摄到的周边环境中的车辆行人等数据融合在一起，通过融合之后的数据输出关于车辆行人等的相关数据。
[0018]在现有技术中，通常采用两种方式进行融合，其中方式(1)采用硬关联的方式进行融合，方式(2)通过对机器学习、深度学习的一些学习算法模型进行模型的训练，并以训练完成的模型作输出融合结果。但是利用方式(1)进行融合时，只是进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单传感器时序追踪结果的多传感器前融合方法，其特征在于，包括：对自动驾驶车辆的单传感器采集到的多帧原始数据进行预处理，获取预设数量目标物体对应的多帧特征向量；将所述多帧特征向量输入第一预设图神经网络模型中对所述目标物体进行时序追踪，在多帧的目标物体中确定同一目标物体；将对多个传感器分别确定的所述同一目标物体对应的数据进行融合，获得所述同一目标物体对应的多传感器融合数据；将所述多传感器融合数据输入第二预设图神经网络模型对所述同一目标物体进行重新确定，获得所述多个传感器对应的优化同一目标物体。2.根据权利要求1所述的基于单传感器时序追踪结果的多传感器前融合方法，其特征在于，所述对自动驾驶车辆的单传感器采集到的多帧原始数据进行预处理，获取预设数量目标物体对应的多帧特征向量，包括：对所述多帧原始数据进行卷积化处理，获取所述多帧原始数据对应的卷积化特征向量；根据任务类型，从所述卷积化特征向量中提取所述预设数量的目标物体对应的所述多帧特征向量。3.根据权利要求2所述的基于单传感器时序追踪结果的多传感器前融合方法，其特征在于，所述从所述卷积化特征向量中提取所述预设数量的目标物体对应的所述多帧特征向量，包括：通过映射的方式对所述卷积化特征向量进行筛选，获得所述目标物体对应的所述多帧特征向量。4.根据权利要求1所述的基于单传感器时序追踪结果的多传感器前融合方法，其特征在于，所述将所述多帧特征向量输入第一预设图神经网络模型中对所述目标物体进行时序追踪，在多帧的目标物体中确定同一目标物体，包括：将所述多帧特征向量中的单帧特征向量分别输入所述第一预设图神经网络模型，获得所述目标物体对应的多帧融合结果；判断所述多帧融合结果的分数，将大于分数阈值的多帧融合结果对应的目标物体确定为所述同一目标物体。5.根据权利要求1所述的基于单传感器时序追踪结果的多传感器前融合方法，其特征在于，所述将对多个传感器分别确定的所述同一目标物体对应的数据进行融合，获得所述同一目标物体对应的多传感器融合数据，包括：从所述多个传感器分别对应的所述多帧原始数据中提取同一时刻的多个单帧原始数据；从所述单帧原始数据中提取所述同一目标物体对应的原始数据；对多个所述原始数据进行融合，获得所述同一目...

【专利技术属性】
技术研发人员：朱剑锋，尹瑞豪，朱望江，
申请(专利权)人：魔门塔苏州科技有限公司，
类型：发明
国别省市：