基于端到端的多任务识别网络训练方法技术

本发明专利技术提供了一种基于端到端的多任务识别网络训练方法包括：利用设置于车身不同位置的多种不同的传感器获取多种数据和定位信息；将多种数据输入对应的数据处理网络得到多个第一样本，第一样本包括二维图像样本、三维图像样本、雷达鸟瞰样本和/或激光雷达鸟瞰样本；将多个第一样本输入特征提取网络得到多种第一样本特征；将多种第一样本特征和定位信息输入特征识别网络得到多种第二样本，第二样本包括多种数据中包含的目标物体和目标物体在当前位置的运动轨迹；利用多种第二样本训练初始多任务识别网络得到具有识别预测功能的目标多任务识别网络。本发明专利技术还提供了一种道路目标及目标行为的预测方法、多任务识别模型、存储介质以及计算机设备。介质以及计算机设备。介质以及计算机设备。

【技术实现步骤摘要】
基于端到端的多任务识别网络训练方法


[0001]本专利技术涉及自动驾驶领域，尤其涉及一种基于端到端的多任务识别网络训练方法、道路目标及目标行为的预测方法、多任务识别模型、计算机可读存储介质以及计算机设备。

技术介绍

[0002]随着科技的日益进步，自动驾驶车辆已经越来越多的出现在人们日常的生活中。自动驾驶的目标是其从辅助驾驶员驾驶到最终替代驾驶员，实现安全、合规、便捷的个人自动交通系统。现有的自动驾驶系统中，自动驾驶车辆要实现完全自主的驾驶，首先要实现的是能够准确的识别出道路上的物体的种类，以及准确的预测出道路上物体的行驶轨迹，从而实现完全的自主的驾驶。现有技术方案中一般使用训练好的深度学习网络实现道路上物体的识别以及道路上物体行驶轨迹的预测。但是，现有技术方案中训练深度学习网络使用的训练样本是由人工标注，不仅耗时长，而且人工成本极高。当遇到新的场景时，获取新的训练样本需要大量的时间筛选标注训练样本，得到新的训练样本以后训练新的模型具有识别新的场景中的各种目标物体也需要较长的时间，无法及时为自动驾驶车辆提供最新的模型。
[0003]因此，如何快速准确的将自动驾驶车辆行驶中遇到的新场景中的数据转化为训练样本并利用上述训练样本训练出具有识别新场景中目标物体的神经网络是亟需解决的问题。

技术实现思路

[0004]本专利技术提供一种基于端到端的多任务识别网络训练方法、道路目标及目标行为的预测方法、多任务识别模型、计算机可读存储介质以及计算机设备，上述方法能够快速准确的将自动驾驶车辆行驶中遇到的新场景中的数据转化为训练样本并利用上述训练样本训练出具有识别新场景中目标物体的神经网络，使得自动驾驶车辆能够快速的适应新的驾驶环境，提高自动驾驶车辆的适应新环境的能力。
[0005]第一方面，本专利技术实施例提供一种基于端到端的多任务识别网络训练方法，该基于端到端的多任务识别网络训练方法包括：
[0006]利用设置于车身不同位置的多种不同的传感器获取多种数据和定位信息，多种不同的传感器包括摄像机、立体摄像机、雷达和/或激光雷达；
[0007]将多种数据输入对应的数据处理网络得到多个第一样本，第一样本包括二维图像样本、三维图像样本、雷达鸟瞰样本和/或激光雷达鸟瞰样本；
[0008]将多个第一样本输入特征提取网络得到多种第一样本特征；
[0009]将多种第一样本特征和定位信息输入特征识别网络得到多种第二样本，第二样本包括多种数据中包含的目标物体和目标物体在当前位置的运动轨迹；
[0010]利用多种第二样本训练初始多任务识别网络得到具有识别预测功能的目标多任
务识别网络。
[0011]第二方面，本专利技术实施例提供一种道路目标及目标行为的预测方法，该道路目标及目标行为的预测方法包括：
[0012]利用设置于车身不同位置的多种不同的传感器获取多种数据和定位信息，多种不同的传感器包括摄像机、立体摄像机、雷达和/或激光雷达；
[0013]将多种数据和定位信息输入利用基于端到端的多任务识别网络训练方法得到的目标多任务识别网络中，得到多种数据中目标物体和目标物体的预测运动轨迹。
[0014]第三方面，本专利技术实施例提供一种多任务识别模型，该多任务识别模型包括：
[0015]第一样本获取模块：利用设置于车身不同位置的多种不同的传感器获取多种数据和定位信息，多种不同的传感器包括摄像机、立体摄像机、雷达和/或激光雷达；将多种数据输入对应的数据处理网络得到多个第一样本，第一样本包括二维图像样本、三维图像样本、雷达鸟瞰样本和/或激光雷达鸟瞰样本；
[0016]第二样本获取模块：将多个第一样本输入特征提取网络得到多种第一样本特征；将多种第一样本特征和定位信息输入特征识别网络得到多种第二样本，第二样本包括多种数据中包含的目标物体和目标物体在当前位置的运动轨迹；
[0017]多任务识别网络训练模块：利用多种第二样本训练初始多任务识别网络得到具有识别预测功能的目标多任务识别网络。
[0018]第四方面，本专利技术实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有能够被处理器加载并执行的基于端到端的多任务识别网络训练方法的程序指令。
[0019]第五方面，本专利技术实施例提供一种计算机设备，该计算机设备包括：
[0020]存储器，用于存储的程序指令；以及
[0021]处理器，用于执行程序指令以使计算机设备实现基于端到端的多任务识别网络训练方法。
[0022]上述基于端到端的多任务识别网络训练方法能够快速准确的将自动驾驶车辆行驶中遇到的新场景中的数据转化为训练样本并利用上述训练样本训练出具有识别新场景中目标物体的神经网络，使得自动驾驶车辆能够快速的适应新的驾驶环境，提高自动驾驶车辆的适应新环境的能力。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0024]图1为本专利技术实施例提供的基于端到端的多任务识别网络训练方法的流程图。
[0025]图2为本专利技术实施例提供的基于端到端的多任务识别网络训练方法的第一子流程图。
[0026]图3为本专利技术实施例提供的基于端到端的多任务识别网络训练方法的第二子流程图。
[0027]图4为本专利技术实施例提供的多任务识别网络训练方法的第一网络结构示意图。
[0028]图5为本专利技术实施例提供的多任务识别网络训练方法第二网络结构示意。
[0029]图6为本专利技术实施例提供的多任务识别网络训练方法第三网络结构示意。
[0030]图7为本专利技术实施例提供的道路目标及目标行为的预测方法的流程图。
[0031]图8为本专利技术实施例提供的多任务识别模型的示意图。
[0032]图9为本专利技术实施例提供的计算机设备内部结构示意图。
[0033]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0034]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端到端的多任务识别网络训练方法，其特征在于，所述基于端到端的多任务识别网络训练方法包括：利用设置于车身不同位置的多种不同的传感器获取多种数据和定位信息，所述多种不同的传感器包括摄像机、立体摄像机、雷达和/或激光雷达；将所述多种数据输入对应的数据处理网络得到多个第一样本，所述第一样本包括二维图像样本、三维图像样本、雷达鸟瞰样本和/或激光雷达鸟瞰样本；将所述多个第一样本输入特征提取网络得到多种第一样本特征；将所述多种第一样本特征和所述定位信息输入特征识别网络得到多种第二样本，所述第二样本包括多种数据中包含的目标物体和目标物体在当前位置的运动轨迹；以及利用所述多种第二样本训练初始多任务识别网络得到具有识别预测功能的目标多任务识别网络。2.如权利要求1所述的基于端到端的多任务识别网络训练方法，其特征在于，将所述多种数据输入对应的数据处理网络得到多个第一样本，具体包括：将摄像机获取的数据输入第一卷积神经网络得到二维图像样本；将立体摄像机获取的数据输入第二卷积神经网络得到三维图像样本；将雷达获取的数据输入第三卷积神经网络得到雷达鸟瞰样本；以及将激光雷达获取的数据输入第四卷积神经网络得到激光雷达鸟瞰样本。3.如权利要求1所述的基于端到端的多任务识别网络训练方法，其特征在于，将所述多种第一样本特征和所述定位信息输入特征识别网络得到多种第二样本，其中，所述特征识别网络包括多个识别子神经网络和预测子神经网络，具体包括：根据所述定位信息选择对应的所述识别子神经网络和所述预测子神经网络；将所述第一样本特征输入所述识别子神经网络得到所述目标物体；以及将所述第一样本特征和所述三维高精地图在当前位置的数据输入所述预测子神经网络得到所述目标物体在当前位置的运动轨迹。4.如权利要求1所述的基于端到端的多任务识别网络训练方法，其特征在于，所述特征提取网络为Transformer Neural Network。5.如权利要求1所述的基于端到端的多任务识别网络训练方法，其特征在于，...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：深圳裹动科技有限公司，
类型：发明
国别省市：