多任务预测模型训练方法、移动设备的控制方法及装置制造方法及图纸

公开了一种多任务预测模型训练方法、移动设备的控制方法及装置。该方法包括：获取第一序列和第二序列；基于第一序列和第二序列，经由多任务预测网络，生成多个预测任务各自对应的障碍物预测数据；针对多个预测任务中的每个预测任务，基于该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值；基于多个预测任务各自对应的任务损失值，确定多任务损失值；基于多任务损失值，对多任务预测网络进行训练；响应于训练后的多任务预测网络符合预设训练结束条件，将训练后的多任务预测网络确定为多任务预测模型。本公开实施例可以提升自动驾驶的可靠性。本公开实施例可以提升自动驾驶的可靠性。本公开实施例可以提升自动驾驶的可靠性。

【技术实现步骤摘要】
多任务预测模型训练方法、移动设备的控制方法及装置


[0001]本公开涉及驾驶技术，尤其是一种多任务预测模型训练方法、移动设备的控制方法及装置。

技术介绍

[0002]自动驾驶技术在车辆等移动设备上的应用越来越广泛，一般而言，车辆基于设置于自身的摄像头、雷达等传感器采集的数据，进行行驶控制，从而实现自动驾驶。

技术实现思路

[0003]为了解决目前自动驾驶的可靠性低的技术问题，提出了本公开。本公开的实施例提供了一种多任务预测模型训练方法、移动设备的控制方法及装置。
[0004]根据本公开实施例的一个方面，提供了一种多任务预测模型训练方法，包括：
[0005]获取第一序列和第二序列，所述第一序列包括：在多个时刻中的每个时刻，第一移动设备对应的局部区域的局部地图，所述第二序列包括：在所述多个时刻中的每个时刻，所述第一移动设备周围的障碍物信息；
[0006]基于所述第一序列和所述第二序列，经由多任务预测网络，生成多个预测任务各自对应的障碍物预测数据；
[0007]针对所述多个预测任务中的每个预测任务，基于该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值；
[0008]基于所述多个预测任务各自对应的任务损失值，确定多任务损失值；
[0009]基于所述多任务损失值，对所述多任务预测网络进行训练；
[0010]响应于训练后的所述多任务预测网络符合预设训练结束条件，将训练后的所述多任务预测网络确定为多任务预测模型。
[0011]根据本公开实施例的另一个方面，提供了一种移动设备的控制方法，包括：
[0012]获取第三序列和第四序列，所述第三序列包括：在多个时刻中的每个时刻，第二移动设备对应的局部区域的局部地图，所述第四序列包括：在所述多个时刻中的每个时刻，所述第二移动设备周围的障碍物信息；
[0013]基于所述第三序列和所述第四序列，经由多任务预测模型，生成多个预测任务各自对应的障碍物预测数据；
[0014]基于所述多个预测任务各自对应的障碍物预测数据，对所述第二移动设备进行行驶控制。
[0015]根据本公开实施例的再一个方面，提供了一种多任务预测模型训练装置，包括：
[0016]第一获取模块，用于获取第一序列和第二序列，所述第一序列包括：在多个时刻中的每个时刻，第一移动设备对应的局部区域的局部地图，所述第二序列包括：在所述多个时刻中的每个时刻，所述第一移动设备周围的障碍物信息；
[0017]第一生成模块，用于基于所述第一获取模块获取的所述第一序列和所述第二序
列，经由多任务预测网络，生成多个预测任务各自对应的障碍物预测数据；
[0018]第一确定模块，用于针对所述多个预测任务中的每个预测任务，基于所述第一生成模型生成的该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值；
[0019]第二确定模块，用于基于所述第一确定模块确定的所述多个预测任务各自对应的任务损失值，确定多任务损失值；
[0020]训练模块，用于基于所述第二确定模块确定的所述多任务损失值，对所述多任务预测网络进行训练；
[0021]第三确定模块，用于响应于所述训练模块训练后的所述多任务预测网络符合预设训练结束条件，将训练后的所述多任务预测网络确定为多任务预测模型。
[0022]根据本公开实施例的又一个方面，提供了一种移动设备的控制装置，包括：
[0023]第二获取模块，用于获取第三序列和第四序列，所述第三序列包括：在多个时刻中的每个时刻，第二移动设备对应的局部区域的局部地图，所述第二序列包括：在所述多个时刻中的每个时刻，所述第二移动设备周围的障碍物信息；
[0024]第二生成模块，用于基于所述第二获取模块获取的所述第三序列和所述第四序列，经由多任务预测模型，生成多个预测任务各自对应的障碍物预测数据；
[0025]控制模块，用于基于所述第二生成模块生成的所述多个预测任务各自对应的障碍物预测数据，对所述第二移动设备进行行驶控制。
[0026]根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述多任务预测模型训练方法或者上述移动设备的控制方法。
[0027]根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
[0028]处理器；
[0029]用于存储所述处理器可执行指令的存储器；
[0030]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述多任务预测模型训练方法或者上述移动设备的控制方法。
[0031]基于本公开上述实施例提供的多任务预测模型训练方法、移动设备的控制方法、装置、计算机可读存储介质及电子设备，在模型训练阶段，可以基于由多个时刻各自对应的局部地图组成的第一序列，以及由多个时刻各自对应的障碍物信息组成的第二序列，经由多任务预测网络生成多个预测任务各自对应的障碍物预测数据，依据多个预测任务各自对应的损失计算方式，可以由多个预测任务各自对应的障碍物预测数据得到多个预测任务各自对应的任务损失值，依据多个预测任务各自对应的任务损失值，可以确定多任务损失值，通过将多任务损失值用于多任务预测网络的训练，可以得到采用多任务框架的多任务预测模型。这样，在模型使用阶段，通过多个预测任务的执行，多任务预测模型可以从不同维度对障碍物相关信息进行预测，将不同维度的预测结果均用于移动设备的行驶控制，有利于使移动设备的行驶控制所参考的数据更加丰富，并且，不同维度的预测结果能够相互补充，由此能够提升自动驾驶的可靠性。
[0032]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0033]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0034]图1是本公开一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0035]图2是本公开另一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0036]图3是本公开再一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0037]图4是本公开又一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0038]图5是本公开又一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0039]图6是本公开又一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0040]图7是本公开又一示例性实施例提供的多任务预测模型训练方法的流程示意图。
[0041]图8是本公开一示例性实施例提供的移动设备的控制方法的流程示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务预测模型训练方法，包括：获取第一序列和第二序列，所述第一序列包括：在多个时刻中的每个时刻，第一移动设备对应的局部区域的局部地图，所述第二序列包括：在所述多个时刻中的每个时刻，所述第一移动设备周围的障碍物信息；基于所述第一序列和所述第二序列，经由多任务预测网络，生成多个预测任务各自对应的障碍物预测数据；针对所述多个预测任务中的每个预测任务，基于该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值；基于所述多个预测任务各自对应的任务损失值，确定多任务损失值；基于所述多任务损失值，对所述多任务预测网络进行训练；响应于训练后的所述多任务预测网络符合预设训练结束条件，将训练后的所述多任务预测网络确定为多任务预测模型。2.根据权利要求1所述的方法，其中，所述基于所述第一序列和所述第二序列，经由多任务预测网络，生成多个预测任务各自对应的障碍物预测数据，包括：基于所述第一序列和所述第二序列，经由所述多任务预测网络中的轨迹预测网络，生成所述多个预测任务中的轨迹预测任务对应的障碍物预测数据；基于所述第一序列和所述第二序列，经由所述多任务预测网络中的行为预测网络，生成所述多个预测任务中的行为预测任务对应的障碍物预测数据；基于所述第一序列和所述第二序列，经由所述多任务预测网络中的有效性预测网络，生成所述多个预测任务中的有效性预测任务对应的障碍物预测数据。3.根据权利要求2所述的方法，其中，所述基于所述第一序列和所述第二序列，经由所述多任务预测网络中的行为预测网络，生成所述多个预测任务中的行为预测任务对应的障碍物预测数据，包括以下至少一项：基于所述第一序列和所述第二序列，经由所述多任务预测网络中的变速行为预测网络，生成所述多个预测任务中的变速行为预测任务对应的障碍物预测数据；基于所述第一序列和所述第二序列，经由所述多任务预测网络中的变道行为预测网络，生成所述多个预测任务中的变道行为预测任务对应的障碍物预测数据。4.根据权利要求2所述的方法，其中，所述轨迹预测任务对应的障碍物预测数据包括：所述第一移动设备周围的目标障碍物的多条预测轨迹、所述多条预测轨迹各自对应的置信度，以及所述多条预测轨迹各自对应的概率分布参数，所述多条预测轨迹与所述目标障碍物的多条预设轨迹具有对应性；所述针对所述多个预测任务中的每个预测任务，基于该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值，包括：确定在所述多个时刻之后的第一预设时间段内，所述目标障碍物的真实轨迹；从所述多条预测轨迹中，选择对应置信度最大的第一预测轨迹；从所述多条预设轨迹中，选择与所述真实轨迹最接近的目标预设轨迹；从所述多条预测轨迹中，选择与所述目标预设轨迹对应的第二预测轨迹；基于所述第一预测轨迹对应的概率分布参数，以及所述真实轨迹对应的概率分布参数，确定第一损失值；
基于所述第二预测轨迹对应的置信度，确定第二损失值；基于所述第一损失值和所述第二损失值，确定所述轨迹预测任务对应的任务损失值。5.根据权利要求2所述的方法，其中，所述行为预测任务对应的障碍物预测数据包括：所述第一移动设备周围的目标障碍物对应于多种预设行为的多个预测概率值；所述针对所述多个预测任务中的每个预测任务，基于该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值，包括：确定在所述多个时刻之后的第二预设时间段内，所述目标障碍物的真实行为；从所述多个预测概率值中，选择对应预设行为与所述真实行为匹配的目标预测概率值；基于所述多个预测概率值，确定所述目标预测概率值对应的归一化数值；基于所述归一化数值，确定所述行为预测任务对应的任务损失值。6.根据权利要求2所述的方法，其中，所述有效性预测任务对应的障碍物预测数据包括：所述第一移动设备周围的目标障碍物的置信度；所述针对所述多个预测任务中的每个预测任务，基于该预测任务对应的障碍物预测数据以及对应的损失计算方式，确定该预测任务对应的任务损失值，包括：将所述目标障碍物的置信度映射至指定数值区间，得到映射值；基于所述映射值，确定所述目标障碍物的障碍物属性；响应于所述障碍物属性为有效属性，基于所述映射值，确定所述有效性预测任务对应的任务损失值；响应于所述障碍物属性为无效属性，基于预设数值与所述映射值的差值，确定所述有效性预测任务对应的任务损失值。7.根...

【专利技术属性】
技术研发人员：孙泽培，
申请(专利权)人：地平线征程杭州人工智能科技有限公司，
类型：发明
国别省市：