一种点云多任务模型的训练方法、装置及电子设备制造方法及图纸

本申请提供了一种点云多任务模型的训练方法、装置及电子设备，涉及智能驾驶技术领域，该方法包括：利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数，分别计算每个任务分支的主干网络参数的梯度；对每个任务分支的主干网络参数的梯度进行更新以消除梯度冲突，得到每个任务分支的主干网络参数的最终梯度及当前多任务模型的主干网络参数的梯度；利用当前多任务模型的主干网络参数的梯度更新主干网络参数；基于更新后的主干网络参数和所述多个多任务训练样本组合，继续进行主干网络的参数更新过程，直至达到预设的迭代结束条件。本申请训练出的不同任务分支间的共享参数，能够减少各任务之间的干扰。干扰。干扰。

【技术实现步骤摘要】
一种点云多任务模型的训练方法、装置及电子设备


[0001]本申请涉及智能驾驶
，尤其是涉及一种点云多任务模型的训练方法、装置及电子设备。

技术介绍

[0002]在目前的多任务学习方法，多为对每个任务单独设计一个深度卷积网络结构，输入图片，输出对应标签或关键点位置信息。这种方法具有以下问题：每个任务设计一个独立的深度卷积网络，网络间没有共享的参数，总参数量和计算量大，模型推理耗时长。解决这类学习问题的一种方法是联合训练一个针对所有任务的网络，目的是发现跨任务的共享结构，其效率和性能优于单独解决任务。
[0003]将多任务学习设计为能够从多任务监督信号中学习共享表达的网络，与每个单独的任务都有自己的单独的网络相比，多任务网络具有以下优势：
[0004]首先，由于它们固有的层共享，因此产生的内存占用大大减少。其次，因为它们明确避免重复计算共享层中的特征，所以拥有更快的推理速度。最重要的是，如果关联的任务共享互补信息，或相互充当正则化器，那么它们就有提高性能的潜力。
[0005]然而，一次性学习多个任务会产生优化问题，有时会导致整体性能和数据效率低于单独学习任务。

技术实现思路

[0006]有鉴于此，本申请提供了一种点云多任务模型的训练方法、装置及电子设备，以解决上述技术问题。
[0007]第一方面，本申请实施例提供了一种点云多任务模型的训练方法，所述点云多任务模型包括一个主干网络和多个任务处理模型，所述主干网络和每个任务处理模型连接构成多个任务分支；所述方法包括：/>[0008]获取多个多任务训练样本组合，每个多任务训练样本组合包括多个标注不同任务结果的点云数据样本；
[0009]利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数，分别计算每个任务分支的主干网络参数的梯度；
[0010]对于每个任务分支上的主干网络参数的梯度，判断其与其它任务分支的主干网络参数的梯度是否存在冲突，若存在则对其它任务分支的主干网络参数的梯度进行更新，得到每个任务分支的主干网络参数的最终梯度；
[0011]计算每个任务分支的主干网络参数的最终梯度的和，作为当前多任务模型的主干网络参数的梯度；利用当前多任务模型的主干网络参数的梯度更新主干网络参数；
[0012]基于更新后的主干网络参数和所述多个多任务训练样本组合，继续进行主干网络的参数更新过程，直至达到预设的迭代结束条件，将得到的主干网络参数作为训练好的点云多任务模型的模型参数。
[0013]进一步，所述点云多任务模型包括N个任务分支，获取多个多任务训练样本组合；包括：
[0014]获取N个任务训练数据集合，每个任务训练数据集合包括多个标注一个任务结果的点云数据样本；
[0015]分别从各任务训练数据集合中抽取一个点云数据样本，将N个点云数据样本进行组合，得到多任务训练样本组合。
[0016]进一步，利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数，分别计算每个任务分支的主干网络参数的梯度；包括：
[0017]将每个多任务训练样本组合中的点云数据样本输入对应的任务分支，得到预测结果；
[0018]根据预测结果和点云数据样本的标注结果计算损失函数L
i
(θ)，i为任务分支的编号，1≤i≤N；θ为主干网络参数；
[0019]根据损失函数L
i
(θ)，计算第i个任务分支的主干网络参数θ的梯度g
i
：
[0020][0021]其中，为对L
i
(θ)中的参数θ的梯度运算。
[0022]进一步，对于每个任务分支上的主干网络参数的梯度，判断其与其它任务分支的主干网络参数的梯度是否存在冲突，若存在则将其它任务分支的主干网络参数的梯度进行更新，得到每个任务分支的主干网络参数的最终梯度；包括：
[0023]从i＝1开始，执行下述步骤，直至i＝N
‑
1：
[0024]对于第i个任务分支的主干网络参数θ的梯度g
i
，计算其与第j个任务分支的主干网络参数θ的梯度g
j
的夹角为φ
ij
，其中，i+1≤j≤N；
[0025]判断cosφ
ij
<0是否成立，若成立，则梯度g
i
和梯度g
j
存在梯度冲突，否则，不存在梯度冲突；
[0026]当梯度g
i
和梯度g
j
存在梯度冲突，利用下式得到更新后的梯度
[0027][0028]利用更新g
j
；
[0029]由此得到第i个任务分支的主干网络参数θ的最终梯度。
[0030]第二方面，本申请实施例提供了一种点云多任务模型的训练装置，所述点云多任务模型包括一个主干网络和多个任务处理模型，所述主干网络和每个任务处理模型连接构成任务分支；所述装置包括：
[0031]获取单元，用于获取多个多任务训练样本组合，每个多任务训练样本组合包括多个标注不同任务结果的点云数据样本；
[0032]计算单元，用于利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数，分别计算每个任务分支的主干网络参数的梯度；
[0033]梯度冲突消除单元，用于对于每个任务分支上的主干网络参数的梯度，判断其与其它任务分支的主干网络参数的梯度是否存在冲突，若存在则对其它任务分支的主干网络
参数的梯度进行更新，得到每个任务分支的主干网络参数的最终梯度；
[0034]主干网络参数更新单元，用于计算每个任务分支的主干网络参数的最终梯度的和，作为当前多任务模型的主干网络参数的梯度；利用当前多任务模型的主干网络参数的梯度更新主干网络参数；
[0035]迭代单元，用于基于更新后的主干网络参数和所述多个多任务训练样本组合，继续进行主干网络的参数更新过程，直至达到预设的迭代结束条件，将得到的主干网络参数作为训练好的点云多任务模型的模型参数。
[0036]第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的点云多任务模型的训练方法。
[0037]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的点云多任务模型的训练方法。
[0038]本申请训练出的不同任务分支间的共享参数，能够减少各任务之间的干扰。
附图说明
[0039]为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云多任务模型的训练方法，所述点云多任务模型包括一个主干网络和多个任务处理模型，所述主干网络和每个任务处理模型连接构成多个任务分支；其特征在于，包括：获取多个多任务训练样本组合，每个多任务训练样本组合包括多个标注不同任务结果的点云数据样本；利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数，分别计算每个任务分支的主干网络参数的梯度；对于每个任务分支上的主干网络参数的梯度，判断其与其它任务分支的主干网络参数的梯度是否存在冲突，若存在则对其它任务分支的主干网络参数的梯度进行更新，得到每个任务分支的主干网络参数的最终梯度；计算每个任务分支的主干网络参数的最终梯度的和，作为当前多任务模型的主干网络参数的梯度；利用当前多任务模型的主干网络参数的梯度更新主干网络参数；基于更新后的主干网络参数和所述多个多任务训练样本组合，继续进行主干网络的参数更新过程，直至达到预设的迭代结束条件，将得到的主干网络参数作为训练好的点云多任务模型的模型参数。2.根据权利要求1所述的点云多任务模型的训练方法，其特征在于，所述点云多任务模型包括N个任务分支，获取多个多任务训练样本组合；包括：获取N个任务训练数据集合，每个任务训练数据集合包括多个标注一个任务结果的点云数据样本；分别从各任务训练数据集合中抽取一个点云数据样本，将N个点云数据样本进行组合，得到多任务训练样本组合。3.根据权利要求2所述的点云多任务模型的训练方法，其特征在于，利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数，分别计算每个任务分支的主干网络参数的梯度；包括：将每个多任务训练样本组合中的点云数据样本输入对应的任务分支，得到预测结果；根据预测结果和点云数据样本的标注结果计算损失函数L
i
(θ)，i为任务分支的编号，1≤i≤N；θ为主干网络参数；根据损失函数L
i
(θ)，计算第i个任务分支的主干网络参数θ的梯度g
i
：其中，为对L
i
(θ)中的参数θ的梯度运算。4.根据权利要求3所述的点云多任务模型的训练方法，其特征在于，对于每个任务分支上的主干网络参数的梯度，判断其与其它任务分支的主干网络参数的梯度是否存在冲突，若存在则将其它任务分支的主干网络参数的梯度进行更新，得到每个任务分支的主干网络参数的最终梯度；包括：从i＝1开始，执行下述步骤，直至i＝N<...

【专利技术属性】
技术研发人员：李骏，张新钰，王力，黄毅，谢涛，杨淋淇，吴新刚，
申请(专利权)人：清华大学，
类型：发明
国别省市：