梯度匀质化的点云多任务融合方法技术

梯度匀质化的点云多任务融合方法，解决了多任务训练中不同任务梯度大小和方向冲突的问题，属于点云分类

【技术实现步骤摘要】
梯度匀质化的点云多任务融合方法


[0001]本专利技术涉及一种梯度匀质化的点云多任务融合方法，属于点云分类
、
检测
、
分割多任务融合领域
。

技术介绍

[0002]随着深度学习的进步，现代架构在理解
3D
点云方面有了巨大的改进，例如点云分类，分割和检测等
。
然而，这些网络在处理大量任务时效率很低，因为它们通常只能完成其中一个任务
。
即使并行计算可以解决这个问题，内存占用和存储成本也会随着网络数量的增加而线性增长
[0003]多任务学习解决了这一难题
。
解决这种多任务学习问题的一种方法是在所有任务上联合训练一个网络，其目的是找到一个跨任务的共享结构，从而比单独解决任务获得更高的效率和性能
。
然而，一次学习多个任务的难点在于梯度优化问题，有时会导致比单独学习任务更低的网络性能
。
如果能够有效地解决多任务学习的优化问题，就能够在不牺牲最终性能的情况下真正实现多任务学习的优势
。
[0004]在多任务模型的训练过程中，各种任务的梯度大小和方向通过反向传播复杂地相互作用
。
对于梯度大小，最近的动态加权算法根据损失的不确定性和损失的变化率定期更新权重
。GradNorm
试图以相同的速度学习所有任务，但他们提出将这些权重作为参数学习，从而导致额外的内存消耗
。
相反，
RotoGrad
和<br/>IMTL
‑
G
都通过特定权重对共享参数的每个梯度进行归一化和缩放
。
对于梯度方向，
Maninis
等人和
Sinha
等人提出通过对抗性训练使任务梯度在统计上不可区分
。
最近，
GradDrop
基于
Sign
‑
Purity
分数随机舍弃任务梯度的元素，而
PCGrad
则提出如果一个任务梯度存在冲突，则舍弃掉它们到另一个任务梯度的投影
。
然而，这些方法只关注任务梯度差异的一个方面，而忽视了各种任务的难度
。
直观地说，在多任务训练中，容易的任务占据学习的主导地位，而困难的任务则停滞不前
。

技术实现思路

[0005]针对多任务训练中不同任务梯度大小和方向冲突的问题，本专利技术提供一种梯度匀质化的点云多任务融合方法
。
[0006]本专利技术的一种梯度匀质化的点云多任务融合方法，包括：
[0007]S1、
在不同的环境中，进行
3D
点云数据采集，每个任务对应一个训练集，共有
K
个任务；
[0008]S2、
对
S1
中采集的训练集数据进行数据预处理；
[0009]S3、
以
3D
点云数据作为输入，以任务对应的预测结果作为输出，搭建点云多任务融合网络，将多个任务训练集中的点云数据同时输入到搭建的点云多任务融合网络中进行训练，其中梯度回传时对总梯度进行参数更新方法：
[0010]确定第
k
个任务的优先级
r
k
，
k
＝
1,2,...,K
；
[0011]对
r
k
归一化，得到第
k
个任务的任务优先级度量
[0012]总损失
L
的大小为：
[0013][0014]其中，
[0015]总梯度向量为
:
[0016][0017]其中，表示共识梯度，的第
i
个分量的值为：
[0018][0019][0020]n
表示分量的数量，
g
k(i)
表示与第
k
个任务相关的梯度的第
i
个分量，
g
chard
表示最困难任务在第
t
个
epoch
的梯度，
g
chard(i)
表示最困难任务在第
t
个
epoch
的梯度的第
i
个分量；
[0021]S4、
将待测点云数据输入到训练好的点云多任务融合网络中，获得每个任务对应的预测结果输出
。
[0022]作为优选，优先级
r
k
：
[0023][0024]其中，
t
为
epoch
索引；是第
k
个任务在第
t
‑1个
epoch
的损失；
L
t
‑1是所有任务在第
t
‑1个
epoch
的总损失，
α
是一个超参数；
K
表示任务总数
。
[0025]作为优选，第
k
个任务的任务优先级度量
[0026][0027]其中，
T
表示控制
softmax
操作中任务权重区分度的温度系数
。
[0028]作为优选，多任务融合网络包括特征提取层和回归层；
[0029]特征提取层，用于对场景中的点云数据进行低级和高级特征提取，对环境中的几何空间信息以及语义信息进行编码，将编码结果输入到回归层中；
[0030]回归层，用于将编码对于不同的任务分别输入不同的回归层，输出满足对应任务要求的预测结果
。
[0031]作为优选，所述特征提取层，使用
Pointnet++
作为主干网络，包括采样层
、
分组层和聚合层；
[0032]采样层使用最远点采样对训练集进行降采样，将输入的训练集降到设定的规模；
[0033]分组层，以采样层采样的每个点云数据作为中心点，找到其固定数量的邻点，共同组成一个局部邻域；
[0034]聚合层包括两个卷积层和池化层，局部邻域经过第一个卷积层后，卷积后的结果输入至池化层中，池化结果输入至第二个卷积层中，第二个卷积层输出编码结果
。
[0035]作为优选，所述任务包括分类任务
、
分割任务和检测任务；
[0036]选用
Pointnet++
的解码层作为分类任务和分割任务的回归层，选用
Votenet
的投票层作为检测任务的回归层
。
[0037]作为优选，
S1
中使用深度相机在不同场景中采集
RGB
图像和深度图，在不同场景中所用相机为同一设备，且相机参数保持一致，通过采集到的
RGB
...

【技术保护点】

【技术特征摘要】
1.
梯度匀质化的点云多任务融合方法，其特征在于，所述方法包括：
S1、
在不同的环境中，进行
3D
点云数据采集，每个任务对应一个训练集，共有
K
个任务；
S2、
对
S1
中采集的训练集数据进行数据预处理；
S3、
以
3D
点云数据作为输入，以任务对应的预测结果作为输出，搭建点云多任务融合网络，将多个任务训练集中的点云数据同时输入到搭建的点云多任务融合网络中进行训练，其中梯度回传时对总梯度进行参数更新方法：确定第
k
个任务的优先级
r
k
，
k
＝
1,2,...,K
；对
r
k
归一化，得到第
k
个任务的任务优先级度量总损失
L
的大小为：其中，总梯度向量为
:
其中，表示共识梯度，的第
i
个分量的值为：个分量的值为：
n
表示分量的数量，
g
k(i)
表示与第
k
个任务相关的梯度的第
i
个分量，
g
chard
表示最困难任务在第
t
个
epoch
的梯度，
g
chard(i)
表示最困难任务在第
t
个
epoch
的梯度的第
i
个分量；
S4、
将待测点云数据输入到训练好的点云多任务融合网络中，获得每个任务对应的预测结果输出
。2.
根据权利要求1所述的梯度匀质化的点云多任务融合方法，其特征在于，优先级
r
k
：其中，
t
为
epoch
索引；是第
k
个任务在第
t
‑1个
epoch
的损失；
L
t
‑1是所有任务在第
t
‑1个
epoch
的总损失，
α
是一个超参数；
K
表示任务总数
。3.
根据权利要求2所述的梯度匀质化的点云多任务融合方法，其特征在于，第
k
个任务的任务...

【专利技术属性】
技术研发人员：王珂，谢涛，杨淋淇，孙祺淏，李瑞峰，陈效，赵立军，
申请(专利权)人：芜湖哈特机器人产业技术研究院有限公司，
类型：发明
国别省市：