一种无需多任务联合标注的多任务深度学习训练方法技术

本发明专利技术涉及一种无需多任务联合标注的多任务深度学习训练方法，涉及计算机视觉领域。首先，利用与目标任务对应的单任务标注数据集训练目标任务分支网络，利用与若干辅助任务分别对应的各单任务标注数据集训练各辅助分支网络；之后通过计算各辅助任务特征与目标任务特征的Gram矩阵，形成对各辅助任务特征的通道注意力，进而调整相应的辅助任务特征的各分量权值，再将调整后的多组辅助任务特征与目标任务特征进行级联融合，构建实现目标任务的整合网络；最后利用与目标任务对应的单任务标注数据集训练整合网络实现目标任务。本发明专利技术采用基于Gram通道注意力机制的特征融合，实现了针对目标任务而无需多任务联合标注训练集的多任务训练。务训练。务训练。

【技术实现步骤摘要】
一种无需多任务联合标注的多任务深度学习训练方法


[0001]本专利技术设计的一种无需多任务联合标注的多任务深度学习训练方法属于计算机视觉
，具体涉及一种辅助任务与目标任务通过特征融合实现多任务训练的方法。

技术介绍

[0002]多任务训练是深度学习领域中的研究热点，它通过共享相关任务之间的特征能够缓解深度学习网络对训练数据的过拟合现象，增强网络的整体性能及其在其他数据集的泛化能力，被广泛应用于计算机视觉等领域。
[0003]典型的多任务训练需要网络输出多个任务的预测结果，通过与每个任务的真实标注进行比较，再将所有任务的损失项叠加形成多任务训练的损失函数，反向传播训练多任务网络，比如目前已有利用语义分割、物体检测、实例分割、光流估计等和深度估计中两个任务或者三个任务实现联合训练，Kokkinos等人则设计了可同时用于7个任务的通用网络。除了直接输出多任务的预测结果，另外部分多任务训练方法利用其他任务结果优化网络对单个目标任务的预测效果，如Yue等人利用语义分割结果形成对深度的权重调整，优化单目深度估计网络。这些多任务训练方法往往要求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无需多任务联合标注的多任务深度学习训练方法，包括：步骤1，利用与目标任务对应的单任务标注数据集训练目标任务分支网络，确保目标任务分支网络能够初步实现对目标任务相关特征的提取；步骤2，利用与若干辅助任务分别对应的各单任务标注数据集训练辅助分支网络，确保每个辅助分支网络能够实现对相应辅助任务相关特征的提取；步骤3，通过每个辅助分支网络提取的特征(辅助任务特征)与目标任务分支网络提取的特征(目标任务特征)计算Gram矩阵，Gram矩阵作为协方差阵能够定量表示每组辅助任务特征与目标任务特征之间的非线性相关性，进而形成对每组辅助任务特征的通道注意力，以调整相应的辅助任务特征的各分量权值，再将调整后的多组辅助任务特征与目标任务特征进行级联，实现特征融合，构建实现目标任务的整合网络，具体为：首先对所有K个辅助任务的特征及目标任务的特征进行批归一化，规定特征大小为H
×
W
×
C，其中W,H,C分别为特征的长、宽及通道数。对于第k(k＝1,
…
,K)个辅助分支网络，其提取特征表示为X
ki
(i＝1,2,
…
,C
k1
)，大小为H
×
W
×
C
k1
，其中X
ki
为第k个辅助任务的第i通道二维特征，共C
k1
个通道，目标任务分支网络提取的特征表示为Y
j
(j＝1,2,
…
,C2)，大小为H
×
W
×
C2，其中Y
j
为第j通道的二维特征，共C2个通道。利用X
ki
及Y
j
计算二者的Frobenius矩阵内积作为Gram
k
(i,j)，即Gram
k
(i,j)可定量表示X
ki
与Y
j
之间的非线性相关性：当Gram
k
(i,j)为正，X
ki
与Y
j...

【专利技术属性】
技术研发人员：王睿，邹佳伶，辛佳雯，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：