一种基于可变形卷积的多任务学习模型构建及优化方法技术

本发明专利技术公开了一种基于可变形卷积的多任务学习模型构建及优化方法，属于深度学习技术领域，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架；在多任务优化设计上，利用权重置零操作，实现子任务优化的动态平衡。通过本发明专利技术的方法，显著提升了多任务学习模型的性能。

【技术实现步骤摘要】
一种基于可变形卷积的多任务学习模型构建及优化方法
本专利技术属于深度学习
，涉及通过深度学习中的可变形卷积进行多任务学习网络模型，具体涉及一种基于可变形卷积的多任务学习模型构建及优化方法。
技术介绍
当前的网络模型大多基于单任务设计，即一个网络模型只针对一个具体任务。但是在现实世界中，视觉任务间是彼此相关的，单任务网络模型把现实问题彼此孤立，忽略了问题之间丰富的关联信息，阻碍了性能的进一步提升。多任务网络将多个相关任务放在一起训练学习，探索和挖掘包含在多个相关任务中的丰富关联信息，帮助提高所有相关任务的泛化性能。这些特性使得多任务学习逐渐成为深度学习领域的研究热点之一。多任务学习模型需要聚焦两方面的内容：(1)网络结构设计，多任务学习旨在提升网络中所有相关任务的泛化性能，既要兼顾所有相关任务的共享特征表达，对所有任务都有效；又要针对不同子任务提取特定任务特征，进一步提升任务性能。当前多任务学习网络结构的设计主要分为两大类，第一类是硬参数共享机制，通过一系列共享卷积层，把多个任务的特征表示嵌入到同一个语义空间中，以此为基础，针对不同子任务，开辟不同特定任务网络通路，优化对应子任务。第二类是软参数共享机制，为每个子任务都学习一个特定任务网络，但子任务间并不孤立，都可以访问其他子任务对应网络中的信息，例如特征表示、梯度信息，参数信息等。(2)多任务优化，一个多任务网络需要同时优化多个子任务，最终优化目标是所有子任务优化目标的组合，考虑到不同子任务的任务特点，训练难度，收敛速度均存在差异，需要对不同子任务的权重动态调整，保证所有相关任务处于同等重要位置，而不让简单任务主导整个训练过程，造成子任务间性能的巨大差异。在网络结构设计方面，现有的多任务学习模型已经进行了很多成功尝试与实践，但是仍然存在一个显著问题，无论是基于硬参数共享机制或软参数共享机制，多任务网络结构大多是通过堆叠和组合标准卷积层得到。标准卷积层虽具备特征提取能力，但是在卷积过程中，采样点固定，因此只能在限定区域进行特征提取，无法适应不同目标的形变，限制了网络的感受野范围和空间建模能力，多任务旨在同时处理多个相关任务，这种限制带来的挑战更加严峻，即使进行多层卷积的堆叠和组合，仍然无法有效增强网络的空间建模能力，也无法根据每个子任务的需求自适应的进行有区分性的特定任务特征提取，阻碍了多任务学习模型性能进一步提升。在多任务优化方面，最终优化目标是所有子任务优化目标的加权组合，必须考虑到不同子任务的动态平衡。在训练过程中，让所有子任务的收敛速度，性能提升保持在相对均衡的状态，不让模型过于偏向某些子任务，而是要对所有子任务都有效。很多方法通过固定子任务权重进行模型训练优化，权重取值来源大多是通过先验知识，无法确定是否是最优组合且无法根据模型训练过程进行动态调整，不利于模型优化；因此还有很多方法开始关注子任务权重的动态调整，但是权重的具体计算过程十分繁琐，拖慢了训练速度。
技术实现思路
针对上述现有技术存在的问题，本专利技术提供一种基于可变形卷积的多任务学习模型构建及优化方法，解决以下两方面技术问题：(1)针对多任务网络结构中空间建模能力受限，无法提取更具区分性的特定任务特征问题，本专利技术在多任务学习领域引入可变形卷积，构建特定任务可变形模块，每个模块包含可变形卷积层和特征对齐层两部分。特定任务可变形模块与特征共享块直接相连，进行特定任务特征提取，构成整个多任务学习网络框架；(2)针对多任务优化中无法动态平衡问题，本专利技术提出权重置零策略，实现子任务优化的动态平衡。为了解决上述技术问题，本专利技术采用的技术方案是：本专利技术首先提供一种基于可变形卷积的多任务学习模型构建方法，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。具体包括以下步骤：步骤1、构建特征共享网络，为所有子任务构建包含不同层次特征的特征共享池G，包含不同层次的特征共享块；然后以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；步骤2、选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量；然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作；对于子任务Γi，其第j个特定任务可变形模块的输入特征经过可变形部分后，得到的特征其中表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元；步骤3、特征大小对齐和特征语义对齐：首先将经过步骤2的可变形卷积层的输出特征送入特定对齐层，实现与下一层的共享特征语义对齐；然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐；步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征Fout，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，下一个特定任务可变形模块的输入特征通过上述步骤完成了多任务网络模型构造，然后本专利技术还提供一种基于可变形卷积的多任务学习模型优化方法，采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过程中子任务间的动态平衡，让所有子任务处于同等重要位置。进一步的，所述基于可变形卷积的多任务学习模型优化方法，具体包括以下步骤：步骤5：子任务权重初始化：根据任务复杂程度，为每个子任务的损失函数设置超参数，作为初始子任务的权重，对网络进行优化，得到最终优化目标；步骤6：任务难易实时判定：计算每个子任务的相对损失下降率，相对损失下降率代表的是子任务的优化速度和任务难度；通过对子任务的相对损失下降率实时排名，得到在当前训练轮数下，子任务的难易程度排名，从中选取相对损失下降率最高，即当前训练条件下最简单的任务；步骤7：最易任务权重置零：将最易任务的权重进行置零操作，不改变其余任务的权重值，得到新的多任务优化目标；步骤8：最易任务放回：根据训练轮数，恢复原本置零的子任务损失函数的权重，加入多任务网络的训练，多任务学习模型的优化目标重新变为步骤5的优化目标；步骤9：迭代步骤6-8，随着多任务学习模型的训练过程，实时计算当前的最易任务，通过权重置零的方式，抑本文档来自技高网...

【技术保护点】
1.一种基于可变形卷积的多任务学习模型构建方法，其特征在于，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。/n

【技术特征摘要】
1.一种基于可变形卷积的多任务学习模型构建方法，其特征在于，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。


2.根据权利要求1所述的基于可变形卷积的多任务学习模型构建方法，其特征在于，具体包括以下步骤：
步骤1、构建特征共享网络，为所有子任务构建包含不同层次特征的特征共享池G，包含不同层次的特征共享块；
然后以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；
步骤2、选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量；然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作；
对于子任务Γi，其第j个特定任务可变形模块的输入特征经过可变形部分后，得到的特征其中表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元；
步骤3、特征大小对齐和特征语义对齐：首先将经过步骤2的可变形卷积层的输出特征送入特征对齐层，实现与下一层的共享特征语义对齐；然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐；
步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征Fout，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，下一个特定任务可变形模块的输入特征


3.一种基于可变形卷积的多任务学习模型优化方法，其特征在于，对利用权利要求1或2所述的基于可变形卷积的多任务学习模型构建方法构建的模型采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过...

【专利技术属性】
技术研发人员：黄磊，李杰，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37