一种基于可变形卷积的多任务学习模型构建及优化方法技术

本发明专利技术公开了一种基于可变形卷积的多任务学习模型构建及优化方法，属于深度学习技术领域，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架；在多任务优化设计上，利用权重置零操作，实现子任务优化的动态平衡。通过本发明专利技术的方法，显著提升了多任务学习模型的性能。

【技术实现步骤摘要】
一种基于可变形卷积的多任务学习模型构建及优化方法
本专利技术属于深度学习
，涉及通过深度学习中的可变形卷积进行多任务学习网络模型，具体涉及一种基于可变形卷积的多任务学习模型构建及优化方法。
技术介绍
当前的网络模型大多基于单任务设计，即一个网络模型只针对一个具体任务。但是在现实世界中，视觉任务间是彼此相关的，单任务网络模型把现实问题彼此孤立，忽略了问题之间丰富的关联信息，阻碍了性能的进一步提升。多任务网络将多个相关任务放在一起训练学习，探索和挖掘包含在多个相关任务中的丰富关联信息，帮助提高所有相关任务的泛化性能。这些特性使得多任务学习逐渐成为深度学习领域的研究热点之一。多任务学习模型需要聚焦两方面的内容：(1)网络结构设计，多任务学习旨在提升网络中所有相关任务的泛化性能，既要兼顾所有相关任务的共享特征表达，对所有任务都有效；又要针对不同子任务提取特定任务特征，进一步提升任务性能。当前多任务学习网络结构的设计主要分为两大类，第一类是硬参数共享机制，通过一系列共享卷积层，把多个任务的特征表示嵌入到同一个语义空间中，以此为基础，本文档来自技高网...

【技术保护点】
1.一种基于可变形卷积的多任务学习模型构建方法，其特征在于，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。/n

【技术特征摘要】
1.一种基于可变形卷积的多任务学习模型构建方法，其特征在于，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。


2.根据权利要求1所述的基于可变形卷积的多任务学习模型构建方法，其特征在于，具体包括以下步骤：
步骤1、构建特征共享网络，为所有子任务构建包含不同层次特征的特征共享池G，包含不同层次的特征共享块；
然后以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；
步骤2、选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量；然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作；
对于子任务Γi，其第j个特定任务可变形模块的输入特征经过可变形部分后，得到的特征其中表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元；
步骤3、特征大小对齐和特征语义对齐：首先将经过步骤2的可变形卷积层的输出特征送入特征对齐层，实现与下一层的共享特征语义对齐；然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐；
步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征Fout，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，下一个特定任务可变形模块的输入特征


3.一种基于可变形卷积的多任务学习模型优化方法，其特征在于，对利用权利要求1或2所述的基于可变形卷积的多任务学习模型构建方法构建的模型采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过...

【专利技术属性】
技术研发人员：黄磊，李杰，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37