一种基于动态卷积的多任务学习的方法及系统技术方案

本发明专利技术公开了一种基于动态卷积的多任务学习的方法及系统。其中，该方法包括：将图片数据输入到特征共享网络中，利用动态卷积提取所述图片数据针对所有任务的共享特征图；将所述共享特征图分别输入到特定任务网络中，提取所述特征图的语义分割特征以及深度估计特征；根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征；根据共享特征提取网络，利用随机梯度下降算法对所述网络进行训练，获得多任务学习模型；将待测试的图像数据输入所述多任务学习模型进行测试。从而，在共享特征提取网络部分应用动态卷积，在特定任务特征提取网络部分应用空洞空间卷积池化金字塔以及注意力模块。空洞空间卷积池化金字塔以及注意力模块。空洞空间卷积池化金字塔以及注意力模块。

【技术实现步骤摘要】
一种基于动态卷积的多任务学习的方法及系统


[0001]本专利技术涉及人工智能
，并且更具体地，涉及一种基于动态卷积的多任务学习的方法及系统。
[0002]背景
[0003]多任务学习(Multi
‑
Task Learning,MTL)是一种归纳迁移机制，主要目标是利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，多任务学习通过使用共享表示并行训练多个任务来完成这一目标。一言以蔽之，多任务学习在学习一个问题的同时，可以通过使用共享表示来获得其他相关问题的知识。归纳迁移是一种专注于将解决一个问题的知识应用到相关的问题的方法，从而提高学习的效率。比如，学习行走时掌握的能力可以帮助学会跑，学习识别椅子的知识可以用到识别桌子的学习，我们可以在相关的学习任务之间迁移通用的知识。目前多任务学习方法大致可以总结为两类，一是不同任务之间共享相同的参数(common parameter)，二是挖掘不同任务之间隐藏的共有数据特征(latent feature)。然而不论是哪种方法，与单任务相比，在学习共享表示的同时训练多个任务面临诸多挑战。一方面，针对多任务损失函数的设计始终难以把控，不同任务的权重分配必须保证所有任务同等重要；另一方面，多任务学习的网络结构设计必须同时兼顾特征共享部分和特定任务部分，既要学习不同特征的泛化表示，也要学习每个任务需要的特征。现有的关于多任务学习的方法或多或少都受这两方面挑战的制约。
[0004]传统的CNN在诸多计算机视觉任务中取得了前所未有的成功，但其性能的提升更多源自模型尺寸与容量的提升以及更大的数据集。模型的尺寸提升进一步加剧了计算量的提升，进一步加大模型的部署难度。现有CNN是对所有样例采用相同的卷积参数。这就导致，为了提升模型的容量，就需要增加模型的参数、深度、通道数，进一步导致模型的计算量加大、部署难度提升。由于上述假设以及终端部署需求，当前高效网络往往具有较少的参数量。然而，在某些计算机视觉应用中(如终端视频处理、自动驾驶)，模型实时性要求高，对参数量要求较低。而多任务学习针对不同的任务以及不同的输入，现有的CNN网络在不增加模型尺寸的情况下，很难满足其需求。

技术实现思路

[0005]本专利技术提供了一种基于动态卷积的多任务学习的方法及系统，以解决现有技术中存在的多任务学习的网络结构设计不能同时兼顾特征共享部分和特定任务部分的技术问题。
[0006]根据本专利技术的第一个方面，提供了一种基于动态卷积的多任务学习的方法，该方法包括：
[0007]将图片数据输入到特征共享网络中，利用动态卷积提取所述图片数据针对所有任务的共享特征图；
[0008]将所述共享特征图分别输入到特定任务网络中，根据语义分割网络以及深度估计网络，提取所述特征图的语义分割特征以及深度估计特征；
[0009]在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征，所述特定任务特征用于计算所述特定任务的任务结果；
[0010]根据共享特征提取网络，利用随机梯度下降算法对所述网络进行训练，获得多任务学习模型；
[0011]将待测试的图像数据输入所述多任务学习模型进行测试。
[0012]可选地，在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征，包括：
[0013]在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型，生成不同尺度的特征图，所述不同尺度的特征图由四个具有不同扩张率的平行的空洞卷积生成，每个特征图都有不同的感受野；
[0014]在空洞卷积层之后，由一个卷积核大小为1*1，步长为1的卷积层将不同尺度的特征图拼接在一起，得到兼顾不同粒度特征的特定任务特征。
[0015]可选地，在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征，还包括：
[0016]将空洞空间卷积池化金字塔模型处理之后得到的不同尺度的特征图，输入到注意力模块；
[0017]根据所述注意力模块，学习每一个特征通道的重要程度，获得不同通道的权重，并根据所述权重对特征图进行加权，确定加权后的特征图；
[0018]所述注意力模块包含一个全局平均池化层，两个全连接层和Sigmoid层。所述注意力模块可以自动学习每一个特征通道的重要程度，获得不同通道的权重，并根据所述权重对特征图进行加权，得到最终的特征图。
[0019]可选地，根据共享特征提取网络，利用随机梯度下降算法对所述网络进行训练，获得多任务学习模型，包括：
[0020]将所述语义分割特征作为共享特征提取网络，随机初始化所述共享特征提取网络，利用随机梯度下降算法对所述共享特征提取到的网络进行训练；
[0021]设定学习率，根据语义分割网络以及深度估计网络，确定场景分割任务的损失函数和深度估计任务的损失函数。
[0022]通过贝叶斯框架，根据场景分割任务的损失函数分量的当前大小确定场景分割任务的损失函数的权重，根据深度估计任务的损失函数分量当前的大小确定深度估计任务的损失函数的权重；
[0023]根据所述场景分割任务的损失函数的权重以及所述深度估计任务的损失函数的权重，确定多任务学习模型。
[0024]可选地，所述共享特征包括针对语义分割和深度估计任务的共享特征。
[0025]根据本专利技术的另一个方面，提供了一种基于动态卷积的多任务学习的系统，包括：
[0026]共享特征提取模块，用于将图片数据输入到特征共享网络中，利用动态卷积提取所述图片数据针对所有任务的共享特征图；
[0027]提取语义分割及深度估计特征模块，用于将所述共享特征图分别输入至特定任务网络中，根据语义分割网络以及深度估计网络，提取所述特征图的语义分割特征以及深度
估计特征；
[0028]特定任务特征提取模块，用于在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征进行处理，确定特定任务特征，所述特定任务特征用于计算针对特定任务的任务结果；
[0029]获得学习模型模块，用于根据共享特征提取网络，利用随机梯度下降算法对所述网络进行训练，获得多任务学习模型；
[0030]测试图像数据模块，用于将待测试的图像数据输入所述多任务学习模型进行测试。
[0031]可选地，特定任务特征提取模块，包括：
[0032]生成不同尺度特征图子模块，用于在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型，生成不同尺度的特征图，所述不同尺度的特征图由四个具有不同扩张率的平行的空洞卷积生成，每个特征图都有不同的感受野；
[0033]得到特定任务特征子模块，用于在空洞卷积层之后，由一个卷积核大小为1*1，步长为1的卷积层将不同尺度的特征图拼接在一起，得到兼顾不同粒本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态卷积的多任务学习的方法，其特征在于，包括：将图片数据输入到特征共享网络中，利用动态卷积提取所述图片数据针对所有任务的共享特征图；将所述共享特征图分别输入到特定任务网络中，根据语义分割网络以及深度估计网络，提取所述特征图的语义分割特征以及深度估计特征；在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征，所述特定任务特征用于计算所述特定任务的任务结果；根据共享特征提取网络，利用随机梯度下降算法对所述网络进行训练，获得多任务学习模型；将待测试的图像数据输入所述多任务学习模型进行测试。2.根据权利要求1所述的方法，其特征在于，在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征，包括：在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型，生成不同尺度的特征图，所述不同尺度的特征图由四个具有不同扩张率的平行的空洞卷积生成，每个特征图都有不同的感受野；在空洞卷积层之后，由一个卷积核大小为1*1，步长为1的卷积层将不同尺度的特征图拼接在一起，得到兼顾不同粒度特征的特定任务特征。3.根据权利要求2所述的方法，其特征在于，在语义分割网络以及深度估计网络中，根据空洞空间卷积池化金字塔模型以及注意力模块对所述共享特征图进行处理，确定特定任务特征，还包括：将空洞空间卷积池化金字塔模型处理之后得到的不同尺度的特征图，输入到注意力模块；根据所述注意力模块，学习每一个特征通道的重要程度，获得不同通道的权重，并根据所述权重对特征图进行加权，确定加权后的特征图；所述注意力模块包含一个全局平均池化层，两个全连接层和Sigmoid层。所述注意力模块可以自动学习每一个特征通道的重要程度，获得不同通道的权重，并根据所述权重对特征图进行加权，得到最终的特征图。4.根据权利要求1所述的方法，其特征在于，根据共享特征提取网络，利用随机梯度下降算法对所述网络进行训练，获得多任务学习模型，包括：将所述语义分割特征作为共享特征提取网络，随机初始化所述共享特征提取网络，利用随机梯度下降算法对所述共享特征提取到的网络进行训练；设定学习率，根据语义分割网络以及深度估计网络，确定场景分割任务的损失函数和深度估计任务的损失函数。通过贝叶斯框架，根据场景分割任务的损失函数分量的当前大小确定场景分割任务的损失函数的权重，根据深度估计任务的损失函数分量当前的大小确定深度估计任务的损失函数的权重；根据所述场景分割任务的损失函数的权重以及所述深度估计任务的损失函数的权重，
确定多任务学习模型。5.根据权利要求1所述的方法，其特征在于，所述共享特征包括针对语义分割和深度估计任务的共享特征。6.一种基于动态卷积的多任务学习的...

【专利技术属性】
技术研发人员：魏志强，刘怡彤，黄磊，纪筱鹏，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：