一种基于参数传播的多任务图片理解方法与装置制造方法及图纸

本发明专利技术公开一种基于参数传播的多任务图片理解方法与装置，所述方法包括：获取若干张图片数据，并进行预处理后构建为训练数据集；获取若干个图片理解任务，对每个图片理解任务均构建一个任务模型，其中，若干个图片理解任务之间具有关联，每个任务模型具有独立的参数；基于线性参数传播机制，通过训练数据集对各任务模型进行训练；训练好的各任务模型分别用于对待处理图片进行图片理解。本发明专利技术完全抛弃参数共享的这一机制，假设不同图片理解任务之间的参数是完全独立，并且在训练的过程中，通过不同图片理解任务之间的参数传播来实现任务关联，有效避免了传统基于参数共享的多个图片理解任务中的负面迁移问题，提高了每个图片理解任务的预测效果。片理解任务的预测效果。片理解任务的预测效果。

【技术实现步骤摘要】
一种基于参数传播的多任务图片理解方法与装置


[0001]本专利技术涉及人工智能、图片理解
，特别是涉及一种基于参数传播的多任务图片理解方法与装置。

技术介绍

[0002]图像理解技术可以应用到自动驾驶、安防监控、教育等领域。所谓图像理解，即输入一张RGB图片，利用多层卷积神经网络可以直接输出该图片中的场景分割(每个像素点属于哪一类标签)、深度估计(每一个像素点的物体到摄像头的深度距离)等。实际应用往往需要同时解决多个图像理解任务，例如自动驾驶领域需要同时根据当前摄像头捕获的图片实现场景分割和深度估计。能否利用不同任务之间的联系来增强各个任务的预测效果，构成了多任务图像理解的关键。
[0003]为了实现多任务图像理解，传统方法通过不同任务的多层卷积神经网络的参数共享来实现任务之间的关联(如图1所示)。具体来说，在每一步训练过程当中，给定多个任务的输入和输出对，通过建立各个任务神经网络的期望输出和实际输出之间的损失函数，然后通过梯度反传来更新神经网络的参数，优化神经网络输出，提高效果。因为不同任务的神经网络的前M层的参数是共享的(值是一样)，所以这些共享的参数会同时根据所有任务的反传梯度来更新。然而，如果不同任务的反传梯度方向是相反的、冲突的，即提高一个任务的预测效果会降低另一个任务的预测效果，这就会导致共享参数的更新不能同时提高多个任务的预测效果，产生了负面迁移问题。因此，提供一种基于参数传播的多任务图片理解方法与装置显得尤为必要。

技术实现思路

[0004]本专利技术的目的是提供一种基于参数传播的多任务图片理解方法与装置，以解决现有技术的问题，完全抛弃参数共享的这一机制，假设不同图片理解任务之间的参数是完全独立，并且在训练的过程中，通过不同图片理解任务之间的参数传播来实现任务关联，从而有效避免了传统基于参数共享的多个图片理解任务中的负面迁移问题，同时提高每个图片理解任务的预测效果。
[0005]为实现上述目的，本专利技术提供了如下方案：本专利技术提供一种基于参数传播的多任务图片理解方法，包括如下步骤：
[0006]获取若干张图片数据，并对所述图片数据进行预处理后构建为训练数据集；
[0007]获取若干个图片理解任务，对每个所述图片理解任务均构建一个任务模型，其中，若干个所述图片理解任务之间具有关联，每个所述任务模型具有独立的参数；
[0008]基于线性参数传播机制，通过所述训练数据集对各所述任务模型进行训练；训练好的各所述任务模型分别用于对待处理图片数据进行图片理解。
[0009]优选地，采用多层卷积神经网络对每个所述图片理解任务构建任务模型。
[0010]优选地，基于线性参数传播机制对所述任务模型进行训练包括自学习和邻学习两
个阶段；其中，在所述自学习阶段，通过每个所述任务模型独立训练各自参数，在所述邻学习阶段，将所有任务模型的参数固定，训练参数传播矩阵；所述参数传播矩阵用于表示各所述图片理解任务之间的关系。
[0011]优选地，在所述自学习阶段，通过每个所述任务模型独立训练各自参数的方法包括：
[0012]对所有所述任务模型的参数进行随机初始化，并通过随机梯度法对每个所述任务模型的参数进行迭代更新。
[0013]优选地，通过随机梯度法对每个所述任务模型的参数进行更新的具体方法包括：
[0014]在每一步迭代更新的过程中，从所述任务模型的训练数据集中随机进行数据采样，通过采样得到的数据计算所述任务模型的参数的梯度，基于所述参数的梯度对所述任务模型的参数进行更新。
[0015]优选地，在所述邻学习阶段，训练所述参数传播矩阵的方法包括：
[0016]S3031、将所述参数传播矩阵初始化为单位矩阵；
[0017]S3032、基于自学习后各所述任务模型的参数进行参数传播计算，并将参数传播计算后得到的参数代入每个所述任务模型，计算所述参数传播矩阵的梯度；
[0018]S3033、基于所述参数传播矩阵的梯度对所述参数传播矩阵进行梯度更新；
[0019]S3034、基于梯度更新后的所述参数传播矩阵，重复步骤S3032
‑
S3033，完成所述参数传播矩阵的训练。
[0020]本专利技术还提供一种基于参数传播的多任务图片理解装置，包括数据获取模块、模型构建模块、模型训练模块，所述数据获取模块、模型构建模块分别与所述模型训练模块连接；
[0021]所述数据获取模块用于获取若干张图片数据，并对所述图片数据进行预处理后构建为训练数据集；
[0022]所述模型构建模块用于获取若干个图片理解任务，对每个所述图片理解任务均构建一个任务模型，其中，若干个所述图片理解任务之间具有关联，每个所述任务模型具有独立的参数；
[0023]所述模型训练模块基于线性参数传播机制，通过所述训练数据集对各所述任务模型进行训练；训练好的各所述任务模型分别用于对待处理图片数据进行图片理解。
[0024]优选地，所述模型构建模块采用多层卷积神经网络对每个所述图片理解任务构建任务模型。
[0025]优选地，所述模型训练模块包括依次连接的自学习模块和邻学习模块；
[0026]所述自学习模块用于通过每个所述任务模型独立训练各自参数；
[0027]所述邻学习模块用于将所有任务模型的参数固定，训练参数传播矩阵；所述参数传播矩阵用于表示各所述图片理解任务之间的关系。
[0028]优选地，所述自学习模块通过随机梯度法对每个所述任务模型的参数进行迭代更新。
[0029]本专利技术公开了以下技术效果：
[0030]本专利技术公开了一种基于参数传播的多任务图片理解方法与装置，基于各图片理解任务的关联性，对每个图片理解任务构建一个任务模型，各任务模型具有独立的参数，并基
于线性参数传播机制，通过自学习和邻学习相结合的方式对每个任务模型进行训练。本专利技术完全抛弃参数共享的这一机制，假设不同图片理解任务之间的参数是完全独立，并且在训练的过程中，通过不同图片理解任务之间的参数传播来实现任务关联，从而有效避免了传统基于参数共享的多个图片理解任务中的负面迁移问题，既能有效利用各个任务之间的关系，又能避免任务之间的冲突，有效提高了每个图片理解任务的预测效果。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为传统基于参数共享的多任务图片理解方法流程图；
[0033]图2为本专利技术实施例一中基于参数传播的多任务图片理解方法流程图；
[0034]图3为本专利技术实施例一中基于线性参数传播机制，对各任务模型进行训练的方法流程图；
[0035]图4为本专利技术实施例二中基于参数传播的多任务图片理解装置结构示意图。
具体实施方式<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参数传播的多任务图片理解方法，其特征在于，包括如下步骤：获取若干张图片数据，并对所述图片数据进行预处理后构建为训练数据集；获取若干个图片理解任务，对每个所述图片理解任务均构建一个任务模型，其中，若干个所述图片理解任务之间具有关联，每个所述任务模型具有独立的参数；基于线性参数传播机制，通过所述训练数据集对各所述任务模型进行训练；训练好的各所述任务模型分别用于对待处理图片数据进行图片理解。2.根据权利要求1所述的基于参数传播的多任务图片理解方法，其特征在于，采用多层卷积神经网络对每个所述图片理解任务构建任务模型。3.根据权利要求1所述的基于参数传播的多任务图片理解方法，其特征在于，基于线性参数传播机制对所述任务模型进行训练包括自学习和邻学习两个阶段；其中，在所述自学习阶段，通过每个所述任务模型独立训练各自参数，在所述邻学习阶段，将所有任务模型的参数固定，训练参数传播矩阵；所述参数传播矩阵用于表示各所述图片理解任务之间的关系。4.根据权利要求3所述的基于参数传播的多任务图片理解方法，其特征在于，在所述自学习阶段，通过每个所述任务模型独立训练各自参数的方法包括：对所有所述任务模型的参数进行随机初始化，并通过随机梯度法对每个所述任务模型的参数进行迭代更新。5.根据权利要求4所述的基于参数传播的多任务图片理解方法，其特征在于，通过随机梯度法对每个所述任务模型的参数进行更新的具体方法包括：在每一步迭代更新的过程中，从所述任务模型的训练数据集中随机进行数据采样，通过采样得到的数据计算所述任务模型的参数的梯度，基于所述参数的梯度对所述任务模型的参数进行更新。6.根据权利要求3所述的基于参数传播的多任务图片理解方法，其特征在于，在所述邻学习阶段，训练所述参数传播矩阵的方法包括：S3031、将所述参数传...

【专利技术属性】
技术研发人员：黄文炳，孙富春，韩家琦，
申请(专利权)人：清华大学，
类型：发明
国别省市：