【技术实现步骤摘要】
多任务学习方法、装置及电子设备
[0001]本申请实施例涉及图像处理
，尤其涉及一种多任务学习方法、装置及电子设备。
技术介绍
[0002]在自然语言处理、语音识别以及计算机视觉等多个领域，多任务学习(Multi
‑
Task Learning,MLT)，通过利用不同学习任务的数据，同时学习多个子任务的共享信息，并从学习到的共享特征中预测多个目标来提高学习效率和预测准确性，进而获得更好的鲁棒性以及泛化能力，进而提升每个任务的性能并减少过拟合的风险。
[0003]一般的机器学习模型都是针对单一的特定任务，比如手写体数字识别、物体检测等。不同任务的模型都是在各自的数据集上单独学习得到的。而多任务用单一数据集要求该数据集有多个任务一一对应的标签，这样的数据集的标注成本高，且难以适应所有的多任务；另外这样的数据集容易存在数据量不足，导致过拟合的问题。因此，多任务学习通常采用多个数据集来补充不同任务的标签数量，并适应不同的多任务模型。
[0004]为了提高多个任务的性能，通常采用多阶段训练的方式来进行多任务学习，但是，这种训练方式的训练过程比较繁琐，导致训练效率不足，因此，为了提高训练效率，目前，通常采用单阶段的方式进行多任务学习，但是，如果在多个数据集上完成单阶段多任务训练，可能会存在以下情形：
[0005](1)不同任务带标签的数据集的数据量不同，例如：有的任务包含丰富的带标签的图像数据，比如：目标检测和分割任务；而有的任务缺少带标签的图像数据，比如：行人属性分类任务。>[0006](2)不同数据集中不同任务的标签数量不同或者比例失衡，有的数据集不包含所有任务的标签，例如：有的数据集有大量的深度图，但是没有分割标签，有的数据集有少量一一对应的深度图和分割标签。
[0007](3)不同数据集的数据分布不同，例如：室内的数据集和室外的数据集的数据分布不同，比如：带深度图的一一对应的数据集一般是室内，使得室内的数据集的深度图标签的数量比较多，而室外的数据集的深度图标签的数量比较少。
[0008]由上所述，可以看出，如果直接将相关任务的数据集的图像数据都整合到一起进行训练，容易导致单阶段的多任务训练中不同任务的训练样本数量失衡，导致有的任务性能表现好而有的任务表现较差，从而使得任务学习不平衡。
[0009]目前的技术方案至少存在以下技术问题：
[0010]对于单阶段的多任务训练而言，直接输入多个数据集的图像数据存在不同数据集中不同任务的标签数量不同或者比例失衡或者数据分布不同的问题，导致不同任务的标签不平衡，即不同任务的训练样本数量失衡，导致有的任务性能表现好而有的任务表现较差，从而使得任务学习不平衡。
技术实现思路
[0011]本申请实施例提供一种多任务学习方法、装置及电子设备，以解决在进行多任务单阶段训练时，直接输入多个数据集的图像数据存在不同数据集中不同任务之间标签数量不同或者比例失衡或者数据分布不同而导致的标签不平衡的技术问题，使得不同任务之间标签平衡，从而平衡多任务学习中的不同任务的性能。
[0012]第一方面，本申请实施例提供一种多任务学习方法，该方法包括：
[0013]获取至少两个数据集，至少两个数据集用于至少两个任务的训练，其中，每一任务对应一种标签，每一数据集包含的标签种类的数量不大于任务的数量；
[0014]基于标签平衡采样机制，对至少两个数据集进行采样，将采样后的所有数据作为训练的样本数据输入到第一模型中进行多任务训练，以得到多任务预测结果；
[0015]其中，标签平衡采样机制包括：
[0016]获取每一任务对应的任务平衡因子以及每一任务在每一数据集中对应标签的数据集平衡因子，其中，任务平衡因子用于调节不同任务之间的标签数量，数据集平衡因子用于调节每一任务在不同数据集中的标签数量；
[0017]根据任务平衡因子以及数据集平衡因子，确定每一任务在每一数据集中对应标签的采样率；
[0018]根据采样率，对至少两个数据集中的每一数据集进行采样，得到每一任务用于训练的样本数据。
[0019]在一些实施例中，根据任务平衡因子以及数据集平衡因子，确定每一任务在每一数据集中对应标签的采样率，包括：
[0020]假设一共有K个任务，n个数据集，则每一数据集中的每一任务对应的标签的采样率为：其中，为第k个任务对应的任务平衡因子，δ
i,k
为第k个任务在第i个数据集中对应标签的数据集平衡因子，i∈{1,2
…
n}，k∈{1,2
…
K}。
[0021]在一些实施例中，根据采样率，对至少两个数据集中的每一数据集进行采样，得到每一任务用于训练的样本数据，包括：
[0022]在至少两个数据集中，对每一任务在每一数据集中的对应标签，采用随机数生成算法生成随机数；
[0023]若随机数小于采样率，则将该标签加入到第一标签集合；
[0024]在遍历所有数据集中的所有标签之后，生成每一任务对应的第二标签集合，将第二标签集合中所有标签对应的数据确定为每一任务用于训练的样本数据。
[0025]在一些实施例中，将采样后的所有数据作为训练的样本数据输入到第一模型中进行多任务训练，以得到多任务预测结果，包括：
[0026]将采样后的所有数据作为训练的样本数据输入到第一模型中进行单阶段的多任务训练；
[0027]将每一任务对应的用于训练的样本数据的预测结果加入到预测结果集合，以同时得到至少两个任务中的每一任务的预测结果集合；
[0028]组合每一任务的预测结果集合，将组合后的预测结果集合确定为多任务预测结果。
[0029]在一些实施例中，第一模型包括至少两个任务分支，每一任务分支一一对应一个
任务，将每一任务对应的用于训练的样本数据的预测结果加入到预测结果集合，以同时得到至少两个任务中的每一任务的预测结果集合，包括：
[0030]通过第一模型中的每一任务分支对与其对应的任务的每一样本数据进行预测，得到每一样本数据对应的预测结果，并将每一样本数据对应的预测结果加入到每一任务的预测结果集合，以同时得到至少两个任务中的每一任务的预测结果集合。
[0031]在一些实施例中，至少两个任务分支共用同一个主干网络，主干网络用于每一任务分支对每一样本进行预测，以得到每一样本对应的预测结果。
[0032]在一些实施例中，方法还包括：
[0033]根据每一任务对应的任务平衡因子，确定每一任务对应的标签数量，具体包括：
[0034]假设一共有K个任务，n个数据集，其中，n个数据集中的图像数量分别为{N1,N2…
N
n
}，则每一任务对应的标签数量为：
[0035][0036]其中，为第k个任务对应的任务平衡因子，N
i,k
为第k个任务在第i个数据集中的标签数量，i∈{1,2
…
n}，k∈{1,2
【技术保护点】
【技术特征摘要】
1.一种多任务学习方法，其特征在于，所述方法包括：获取至少两个数据集，至少两个所述数据集用于至少两个任务的训练，其中，每一任务对应一种标签，每一数据集包含的标签种类的数量不大于任务的数量；基于标签平衡采样机制，对至少两个所述数据集进行采样，将采样后的所有数据作为训练的样本数据输入到第一模型中进行多任务训练，以得到多任务预测结果；其中，所述标签平衡采样机制包括：获取每一任务对应的任务平衡因子以及每一任务在每一数据集中对应标签的数据集平衡因子，其中，所述任务平衡因子用于调节不同任务之间的标签数量，所述数据集平衡因子用于调节每一任务在不同数据集中的标签数量；根据所述任务平衡因子以及所述数据集平衡因子，确定每一任务在每一数据集中对应标签的采样率；根据所述采样率，对至少两个所述数据集中的每一数据集进行采样，得到每一任务用于训练的样本数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述任务平衡因子以及所述数据集平衡因子，确定每一任务在每一数据集中对应标签的采样率，包括：假设一共有K个任务，n个数据集，则每一数据集中的每一任务对应的标签的采样率为：其中，为第k个任务对应的任务平衡因子，δ
i,k
为第k个任务在第i个数据集中对应标签的数据集平衡因子，i∈{1,2
…
n}，k∈{1,2
…
K}。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述采样率，对至少两个所述数据集中的每一数据集进行采样，得到每一任务用于训练的样本数据，包括：在至少两个所述数据集中，对每一任务在每一数据集中的对应标签，采用随机数生成算法生成随机数；若所述随机数小于所述采样率，则将该标签加入到第一标签集合；在遍历所有数据集中的所有标签之后，生成每一任务对应的第二标签集合，将所述第二标签集合中所有标签对应的数据确定为每一任务用于训练的样本数据。4.根据权利要求1所述的方法，其特征在于，所述将采样后的所有数据作为训练的样本数据输入到第一模型中进行多任务训练，以得到多任务预测结果，包括：将采样后的所有数据作为训练的样本数据输入到第一模型中进行单阶段的多任务训练；将每一任务对应的用于训练的样本数据的预测结果加入到预测结果集合，以同时得到至少两个任务中的每一任务的预测结果集合；组合每一任务的预测结果集合，将组合后的预测结果集合确定为多任务预测结果。5.根据权利要求4所述的方法，其特征在于，所述第一模型包括至少两个任务分支，每一任务分支一一对应一个任务，所述将每一任务对应的用于训练的样本数据的预测结果加入到预测结果集合，以同时得到至少两个任务中的每一任务的预测结果集合，包括：通过第一模型中的每一任务分支对与其对应的任务的每一样本数据进行预测，得到每一样本数据对应的预测结果，并将每一样本数据对应的预测结果加入到每一任务的预测结果集合，以同时得到至少两个任务中的每一任务的预测结果集...
【专利技术属性】
技术研发人员：罗佩瑶，林晓帆，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。