图像的多任务处理方法、装置、模型的训练方法及设备制造方法及图纸

本公开实施例公开了一种图像的多任务处理方法、装置、模型的训练方法及设备，其中，图像的多任务处理方法包括：确定待处理图像的目标特征图；基于目标特征图，确定各预设任务分别对应的候选掩码特征图，一个预设任务对应的候选掩码特征图包括目标特征图中属于该预设任务的像素位置掩码；基于目标特征图、各预设任务分别对应的候选掩码特征图，确定各预设任务分别对应的图像处理结果。本公开实施例基于掩码特征图可以将提取的目标特征图中不属于该任务的特征过滤掉，从而可以有效避免不同任务间特征的相互抑制，提高该任务的图像处理结果的精准度。果的精准度。果的精准度。

【技术实现步骤摘要】
图像的多任务处理方法、装置、模型的训练方法及设备


[0001]本公开涉及计算机视觉技术，尤其是一种图像的多任务处理方法、装置、模型的训练方法及设备。

技术介绍

[0002]随着计算机视觉技术的飞速发展，对图像的多任务处理已应用于各种领域，比如自动驾驶领域道路环境的多目标检测或多目标语义分割，工业领域的多目标检测等。相关技术中，实现多任务处理的神经网络模型通常具有共享的骨干网络和各任务独享的预测头网络，共享的骨干网络用于提取图像特征，各任务独享的预测头网络则基于提取的图像特征预测各任务的图像处理结果，但是由于多任务具有共享的骨干网络，在训练过程中，不同任务的梯度方向不一致，使得各任务之间很难做到有效平衡，导致最终的模型对图像的多任务处理结果精准度较低。

技术实现思路

[0003]为了解决上述多任务处理结果精准度较低等技术问题，本公开的实施例提供了一种图像的多任务处理方法、装置、模型的训练方法及设备，有效提高多任务处理结果的精准度。
[0004]本公开的第一个方面，提供了一种图像的多任务处理方法，包括：确定待处理图像的目标特征图；基于所述目标特征图，确定各预设任务分别对应的候选掩码特征图，一个预设任务对应的所述候选掩码特征图包括所述目标特征图中属于该预设任务的像素位置掩码；基于所述目标特征图、各所述预设任务分别对应的所述候选掩码特征图，确定各所述预设任务分别对应的图像处理结果。
[0005]本公开的第二个方面，提供了一种图像的多任务处理模型的训练方法，包括：获取训练数据，所述训练数据包括多个训练图像及各训练图像分别对应的标签数据，每个训练图像对应的所述标签数据包括至少一个预设任务分别对应的结果标签；基于各所述训练图像及预先建立的多任务处理网络，确定各所述训练图像在各所述预设任务分别对应的训练图像处理结果，所述多任务处理网络包括多尺度
[0006]特征提取网络、特征融合网络、各所述预设任务分别对应的掩码提取网络和预测头网络；基于各所述训练图像在各所述预设任务分别对应的训练图像处理结果、以及各所述训练图像分别对应的所述标签数据，确定网络损失；基于所述网络损失调整网络参数，直至所述网络损失满足预设条件，获得图像的多任务处理模型。
[0007]本公开的第三个方面，提供了一种图像的多任务处理装置，包括：第一确定模块，用于确定待处理图像的目标特征图；第一处理模块，用于基于所述目标特征图，确定各预设任务分别对应的候选掩码特征图，一个预设任务对应的所述候选掩码特征图包括所述目标特征图中属于该预设任务的像素位置掩码；第二处理模块，用于基于所述目标特征图、各所述预设任务分别对应的所述候选掩码特征图，确定各所述预设任务分别对应的图像处理结
果。
[0008]本公开的第四个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的图像的多任务处理方法，或者所述计算机程序用于执行本公开上述任一实施例所述的图像的多任务处理模型的训练方法。
[0009]本公开的第五个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的图像的多任务处理方法，或者执行所述指令以实现本公开上述任一实施例所述的图像的多任务处理模型的训练方法。
[0010]本公开的第六个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例所述的图像的多任务处理方法，或者，执行本公开上述任一实施例所述的图像的多任务处理模型的训练方法。
[0011]基于本公开上述实施例提供的图像的多任务处理方法、装置、模型的训练方法及设备，基于待处理图像对应的目标特征图确定各任务分别对应的候选掩码特征图，对于每个任务，将该任务对应的候选掩码特征图结合目标特征图一起用于确定该任务对应的图像处理结果，由于基于掩码特征图可以将提取的目标特征图中不属于该任务的特征过滤掉，从而可以有效避免不同任务间特征的相互抑制，提高该任务的图像处理结果的精准度。
附图说明
[0012]图1是本公开提供的图像的多任务处理方法的一个示例性的应用场景；
[0013]图2是本公开一示例性实施例提供的图像的多任务处理方法的流程示意图；
[0014]图3是本公开另一示例性实施例提供的图像的多任务处理方法的流程示意图；
[0015]图4是本公开一示例性实施例提供的掩码提取网络的网络结构示意图；
[0016]图5是本公开一示例性实施例提供的图像的多任务处理模型的网络结构示意图；
[0017]图6是本公开一示例性实施例提供的图像的多任务处理模型的训练方法的流程示意图；
[0018]图7是本公开另一示例性实施例提供的图像的多任务处理模型的训练方法的流程示意图；
[0019]图8是本公开一示例性实施例提供的图像的多任务处理装置的结构示意图；
[0020]图9是本公开另一示例性实施例提供的图像的多任务处理装置的结构示意图；
[0021]图10是本公开实施例提供的一种电子设备的结构图。
具体实施方式
[0022]为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
[0023]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0024]本公开概述
[0025]在实现本公开的过程中，专利技术人发现，随着计算机视觉技术的飞速发展，对图像的多任务处理已应用于各种领域，比如自动驾驶领域道路环境的多目标检测或多目标语义分割，工业领域的多目标检测等。相关技术中，实现多任务处理的神经网络模型通常具有共享的骨干网络和各任务独享的预测头网络，共享的骨干网络用于提取图像特征，各任务独享的预测头网络则基于提取的图像特征预测各任务的图像处理结果，但是由于多任务具有共享的骨干网络，在训练过程中，不
[0026]同任务的梯度方向不一致，使得各任务之间很难做到有效平衡，导致最终的模型对图像的多任务处理结果精准度较低。
[0027]示例性概述
[0028]图1是本公开提供的图像的多任务处理方法的一个示例性的应用场景。
[0029]在需要对图像进行多任务处理的场景，利用本公开的图像的多任务处理方法(在本公开的图像的多任务处理装置中执行)，可以基于待处理图像确定该待处理图像对应的目标特征图，基于目标特征图可以确定各预设任务分别对应的候选掩码特征图，每个预设任务对应的候选掩码特征图包括目标特征图中属于该预设任务的像素位置掩码，进而可以基于目标特征图、各预设任务分别对应的候选掩码特征图，确定各预设任务分别对应的图像处理结果。各预设任务可以根据实际需求设置，比如可以包括目标检测任务、语义分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的多任务处理方法，包括：确定待处理图像的目标特征图；基于所述目标特征图，确定各预设任务分别对应的候选掩码特征图，一个预设任务对应的所述候选掩码特征图包括所述目标特征图中属于该预设任务的像素位置掩码；基于所述目标特征图、各所述预设任务分别对应的所述候选掩码特征图，确定各所述预设任务分别对应的图像处理结果。2.根据权利要求1所述的方法，其中，所述基于所述目标特征图，确定各预设任务分别对应的候选掩码特征图，包括：对于任一所述预设任务，基于预先训练获得的该预设任务对应的掩码提取网络，对所述目标特征图进行处理，获得该预设任务对应的所述候选掩码特征图。3.根据权利要求1所述的方法，其中，所述确定待处理图像的目标特征图，包括：对所述待处理图像进行多尺度特征提取，获得各尺度分别对应的第一特征图；对各尺度分别对应的所述第一特征图进行融合，获得所述待处理图像对应的所述目标特征图。4.根据权利要求1所述的方法，其中，所述基于所述目标特征图、各所述预设任务分别对应的所述候选掩码特征图，确定各所述预设任务分别对应的图像处理结果，包括：对于任一所述预设任务，基于所述目标特征图、该预设任务对应的所述候选掩码特征图、及预先训练获得的该预设任务对应的预测头网络，确定该预设任务对应的所述图像处理结果。5.一种图像的多任务处理模型的训练方法，包括：获取训练数据，所述训练数据包括多个训练图像及各训练图像分别对应的标签数据，每个训练图像对应的所述标签数据包括至少一个预设任务分别对应的结果标签；基于各所述训练图像及预先建立的多任务处理网络，确定各所述训练图像在各所述预设任务分别对应的训练图像处理结果，所述多任务处理网络包括多尺度特征提取网络、特征融合网络、各所述预设任务分别对应的掩码提取网络和预测头网络；基于各所述训练图像在各所述预设任务分别对应的训练图像处理结果、以及各所述训练图像分别对应的所述标签数据，确定网络损失；基于所述网络损失调整网络参数，获得更新后的多任务处理网络；响应于更新后的多任务处理网络的网络损失满足预设条件，获得图像的多任务处理模型。6.根据权利要求5所述的方法，其中，每个训练图像对应的所述标签数据还包括各预设任务分别对应的掩码标签；所述基于各所述训练图像及预先建立的多任务处理网络，确定各所述训练图像在各所述预设任务分别对应的训练图像处...

【专利技术属性】
技术研发人员：李婧，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：