图像处理的方法、设备和计算机可读存储介质技术

本公开的实施例涉及用于图像处理的方法、设备和计算机可读存储介质。一种图像处理的方法包括获取多个图像，其中每个图像具有指示该图像中的像素的语义类别的初始语义分割标签；获取与多个图像相对应的多个图像掩码，其中每个图像掩码用于选择多个图像中的对应图像中的目标区域；基于多个图像掩码和多个图像的初始语义分割标签，重新生成多个图像的相应语义分割标签；以及基于多个图像和重新生成的相应语义分割标签，生成混合图像和该混合图像的语义分割标签。通过将所生成的混合图像及其语义分割标签作为训练数据来训练图像语义分割模型，有助于减少模型在简单训练样本上的冗余学习并且改善模型过拟合的问题，从而提升模型的性能。性能。性能。

【技术实现步骤摘要】
图像处理的方法、设备和计算机可读存储介质


[0001]本公开的实施例涉及图像处理领域，并且更具体地，涉及用于图像处理的方法、设备和计算机可读存储介质。

技术介绍

[0002]图像语义分割是图像处理和计算机视觉领域的重要技术，其是图像理解的基础。图像语义分割是指针对图像中的每个像素进行分类，确定每个像素的语义类别(诸如，属于背景、人物或车辆等)，从而按照不同语义类别进行图像区域划分。
[0003]通常，可以基于训练数据集来训练图像语义分割模型(例如，深度神经网络)，以实现图像语义分割。深度神经网络具有强大的非线性拟合能力，可以被训练为处理复杂的任务。然而，深度神经网络的该特性容易导致过拟合问题。也即，训练后的模型过度拟合训练数据集而在其他数据集上表现不佳。

技术实现思路

[0004]本公开的实施例提供了用于图像处理的方法、设备和计算机可读存储介质。
[0005]在本公开的第一方面，提供一种图像处理的方法。该方法包括：获取多个图像，其中每个图像具有指示该图像中的像素的语义类别的初始语义分割标签；获取与多个图像相对应的多个图像掩码，其中每个图像掩码用于选择多个图像中的对应图像中的目标区域；基于多个图像掩码和多个图像的初始语义分割标签，重新生成多个图像的相应语义分割标签；以及基于多个图像和重新生成的相应语义分割标签，生成混合图像和该混合图像的语义分割标签。
[0006]在本公开的第二方面，提供一种模型训练方法。该方法包括：通过将根据本公开的第一方面所生成的混合图像和该混合图像的语义分割标签作为训练数据，来训练图像语义分割模型，以用于生成目标图像的语义分割标签。
[0007]在本公开的第三方面，提供一种图像处理的方法。该方法包括：获取输入图像；以及利用根据本公开的第二方面所训练的图像语义分割模型，生成输入图像的语义分割标签。
[0008]在本公开的第四方面，提供一种计算设备。该计算设备包括至少一个处理器，被配置为：获取多个图像，其中每个图像具有指示该图像中的像素的语义类别的初始语义分割标签；获取与多个图像相对应的多个图像掩码，其中每个图像掩码用于选择多个图像中的对应图像中的目标区域；基于多个图像掩码和多个图像的初始语义分割标签，重新生成多个图像的相应语义分割标签；以及基于多个图像和重新生成的相应语义分割标签，生成混合图像和该混合图像的语义分割标签。
[0009]在本公开的第五方面，提供一种计算设备。该计算设备包括至少一个处理器，被配置为：通过将根据本公开的第一方面所生成的混合图像和该混合图像的语义分割标签作为训练数据，来训练图像语义分割模型，以用于生成目标图像的语义分割标签。
[0010]在本公开的第六方面，提供一种计算设备。该计算设备包括至少一个处理器，被配置为：获取输入图像；以及利用根据本公开的第二方面所训练的图像语义分割模型，生成输入图像的语义分割标签。
[0011]在本公开的第七方面，提供一种计算机可读存储介质。该计算机可读存储介质具有在其上存储的机器可执行指令，该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面、第二方面或第三方面所描述的方法的任意步骤。
[0012]在本公开的第八方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在计算机可读存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面、第二方面或第三方面所描述的方法的任意步骤。
[0013]提供
技术实现思路
部分是为了以简化的形式来介绍一系列概念，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分不旨在标识本公开的关键特征或必要特征，也不旨在限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0014]从下文的公开内容和权利要求中，本专利技术的目的、优点和其他特征将变得更加明显。这里仅出于示例的目的，参考附图来给出优选实施例的非限制性描述，在附图中：
[0015]图1示出了根据本公开的实施例的图像处理系统的示意性框图；
[0016]图2示出了根据本公开的实施例的图像处理的示意图；
[0017]图3示出了根据本公开的实施例的用于图像处理的示例方法的流程图；
[0018]图4示出了根据本公开的实施例的示例模型训练方法的流程图；
[0019]图5示出了根据本公开的实施例的用于图像处理的示例方法的流程图；以及
[0020]图6示出了可以用来实施本公开的实施例的示例计算设备的示意性框图。
[0021]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0023]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0024]如本文中所使用的，术语“电路”可以指硬件电路和/或硬件电路和软件的组合。例如，该电路可以是模拟和/或数字硬件电路与软件/固件的组合。作为另一示例，电路可以是具有软件的硬件处理器(包括数字信号处理器)、软件和存储器的任何部分，它们一起工作以使设备执行各种功能。在又一示例中，电路可以是硬件电路和/或处理器，诸如微处理器或微处理器的一部分，其需要软件/固件进行操作但是当不需要软件进行操作时该软件可以不存在。如本文中所使用的，术语“电路”也涵盖仅硬件电路或处理器、或者硬件电路或处
理器的一部分及其(或它们)随附软件和/或固件的实现。
[0025]如上所述，通常基于训练数据集来训练图像语义分割模型(例如，深度神经网络)，以实现图像语义分割。深度神经网络具有强大的非线性拟合能力，可以被训练为处理复杂的任务。然而，深度神经网络的该特性容易导致过拟合问题。也即，训练后的模型过度拟合训练数据集而在其他数据集上表现不佳。
[0026]通常，正则化操作能够防止模型过度拟合训练数据集或者对其预测结果过度自信。例如，混合(mixup)操作是一种在计算机视觉中常用的对图像进行扩增的方法。它可以将不同图像进行混合，从而扩充训练数据集。混合(mixup)操作可以被视为是一种正则化操作，其通过数据扩增的形式来给模型增加正则项或者对模型进行剪枝。然而，对于图像语义分割这种逐像素预测问题，标准的正则化操作无法带来显著的改善。这是因为针对逐像素预测问题，其要求复杂的特征空间，这将导致模型训练效率降低甚至不容易收敛。
[0027]本公开的实施例提出了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的方法，包括：获取多个图像，其中每个图像具有指示所述每个图像中的像素的语义类别的初始语义分割标签；获取与所述多个图像相对应的多个图像掩码，其中每个图像掩码用于选择所述多个图像中的对应图像中的目标区域；基于所述多个图像掩码和所述多个图像的初始语义分割标签，重新生成所述多个图像的相应语义分割标签；以及基于所述多个图像和重新生成的相应语义分割标签，生成混合图像和所述混合图像的语义分割标签。2.根据权利要求1所述的方法，其中获取与所述多个图像相对应的多个图像掩码包括：针对所述多个图像中的第一图像，确定所述第一图像的多个像素的相应预测语义类别；基于所述多个像素的相应预测语义类别，确定所述多个像素的相应得分，其中每个像素的得分指示所述每个像素与所述第一图像中的目标区域的关联程度；以及基于所述多个像素的相应得分，确定所述第一图像的第一图像掩码，其中所述第一图像掩码用于选择所述多个像素中具有较高得分的至少部分像素。3.根据权利要求2所述的方法，其中确定所述第一图像中的多个像素的相应预测语义类别包括：利用图像语义分割模型，确定所述第一图像中的所述多个像素的相应预测语义类别。4.根据权利要求2所述的方法，其中确定所述第一图像中的多个像素的相应得分包括：针对所述多个像素中的第一像素，基于所述第一像素的预测语义类别和所述第一像素的语义类别之间的差异来确定所述第一像素的得分，其中所述第一像素的语义类别由所述第一图像的语义分割标签指示。5.根据权利要求2所述的方法，其中确定所述第一图像中的多个像素的相应得分包括：针对所述多个像素中的第二像素，基于所述第二像素的预测语义类别的不确定性来确定所述第二像素的得分。6.根据权利要求2所述的方法，其中确定所述第一图像中的多个像素的相应得分包括：针对所述多个像素中的第三像素，基于所述第三像素的预测语义类别的混乱程度来确定所述第三像素的得分。7.根据权利要求1所述的方法，其中重新生成所述多个图像的相应语义分割标签包括：将所述多个图像掩码中的每个图像掩码与所述多个图像中的对应图像的初始语义分割标签进行遮罩操作，以重新生成所述对应图像的语义分割标签。8.根据权利要求1所述的方法，其中生成混合图像和所述混合图像的语义分割标签包括：基于所述多个图像的相应权重，对所述多个图像进行加权求和，以生成所述混合图像；以及基于所述多个图像的相应权重，对重新生成的相应语义分割标签进行加权求和，以生成所述混合图像的语义分割标签。9.一种模型训练方法，包括：
获取训练数据，所述训练数据包括根据权利要求1至8中任一项所述的方法所生成的混合图像和所述混合图像的语义分割标签；以及基于所述训练数据来训练图像语义分割模型，以用于生成目标图像的语义分割标签。10.一种图像处理的方法，包括：获取输入图像；以及利用根据权利要求9所述的方法训练的图像语义分割模型，生成所述输入图像的语义分割标签。11....

【专利技术属性】
技术研发人员：李岩，张霓，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：