用于多域多模态图像转换的装置和方法制造方法及图纸

提供了一种用于根据输入图像(150)生成输出图像(160)的图像处理装置(100)。所述图像处理装置(100)用于生成内容特征图和风格特征向量，其中，所述内容特征图指示所述输入图像(150)的图像内容，所述风格特征向量指示所述输入图像(150)的图像域。此外，所述图像处理装置(100)用于根据所述风格特征向量，确定多个图像域中的图像域。所述图像处理装置(100)还用于根据所述输入图像(150)的所述内容特征图以及与所述多个图像域中的另一图像域相关联的另一风格特征向量，生成所述输出图像(160)。此外，还提供了一种对应的图像处理方法。还提供了一种对应的图像处理方法。还提供了一种对应的图像处理方法。

【技术实现步骤摘要】
【国外来华专利技术】用于多域多模态图像转换的装置和方法


[0001]本专利技术大体涉及图像处理。更具体地，本专利技术涉及一种用于多域多模态图像转换的图像处理装置和方法。

技术介绍

[0002]图像到图像转换是计算机视觉技术中一个成熟的研究领域，有助于扩大图像数据集，并在图像编辑方面显示出巨大的潜力。例如，在用于自动驾驶的应用中收集大型图像数据集。在示例性自动驾驶场景中，自动驾驶车辆可以收集多个标记的晴朗日间图像，即具有不同图像内容但来自相同图像域(有时也称为图像风格)的图像，用于训练辅助自动驾驶的物体检测模型。为了使该物体检测模型在更具挑战性的条件(如多雾、多雨和夜间条件)(即，图像域)下也能够很好地工作，还有必要收集这些更具挑战性条件的标记图像。

技术实现思路

[0003]本专利技术的目的在于提供一种用于多域多模态图像转换的改进装置和方法。
[0004]上述和其它目的是通过由独立权利要求请求保护的主题来实现的。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
[0005]根据第一方面，提供了一种用于根据输入图像生成输出图像的图像处理装置。
[0006]根据第一方面所述的图像处理装置用于生成内容特征图和风格特征向量，其中，所述内容特征图指示所述输入图像的图像内容，所述风格特征向量指示所述输入图像的图像域(有时也称为图像风格)。此外，所述图像处理装置用于根据所述风格特征向量，将所述图像域确定为多个图像域中的一个图像域。
[0007]所述图像处理装置还用于根据所述输入图像的所述内容特征图以及与所述多个图像域中的另一图像域相关联(即，属于所述多个图像域中的另一图像域)的另一风格特征向量，生成所述输出图像。
[0008]例如，在自动驾驶场景中，根据第一方面所述的图像处理装置允许将训练图像从日间图像域转换为其它天气和/或光照条件。这样，所述图像处理装置允许在相同位置(即，具有相同内容)获取各种输出图像，并且重用同一标签来微调物体检测模型，该模型甚至无法通过沿相同道路发送第二试驾来实现微调。将所有混合数据一起训练，最终可以提高物体检测模型的鲁棒性。有利地，与传统方法相比，根据第一方面所述的图像处理装置允许以更低的空间复杂度执行多域多模态图像到图像转换。
[0009]在所述第一方面的另一种可能的实现方式中，所述图像处理装置包括第一编码器神经网络，所述第一编码器神经网络用于生成所述内容特征图，其指示所述输入图像的所述图像内容。
[0010]在所述第一方面的另一种可能的实现方式中，所述图像处理装置包括第二编码器神经网络，所述第二编码器神经网络用于生成所述风格特征向量，其指示所述输入图像的所述图像域。
[0011]在所述第一方面的另一种可能的实现方式中，所述图像处理装置用于使用高斯混合模型，根据所述风格特征向量，确定所述多个图像域中的所述图像域。
[0012]在所述第一方面的另一种可能的实现方式中，所述多个图像域中的每个图像域与所述高斯混合模型中的一个高斯相关联。
[0013]在所述第一方面的另一种可能的实现方式中，所述图像处理装置用于根据所述输入图像，生成多个输出图像。更具体地，所述图像处理装置用于：根据所述输入图像的所述内容特征图以及与所述多个图像域中的第一另一图像域相关联的第一另一风格特征向量，生成第一输出图像；根据所述输入图像的所述内容特征图以及与所述多个图像域中的第二另一图像域相关联的第二另一风格特征向量，生成第二输出图像。
[0014]在所述第一方面的另一种可能的实现方式中，所述图像处理装置包括内容判别器神经网络，其中，在训练阶段，所述内容判别器神经网络用于在所述内容特征图包含与所述输入图像的所述图像域相关的信息的情况下，对所述内容特征图进行过滤(即，丢弃)。
[0015]在所述第一方面的另一种可能的实现方式中，所述图像处理装置包括生成器神经网络，所述生成器神经网络用于根据所述输入图像的所述内容特征图以及与所述多个图像域中的所述另一图像域相关联的所述另一风格特征向量，生成所述输出图像。
[0016]在所述第一方面的另一种可能的实现方式中，所述图像处理装置包括：第一编码器神经网络，用于生成所述内容特征图，其指示所述输入图像的所述图像内容；第二编码器神经网络，用于生成所述风格特征向量，其指示所述输入图像的所述图像域；其中，在所述训练阶段，所述图像处理装置还用于通过以下方式训练所述生成器神经网络：将所述输出图像馈送回所述第一编码器神经网络和所述第二编码器神经网络，以获取重建输入图像；最小化所述输入图像与所述重建输入图像之间的差异(即，重建损失)。
[0017]在所述第一方面的另一种可能的实现方式中，所述图像处理装置还包括多尺度判别器神经网络，其中，在所述训练阶段，所述多尺度判别器神经网络用于根据所述输出图像确定反馈信息，并将所述反馈信息提供给所述生成器神经网络用于训练所述生成器神经网络，所述反馈信息包括有关所述输出图像是否属于所述多个图像域中的所述另一图像域和/或所述输出图像看起来是否像所述多个图像域中的所述另一图像域中的真实图像的信息。
[0018]在所述第一方面的另一种可能的实现方式中，所述多尺度判别器神经网络包括多个平均池化层，用于将所述输出图像下采样到具有不同图像分辨率的多个下采样输出图像。
[0019]在所述第一方面的另一种可能的实现方式中，所述图像处理装置包括另一神经网络，所述另一神经网络用于确定与所述风格特征向量相关联的所述多个图像域中的所述图像域。
[0020]根据第二方面，提供了一种用于根据输入图像生成输出图像的图像处理方法。所述图像处理方法包括以下步骤：
[0021]生成内容特征图，其指示所述输入图像的图像内容；
[0022]生成风格特征向量，其指示所述输入图像的图像域；
[0023]根据所述风格特征向量，确定多个图像域中的图像域；
[0024]根据所述输入图像的所述内容特征图以及与所述多个图像域中的另一图像域相
关联的另一风格特征向量，生成所述输出图像。
[0025]根据本专利技术第二方面所述的图像处理方法可以由根据本专利技术第一方面所述的图像处理装置执行。因此，根据本专利技术第二方面所述的图像处理方法的其它特征直接通过根据本专利技术第一方面所述的图像处理装置的功能及其上述和下述不同实现形式实现。
[0026]根据第三方面，提供了一种计算机程序产品，包括程序代码，所述程序代码在由计算机或处理器执行时，使所述计算机或所述处理器执行根据第二方面所述的图像处理方法。
[0027]附图及以下说明中将详细描述一个或多个实施例。其它特征、目的和优点在说明、附图以及权利要求中是显而易见的。
附图说明
[0028]下文结合附图对本专利技术实施例进行详细描述。在附图中：
[0029]图1示出了一实施例提供的用于多域多模态图像生成的图像处理装置的示意图；
[0030]图2示出了用于图1所示的多域多模态图像生成的图像处理装置的更多详细信息的示意图；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于根据输入图像(150)生成输出图像(160)的图像处理装置(100)，其特征在于，所述图像处理装置(100)用于：生成内容特征图(114)，其指示所述输入图像(150)的图像内容；生成风格特征向量(113)，其指示所述输入图像(150)的图像域；根据所述风格特征向量(113)，确定多个图像域(125)中的图像域；根据所述输入图像(150)的所述内容特征图(114)以及与所述多个图像域(125)中的另一图像域相关联的另一风格特征向量(113
’
)，生成所述输出图像(160)。2.根据权利要求1所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括第一编码器神经网络(112)，所述第一编码器神经网络(112)用于生成所述内容特征图(114)，其指示所述输入图像(150)的所述图像内容。3.根据权利要求1或2所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括第二编码器神经网络(111)，所述第二编码器神经网络(111)用于生成所述风格特征向量(113)，其指示所述输入图像(150)的所述图像域。4.根据上述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)用于使用高斯混合模型(125)，根据所述风格特征向量(113)，确定所述多个图像域(125)中的所述图像域。5.根据权利要求4所述的图像处理装置(100)，其特征在于，所述多个图像域(125)中的每个图像域与所述高斯混合模型(125)中的一个高斯相关联。6.根据上述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)用于：根据所述输入图像(150)的所述内容特征图(114)以及与所述多个图像域(125)中的第一另一图像域相关联的第一另一风格特征向量(113
’
)，生成第一输出图像(160)；根据所述输入图像(150)的所述内容特征图(114)以及与所述多个图像域(125)中的第二另一图像域相关联的第二另一风格特征向量(113
’
)，生成第二输出图像(160)。7.根据上述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括内容判别器神经网络(116)，其中，在训练阶段，所述内容判别器神经网络(116)用于在所述内容特征图(114)包含与所述输入图像(150)的所述图像域相关的信息的情况下，对所述内容特征图(114)进行过滤。8.根据上述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括生成器神经网络(120)，所述生成器神经网络(120)用于根据所述输入图像(150)的所述内容特征图(114)以及与所述多个图像域(125)中的所述另一图像域相关...

【专利技术属性】
技术研发人员：沈枫易，奥纳伊，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：