图像处理方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、电子设备和计算机可读存储介质。该方法包括：获取待处理图像；将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量；将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果，基于多个解码结果，得到风格转换后的图像。通过本申请，解决了相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题。题。题。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及图像数据处理
，具体而言，涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]图像的风格化转换可以在保留图像主要内容的情况下，将图像细节和风格进行变化，如人像年龄变化，照片转化为手绘风格，照片转化为动画(二次元)风格等等。
[0003]常用的图像风格化转换的方法，是通过神经网络对输入图片进行拟合，并输出目标风格转化后的图片。通常神经网络采用编码器和解码器两部分构成。相关技术一中，如图1所示，是将图像中的人脸区域A，通过神经网络转化为目标风格的人脸区域B，然后将A与B融合形成人脸风格变换后的图像。然而，这种方式的风格转化，解码器需要将编码器传递过来的信息进行融合，因此会和原图细节比较近似。
[0004]在一些图像场景中，图像中有些部位需要和原图细节相似，有些部位需要不和原图细节相似，上述的图像风格化转换方法中若保留编码器到解码器的路径则全图细节都会相似，反之则都不相似，例如手绘风格化任务中，需要脸部细节和原图相似(但风格不同)，头发部分需要和原图细节不同(风格也不同)。因此相关技术一中的图像风格化转换方法无法满足此种需求。相关技术二中，采用多个神经网络分别处理图像中需要不同风格化的区域，采用不包含跳连接的神经网络处理目标风格图B与原图A细节不同的区域，采用包含跳连接的神经网络处理风格图B与原图A中细节相同但风格不同的区域。然而，采用多个神经网络，在实际调用时需要多次数据搬运，数据计算量大影响硬件运行效率，导致处理效率较低，另外，多个神经网络输出的结果需要再进行额外融合操作，才能避免融合时出现的伪纹理。
[0005]针对相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本公开提供一种图像处理方法、装置、电子设备和计算机可读存储介质，以至少解决相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题。本公开的技术方案如下：
[0007]根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取待处理图像；将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域；将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括
以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果；基于多个解码结果，得到风格转换后的图像。
[0008]进一步地，将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果包括：将特征向量、待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，将风格转换后的第一图像区域作为第一类解码器的解码结果；将特征向量输入第二类解码器进行解码，得到风格转换后的第二图像区域，将风格转换后的第二图像区域作为第二类解码器的解码结果。
[0009]进一步地，第一类解码器包括K层解码层，其中，K≥2，将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，包括：将融合特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果；按照将上一层解码层的输出结果和待处理图像、目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K
‑
1层解码层的输出结果和目标集合中的一个子集输入第K层解码器进行解码，得到风格转换后的第一图像区域。
[0010]进一步地，将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，包括：将与第一层解码层对应的编码层输出的特征和特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果，其中，与第一层解码层对应的编码层与第一层解码层的特征尺寸相同；按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K
‑
1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到风格转换后的第一图像区域。
[0011]进一步地，图像风格迁移模型采用以下方式训练得到：获取多个样本图像对，其中，每个样本图像对包括：样本图像和样本图像对应的风格转换后的样本图像，样本图像划分的区域和风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型。
[0012]进一步地，样本图像中包括第一样本图像区域和第二样本图像区域，其中，第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于预设相似度，将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型包括：将样本图像输入神经网络中的编码器，通过编码器对样本图像进行特征编码，得到样本图像的特征向量；将样本图像的特征向量以及样本数据集合输入第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，样本数据集合包括以下至少之一：样本图像、样本集合中的一个子集，样本集合为针对样本图像编码器每一层编码层输出的特征集合；将样本图像的特征向量输入第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；根据风格转换后的第一样本图像区域和风格转换后的第二样本图像区域，得到风格转换后的图像；基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网
络中的参数进行调整，以生成图像风格迁移模型。
[0013]进一步地，基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型，包括：通过第一损失函数对风格转换后的图像和风格转换后的样本图像进行一致性约束，得到全图监督信息；通过第二损失函数对风格转换后的第一样本图像区域和风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；通过第三损失函数对风格转换后的第二样本图像区域和风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；将所述待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到所述待处理图像的特征向量，其中，所述待处理图像包括：第一图像区域和第二图像区域，所述第二图像区域为除所述第一图像区域之外的其它区域；将所述特征向量分别输入所述图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，所述第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、所述待处理图像，其中，所述目标集合为所述编码器每一层编码层输出的特征集合，所述第一类解码器用于对所述第一图像区域进行特征解码，所述第二类解码器用于对所述第二图像区域进行特征解码，所述多个解码结果中包括所述第一类解码器的解码结果和所述第二类解码器的解码结果；基于所述多个解码结果，得到风格转换后的图像。2.根据权利要求1所述的图像处理方法，其特征在于，将所述特征向量分别输入所述图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果包括：将所述特征向量、所述待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，将所述风格转换后的第一图像区域作为所述第一类解码器的解码结果；将所述特征向量输入所述第二类解码器进行解码，得到所述风格转换后的第二图像区域，将所述风格转换后的第二图像区域作为所述第二类解码器的解码结果。3.根据权利要求2所述的图像处理方法，其特征在于，所述第一类解码器包括K层解码层，其中，K≥2，将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，包括：将所述融合特征向量输入所述第一类解码器的第一层解码层，得到第一层解码层的输出结果；按照将上一层解码层的输出结果和所述待处理图像、所述目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K
‑
1层解码层的输出结果和所述目标集合中的一个子集输入第K层解码器进行解码，得到所述风格转换后的第一图像区域。4.根据权利要求3所述的图像处理方法，其特征在于，将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，包括：将与第一层解码层对应的编码层输出的特征和所述特征向量输入所述第一类解码器的第一层解码层，得到所述第一层解码层的输出结果，其中，与第一层解码层对应的编码层与所述第一层解码层的特征尺寸相同；按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K
‑
1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到所述风格转换后的第一图像区域。5.根据权利要求1所述的图像处理方法，其特征在于，所述图像风格迁移模型采用以下
方式训练得到：获取多个样本图像对，其中，每个样本图像对包括：样本图像和所述样本图像对应的风格转换后的样...

【专利技术属性】
技术研发人员：方慕园，张雷，万鹏飞，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：