图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于图像处理方法、装置、电子设备及存储介质,涉及计算机视觉技术领域，该图像处理方法包括：获取生成图像，生成图像是对原始图像执行图像翻译任务后得到的图像；确定生成图像中的待修复区域，以及原始图像中的目标区域；将随机隐变量输入到生成对抗网络中得到中间图像；确定中间图像中第一区域与目标区域之间的差异为第一差异；确定中间图像中第二区域与非待修复区域之间的差异为第二差异；根据第一差异和第二差异，迭代更新随机隐变量，得到目标隐变量；将目标隐变量输入生成式对抗网络，得到目标图像，以解决现有技术中图像翻译中带来的耦合问题，实现局部编辑的功能。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本公开涉及计算机视觉
，尤其涉及图像处理方法、装置、电子设备及存储介质。
技术介绍
图像翻译是生成式对抗网络(Generativeadversarialnetwork，GAN)在学术界和工业界应用的领域之一。图像翻译是指在不改变图像内容的前提下，将一种类型的图像转换为另一种类型的图像。例如：人脸图像与动漫图像之间的转换、人脸图像中人脸年龄的变化、人脸风格化等。在图像翻译的应用场景中，由于受到训练数据分布的影响，GAN容易发生属性耦合现象，这样会降低图像翻译的生成图像的真实性。比如，在将没有笑脸的人脸图像转换到有笑脸的人脸图像的过程中，容易引发鼻子变大的问题。为了解决上述问题，现有技术提供了对图像翻译的生成图像进行液化操作(即识别人脸关键点，并根据识别出的关键点拉伸生成图像中的待修复区域)或者融合处理(即将原始图像中与待修复区域对应的区域和生成图像中的非待修复区域融合，以调整生成图像中待修复区域表征的内容)的技术方案。但是，上述技术方案对待修复区域的识别准确性要求较高。一旦出现待修复区域的识别不够准确的情况，融合后的生成图像的真实性依旧较差。
技术实现思路
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中对待调整区域的准确性要求高的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取生成图像，生成图像是对原始图像执行图像翻译任务后得到的图像；确定生成图像中的待修复区域，以及原始图像中的目标区域；目标区域在原始图像中的位置与待修复区域在生成图像中的位置对应；将随机隐变量输入到生成式对抗网络中得到中间图像；确定中间图像中第一区域与目标区域之间的差异为第一差异；第一区域在中间图像中的位置与目标区域在原始图像中的位置对应；确定中间图像中第二区域与非待修复区域之间的差异为第二差异；第二区域在中间图像中的位置与非待修复区域在生成图像中的位置对应；非待修复区域是生成图像中待修复区域以外的区域；根据第一差异和第二差异，迭代更新随机隐变量，得到目标隐变量；将目标隐变量输入生成式对抗网络，得到目标图像。在一种可能的实现方式中，迭代更新随机隐变量，得到目标隐变量，包括：将更新的随机隐变量输入到生成式对抗网络中得到更新的中间图像；确定更新的第一差异和更新的第二差异；根据更新的第一差异和更新的第二差异更新随机隐变量；迭代执行上述步骤直到确定更新的随机隐变量收敛，并将已收敛的随机隐变量作为目标隐变量。在另一种可能的实现方式中，确定更新的随机隐变量收敛，包括：在本轮迭代得到的随机隐变量和上轮迭代得到的随机隐变量之间的差值小于预设阈值的情况下，确定更新的随机隐变量收敛。在另一种可能的实现方式中，根据第一差异和第二差异，迭代更新随机隐变量，包括：根据第一差异确定第一损失值；根据第二差异确定第二损失值；根据第一损失值和第二损失值，更新随机隐变量。在另一种可能的实现方式中，根据第一损失值和第二损失值，更新随机隐变量，包括：确定第三损失值；第三损失值为第一损失值和第二损失值之和；基于第三损失值，通过反向传播算法更新随机隐变量。根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取模块，被配置为执行获取生成图像，生成图像是对原始图像执行图像翻译任务后得到的图像；确定模块，被配置为执行确定生成图像中的待修复区域，以及原始图像中的目标区域；目标区域在原始图像中的位置与待修复区域在生成图像中的位置对应；隐变量模块，被配置为执行将随机隐变量输入到生成式对抗网络中得到中间图像；确定模块，还被配置为执行确定中间图像中第一区域与目标区域之间的差异为第一差异；第一区域在中间图像中的位置与目标区域在原始图像中的位置对应；确定模块，还被配置为执行确定中间图像中第二区域与非待修复区域之间的差异为第二差异；第二区域在中间图像中的位置与非待修复区域在生成图像中的位置对应；非待修复区域是生成图像中待修复区域以外的区域；更新模块，被配置为执行根据第一差异和第二差异，迭代更新随机隐变量，得到目标隐变量；生成模块，被配置为执行将目标隐变量输入生成式对抗网络，得到目标图像。在一种可能的实现方式中，更新模块具体被配置为执行：将更新的随机隐变量输入到生成式对抗网络中得到更新的中间图像；确定更新的第一差异和更新的第二差异；根据更新的第一差异和更新的第二差异更新随机隐变量；迭代执行上述步骤直到确定更新的随机隐变量收敛，并将已收敛的随机隐变量作为目标隐变量。在另一种可能的实现方式中，更新模块具体被配置为执行：在本轮迭代得到的隐变量和上轮迭代得到的隐变量之间的差值小于预设阈值的情况下，确定更新的随机隐变量收敛。在另一种可能的实现方式中，更新模块具体被配置为执行：根据第一差异确定第一损失值；根据第二差异确定第二损失值；根据第一损失值和第二损失值，更新随机隐变量。在另一种可能的实现方式中，更新模块具体被配置为执行：确定第三损失值；第三损失值为第一损失值和第二损失值之和；基于第三损失值，通过反向传播算法更新随机隐变量。根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现本公开实施例的第一方面中任一图像处理方法。根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例的第一方面中任一图像处理方法。根据本公开实施例的第五方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行本公开实施例的第一方面中任一图像处理方法。本公开实施例所提供的上述技术方案中，通过生成图像中的待修复区域、原始图像中的目标区域和生成式对抗网络对随机隐变量进行迭代更新，从而得到能够表征目标区域的特征和非待修复区域的特征的目标隐变量，进而通过目标隐变量和生成式对抗网络得到目标图像，实现了在生成图像的待修复区域识别不准确的情况下，依然能够得到真实性高的目标图像。进一步地，由于通过目标隐变量和生成式对抗网络生成目标图像，从而不必对生成图像的待修复区域进行拉伸处理，避免了拉伸明显导致的非待修复区域发生变形。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。图1是现有技术中液化操作前的图像和液化操作后图像；图2是现有技术中液化操作后的非待修复区域变形的图像；图3是现有技术中液化操作前后的对比图像；图4是现有技术中融合处理后的图像；图5是根据一示例性实施例示出的一种图像处理方法的流程图；图6是根据一示例性实施例示出的原始图像和生成图像；图7是根据一示例性实施本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取生成图像，所述生成图像是对原始图像执行图像翻译任务后得到的图像；/n确定所述生成图像中的待修复区域，以及所述原始图像中的目标区域；所述目标区域在所述原始图像中的位置与所述待修复区域在所述生成图像中的位置对应；/n将随机隐变量输入到生成式对抗网络中得到中间图像；/n确定所述中间图像中第一区域与所述目标区域之间的差异为第一差异；所述第一区域在所述中间图像中的位置与所述目标区域在所述原始图像中的位置对应；/n确定所述中间图像中第二区域与非待修复区域之间的差异为第二差异；所述第二区域在所述中间图像中的位置与所述非待修复区域在所述生成图像中的位置对应；所述非待修复区域是所述生成图像中待修复区域以外的区域；/n根据所述第一差异和所述第二差异，迭代更新所述随机隐变量，得到目标隐变量；/n将所述目标隐变量输入所述生成式对抗网络，得到目标图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取生成图像，所述生成图像是对原始图像执行图像翻译任务后得到的图像；
确定所述生成图像中的待修复区域，以及所述原始图像中的目标区域；所述目标区域在所述原始图像中的位置与所述待修复区域在所述生成图像中的位置对应；
将随机隐变量输入到生成式对抗网络中得到中间图像；
确定所述中间图像中第一区域与所述目标区域之间的差异为第一差异；所述第一区域在所述中间图像中的位置与所述目标区域在所述原始图像中的位置对应；
确定所述中间图像中第二区域与非待修复区域之间的差异为第二差异；所述第二区域在所述中间图像中的位置与所述非待修复区域在所述生成图像中的位置对应；所述非待修复区域是所述生成图像中待修复区域以外的区域；
根据所述第一差异和所述第二差异，迭代更新所述随机隐变量，得到目标隐变量；
将所述目标隐变量输入所述生成式对抗网络，得到目标图像。


2.根据权利要求1所述的图像处理方法，其特征在于，所述迭代更新所述随机隐变量，得到目标隐变量，包括：
将更新的随机隐变量输入到所述生成式对抗网络中得到更新的所述中间图像；
确定更新的所述第一差异和更新的所述第二差异；
根据更新的所述第一差异和更新的所述第二差异更新所述随机隐变量；
迭代执行上述步骤直到确定更新的所述随机隐变量收敛，并将已收敛的所述随机隐变量作为所述目标隐变量。


3.根据权利要求2所述的图像处理方法，其特征在于，所述确定更新的所述随机隐变量收敛，包括：
在本轮迭代得到的随机隐变量和上轮迭代得到的随机隐变量之间的差值小于预设阈值的情况下，确定更新的所述随机隐变量收敛。


4.根据权利要求1-3中任一项所述的图像处理方法，其特征在于，所述根据所述第一差异和所述第二差异，迭代更新所述随机隐变量，包括：
根据所述第一差异确定第一损失值；
根据所述第二差异确定第二损失值；
根据所述第一损失值和所述第二损失值，更新所述随机隐变量。


5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述第一损失值和所述第二损失值，更新所述随机隐变量，包括：
确定第三损失值；所述第三损失值为所述第一损失值和所述第二损失值之和；
基于所述第三损失值，通过反向传播算法更...

【专利技术属性】
技术研发人员：郭益林，宋丛礼，万鹏飞，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11