图像处理方法、图像处理模型训练方法、装置及存储介质制造方法及图纸

本申请公开了图像处理方法、图像处理模型训练方法、装置及存储介质，涉及人工智能领域的计算机视觉、深度学习等领域。具体实现方案为：将所述待编辑图像在生成对抗网络的S空间进行编码，获取第一隐编码；其中，所述生成对抗网络为基于样式的生成对抗网络；将所述文本描述信息进行编码，获取文本图像的文本编码，并将所述文本编码在所述S空间上进行映射，获取第二隐编码；将所述第一隐编码和第二隐编码进行距离优化，获取满足距离要求的目标隐编码；基于所述目标隐编码生成所述目标图像。能够在编辑图像的某一部分时对其它无需编辑的部分产生的影响更小；并能够有效提升优化速度。并能够有效提升优化速度。并能够有效提升优化速度。

【技术实现步骤摘要】
图像处理方法、图像处理模型训练方法、装置及存储介质


[0001]本申请实施例涉及人工智能领域，进一步涉及计算机视觉、深度学习等领域，具体涉及一种图像处理方法、图像处理模型训练方法、装置及存储介质。

技术介绍

[0002]图像编辑处理技术应用广泛，传统的编辑方法需要对图像进行复杂的操作以达到目的。生成对抗网络(Generative Adversarial Network，GAN)是一种新的图像生成技术，主要包括生成器与判别器，生成器主要用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器。判别器则需要对接收的图片进行真假判别。随着时间的推移，生成器和判别器在不断地进行对抗，最终两个网络达到了一个动态均衡。
[0003]结合生成对抗网络的图像处理方法在图像编辑领域提供了一种便捷的图像编辑手段，解决了传统图像编辑单一模态下的复杂操作问题。但是，当前的结合生成对抗网络的图像处理方法仍需进一步改进，以提升使用效果。

技术实现思路

[0004]本申请提供了一种图像处理方法、图像处理模型训练方法、装置及存储介质，以提高图像编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：响应于图像编辑请求，根据所述图像编辑请求确定待编辑图像和目标图像特性的文本描述信息；将所述待编辑图像在生成对抗网络的S空间进行编码，获取第一隐编码；其中，所述生成对抗网络为基于样式的生成对抗网络；将所述文本描述信息进行编码，获取基于文本图像对比预训练CLIP的文本编码，并将所述文本编码在所述S空间上进行映射，获取第二隐编码；将所述第一隐编码和第二隐编码进行距离优化，获取满足距离要求的目标隐编码；基于所述目标隐编码生成所述目标图像。2.根据权利要求1所述的方法，其中，所述将所述待编辑图像在生成对抗网络的S空间进行编码，获取第一隐编码，包括：将待编辑图像输入至逆变换编码器，通过所述逆变换编码器在所述S空间中生成与所述待编辑图像对应的第一隐编码；其中，所述逆变换编码器是基于图像重建误差进行监督训练的，其中，所述图像重建误差为原始图像与对应的重建图像之间的误差，所述重建图像为所述生成对抗网络的生成器基于所述变换编码器输出的隐编码进行图像重建而得到的。3.根据权利要求1所述的方法，其中，所述将所述文本描述信息进行编码，获取文本图像对比预训练的文本编码，并将所述文本编码在所述S空间上进行映射，获取第二隐编码，包括：将文本描述信息输入至所述CLIP模型的文本编辑器，对所述文本描述信息进行编码，获取文本编码；将所述文本编码输入至隐编码映射器，将所述文本编码在所述S空间上进行映射，获取第二隐编码。4.根据权利要求1所述的方法，其中，所述将所述第一隐编码和第二隐编码进行距离优化，获取满足距离要求的目标隐编码，包括：将所述第一隐编码和第二隐编码输入至图像重建编辑器，对所述第一隐编码和第二隐编码进行距离优化，获取满足距离要求的目标隐编码。5.根据权利要求4所述的方法，其中，所述图像重建编辑器包括卷积网络，所述图像重建编辑器的目标函数表示如下：L＝(s
–
s＿{image})2+\lambda(s
–
s＿{text})2其中，s表示目标隐编码，s＿{image}表示第一隐编码，s＿{text})表示第二隐编码，\lambda表示距离权重的经验值。6.根据权利要求1所述的方法，其中，所述基于所述目标隐编码生成所述目标图像，包括：将所述目标隐编码输入至所述生成对抗网络的生成器，以生成所述目标图像。7.一种图像处理模型训练方法，其中，所述模型包括逆变换编码器、文本图像对比预训练CLIP模型、隐编码映射器、图像重建编辑器以及基于样式的生成对抗网络的生成器，所述方法，包括：通过原始图像在生成对抗网络的S空间训练逆变换编码器，得到训练好的逆变换编码
器；其中，所述生成对抗网络为基于样式的生成对抗网络；通过所述训练好的逆变换编码器将所述原始图像在所述S空间进行编码，获取第三隐编码；并利用所述CLIP模型的图像编辑器将所述原始图像转换为第四隐编码；基于所述第三隐编码和所述第四隐编码训练所述隐编码映射器，得到训练好的隐编码映射器；获取所述原始图像和目标图像特性的文本描述信息，并将所述文本描述信息通过所述CLIP模型的文本编辑器进行编码，获取文本编码，以及通过所述训练好的隐编码映射器将所述文本编码在所述S空间上进行映射，获取第五隐编码；基于所述第三隐编码和所述第五隐编码训练所述图像重建编辑器，获取训练好的图像重建编辑器。8.根据权利要求7所述的方法，其中，所述通过原始图像在生成对抗网络的S空间训练逆变换编码器，包括：通过所述原始图像训练所述逆变换编码器，所述逆变换编码器的目标函数的约束条件包括图像重建误差，其中，所述图像重建误差的获取方法包括：将通过所述逆变换编码器转换得到的第三隐编码输入所述基于样式的生成对抗网络的生成器，得到重建图像；获取所述第三隐编码对应的原始图像与所述重建图像之间的图像重建误差；基于所述图像重建误差，调整所述逆变换编码器的参数。9.根据权利要求8所述的方法，其中，所述通过原始图像在生成对抗网络的S空间训练逆变换编码器，还包括：将所述原始图像与所述重建图像均输入ID辨别器，以得到所述原始图像的第一向量和所述重建图像的第二向量；计算所述第一向量和所述第二向量之间的误差，作为ID误差；其中，所述基于所述图像重建误差，调整所述逆变换编码器的参数，包括：基于所述ID误差和所述图像重建误差，调整所述逆变换编码器的参数。10.根据权利要求7所述的方法，其中，所述基于所述第三隐编码和所述第四隐编码训练所述隐编码映射器，得到训练好的隐编码映射器，包括：通过所述第四隐编码对所述隐编码映射器进行训练，其中，所述隐编码映射器的目标函数的约束条件包括所述第三隐编码与所述隐编码映射器基于输入的所述第四隐编码输出的第六隐编码之间的余弦距离；基于所述余弦距离，调整所述隐编码映射器的参数。11.一种图像处理装置，包括：文本获取模块，用于响应于图像编辑请求，根据所述图像编辑请求确定待编辑图像和目标图像特性的文本描述信息；第一编码模块，用于将所述待编辑图像在生成对抗网络的S空间进行编码，获取第一隐编码；其中，所述生成对抗网络为基于样式的生成对抗...

【专利技术属性】
技术研发人员：郭汉奇，洪智滨，胡天舒，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：