图像处理方法、装置及设备制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置及设备，该方法包括：获取第一输入图像和第二输入图像；提取所述第一输入图像的内容特征；提取所述第二输入图像的属性特征；对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及基于所述目标图像特征生成输出图像。本发明专利技术引入特征转换网络，并对整个图像处理系统进行分阶段训练，使得图像处理系统训练高效快捷、适用性广、在保持内容信息的同时生成与期望属性更相似的输出图像。

Image processing methods, devices and equipment

【技术实现步骤摘要】
图像处理方法、装置及设备
本专利技术涉及图像处理技术，更具体地，涉及一种图像处理方法、装置及设备。
技术介绍
人脸图像合成在现实世界中有许多应用，例如人脸的超分辨率、正面化、人脸图像编辑等等，其广泛应用于图像视频的处理与生成等领域，具有非常重要的工业价值。随着深度学习技术的发展以及深度生成网络的出现，现有技术利用深度生成模型，例如生成对抗网络(GenerativeAdversarialNetwork，GAN)和变分自编码器(VariationalAuto-encoder，VAE)等等，在实现高真实度的人脸合成方面取得了巨大进展。现实应用场景中，在保持身份不变的条件下合成特定场景的人脸图像是具有较高挑战性的一个课题。然而，目前的人脸图像合成方法仅通过对身份人脸图像的身份特征和属性人脸图像的属性特征进行简单的组合拼接，在生成的人脸图像中无法充分地表达身份人脸图像的身份信息和属性人脸图像的属性信息，并且在训练过程中，所有网络参数都一同受到身份和属性的共同约束，在图像的编解码过程中可能会造成不真实的合成瑕疵。所以，需要一种训练高效快捷、适用性广、在保持本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n获取第一输入图像和第二输入图像；/n提取所述第一输入图像的内容特征；/n提取所述第二输入图像的属性特征；/n对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及/n基于所述目标图像特征生成输出图像。/n

【技术特征摘要】
1.一种图像处理方法，包括：
获取第一输入图像和第二输入图像；
提取所述第一输入图像的内容特征；
提取所述第二输入图像的属性特征；
对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及
基于所述目标图像特征生成输出图像。


2.如权利要求1所述的方法，其中，
利用特征转换网络来对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到所述目标图像特征，其中，
所述目标图像特征具有所述第一输入图像的内容特征和所述第二输入图像的属性特征。


3.如权利要求2所述的方法，其中，
利用内容编码器网络来提取所述第一输入图像的内容特征；
利用属性编码器网络来提取所述第二输入图像的属性特征；以及
利用解码器网络来基于所述目标图像特征生成输出图像。


4.如权利要求3所述的方法，其中，
所述内容编码器网络和所述属性编码器网络为卷积神经网络，所述解码器网络为反卷积神经网络，并且所述特征转换网络为多个全连接层构成的多层感知器。


5.如权利要求3所述的方法，其中，
基于图像重建损失函数来对待训练的内容编码器网络、待训练的属性编码器网络、待训练的特征转换网络和待训练的解码器网络进行预训练；以及
基于联合损失函数来对所述待训练的特征转换网络进行联合训练。


6.如权利要求5所述的方法，其中，所述联合损失函数包括图像重建损失函数、内容损失函数以及生成对抗损失函数中的至少两项。


7.如权利要求5所述的方法，其中，所述图像重建损失函数为所述待训练的属性编码器网络的训练输入图像与所述待训练的解码器网络的训练输出图像之间的L2距离或L1距离。


8.如权利要求6所述的方法，其中，所述内容损失函数为所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训...

【专利技术属性】
技术研发人员：王浩，李志锋，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44