图像处理方法、装置及设备制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置及设备，该方法包括：获取第一输入图像和第二输入图像；提取所述第一输入图像的内容特征；提取所述第二输入图像的属性特征；对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及基于所述目标图像特征生成输出图像。本发明专利技术引入特征转换网络，并对整个图像处理系统进行分阶段训练，使得图像处理系统训练高效快捷、适用性广、在保持内容信息的同时生成与期望属性更相似的输出图像。

Image processing methods, devices and equipment

【技术实现步骤摘要】
图像处理方法、装置及设备
本专利技术涉及图像处理技术，更具体地，涉及一种图像处理方法、装置及设备。
技术介绍
人脸图像合成在现实世界中有许多应用，例如人脸的超分辨率、正面化、人脸图像编辑等等，其广泛应用于图像视频的处理与生成等领域，具有非常重要的工业价值。随着深度学习技术的发展以及深度生成网络的出现，现有技术利用深度生成模型，例如生成对抗网络(GenerativeAdversarialNetwork，GAN)和变分自编码器(VariationalAuto-encoder，VAE)等等，在实现高真实度的人脸合成方面取得了巨大进展。现实应用场景中，在保持身份不变的条件下合成特定场景的人脸图像是具有较高挑战性的一个课题。然而，目前的人脸图像合成方法仅通过对身份人脸图像的身份特征和属性人脸图像的属性特征进行简单的组合拼接，在生成的人脸图像中无法充分地表达身份人脸图像的身份信息和属性人脸图像的属性信息，并且在训练过程中，所有网络参数都一同受到身份和属性的共同约束，在图像的编解码过程中可能会造成不真实的合成瑕疵。所以，需要一种训练高效快捷、适用性广、在保持人脸身份信息的同时生成与期望属性更相似的人脸图像的图像合成方法。
技术实现思路
本专利技术的实施例提供了一种图像处理方法，包括：获取第一输入图像和第二输入图像；提取所述第一输入图像的内容特征；提取所述第二输入图像的属性特征；对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及基于所述目标图像特征生成输出图像。根据本专利技术的实施例，其中，利用特征转换网络来对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到所述目标图像特征，其中，所述目标图像特征具有所述第一输入图像的内容特征和所述第二输入图像的属性特征。根据本专利技术的实施例，其中，利用内容编码器网络来提取所述第一输入图像的内容特征；利用属性编码器网络来提取所述第二输入图像的属性特征；以及利用解码器网络来基于所述目标图像特征生成输出图像。根据本专利技术的实施例，其中，所述内容编码器网络和所述属性编码器网络为卷积神经网络，所述解码器网络为反卷积神经网络，并且所述特征转换网络为多个全连接层构成的多层感知器。根据本专利技术的实施例，其中，基于图像重建损失函数来对待训练的内容编码器网络、待训练的属性编码器网络、待训练的特征转换网络和待训练的解码器网络进行预训练；以及基于联合损失函数来对所述待训练的特征转换网络进行联合训练。根据本专利技术的实施例，其中，所述联合损失函数包括图像重建损失函数、内容损失函数以及生成对抗损失函数中的至少两项。根据本专利技术的实施例，其中，所述图像重建损失函数为所述待训练的属性编码器网络的训练输入图像与所述待训练的解码器网络的训练输出图像之间的L2距离或L1距离。根据本专利技术的实施例，其中，所述内容损失函数为所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训练输出图像的内容特征之间的L2距离或L1距离或余弦相似度。根据本专利技术的实施例，其中，利用内容识别网络来提取所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训练输出图像的内容特征。根据本专利技术的实施例，其中，所述生成对抗损失函数为所述待训练的属性编码器的训练输入图像的属性特征和所述待训练的解码器的训练输出图像的属性特征之间的L2距离或L1距离。根据本专利技术的实施例，其中，利用判别网络来提取所述待训练的属性编码器的训练输入图像的属性特征和所述待训练的解码器的训练输出图像的属性特征。本专利技术的实施例提供了一种图像处理装置，包括：输入模块，用于获取第一输入图像和第二输入图像；内容提取模块，用于提取所述第一输入图像的内容特征；属性提取模块，用于提取所述第二输入图像的属性特征；特征转换模块，用于对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及输出模块，用于基于所述目标图像特征生成输出图像。根据本专利技术的实施例，其中，所述特征转换模块包括特征转换网络，其中，利用所述特征转换网络来对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到所述目标图像特征，其中，所述目标图像特征具有所述第一输入图像的内容特征和所述第二输入图像的属性特征。本专利技术的实施例提供了一种图像处理设备，包括：输入单元，用于获取输入图像；输出单元，用于输出输出图像；处理器；和存储器，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的任一方法。本专利技术的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的任一方法。本专利技术的实施例提供了一种图像处理方法、装置及设备，其引入特征转换网络，并对整个图像处理系统进行分阶段训练，使得图像处理系统训练高效快捷、适用性广、在保持内容信息的同时生成与期望属性更相似的输出图像。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本专利技术实施例的图像处理设备的应用场景的示意图。图2示出了根据本专利技术实施例的图像处理方法的流程图。图3示出了根据本专利技术实施例的图像处理系统的示意性结构图。图4示出了根据本专利技术实施例的图像处理系统的示例训练方法的流程图。图5示出了根据本专利技术实施例的图像处理装置的示意图。图6示出了根据本专利技术实施例的图像处理设备的示意图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。本专利技术的实施例涉及人工智能的机器学习等技术，以下介绍与本专利技术有关的概念。人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n获取第一输入图像和第二输入图像；/n提取所述第一输入图像的内容特征；/n提取所述第二输入图像的属性特征；/n对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及/n基于所述目标图像特征生成输出图像。/n

【技术特征摘要】
1.一种图像处理方法，包括：
获取第一输入图像和第二输入图像；
提取所述第一输入图像的内容特征；
提取所述第二输入图像的属性特征；
对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及
基于所述目标图像特征生成输出图像。


2.如权利要求1所述的方法，其中，
利用特征转换网络来对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到所述目标图像特征，其中，
所述目标图像特征具有所述第一输入图像的内容特征和所述第二输入图像的属性特征。


3.如权利要求2所述的方法，其中，
利用内容编码器网络来提取所述第一输入图像的内容特征；
利用属性编码器网络来提取所述第二输入图像的属性特征；以及
利用解码器网络来基于所述目标图像特征生成输出图像。


4.如权利要求3所述的方法，其中，
所述内容编码器网络和所述属性编码器网络为卷积神经网络，所述解码器网络为反卷积神经网络，并且所述特征转换网络为多个全连接层构成的多层感知器。


5.如权利要求3所述的方法，其中，
基于图像重建损失函数来对待训练的内容编码器网络、待训练的属性编码器网络、待训练的特征转换网络和待训练的解码器网络进行预训练；以及
基于联合损失函数来对所述待训练的特征转换网络进行联合训练。


6.如权利要求5所述的方法，其中，所述联合损失函数包括图像重建损失函数、内容损失函数以及生成对抗损失函数中的至少两项。


7.如权利要求5所述的方法，其中，所述图像重建损失函数为所述待训练的属性编码器网络的训练输入图像与所述待训练的解码器网络的训练输出图像之间的L2距离或L1距离。


8.如权利要求6所述的方法，其中，所述内容损失函数为所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训...

【专利技术属性】
技术研发人员：王浩，李志锋，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44