图像编辑方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种图像编辑方法、装置、电子设备及存储介质，该方法包括：获取待编辑人脸图像和与待编辑人脸图像中的目标属性区域对应的掩码图，并获取参考图像；根据掩码图，将待编辑人脸图像处理为缺失目标属性区域的缺失图像；通过第一编码器对缺失图像进行图像编码，得到缺失图像对应的缺失特征；通过第二编码器对参考图像进行图像编码，得到参考图像对应的参考特征；根据所述掩码图，通过注意力模型对所述缺失特征和参考特征进行融合，得到融合特征；通过解码器对所述融合特征进行图像解码，得到所述待编辑人脸图像和参考图像对应的目标图像。本申请实施例提高了人脸属性编辑的多样性，避免了对目标属性区域外无关区域的影响。

【技术实现步骤摘要】
图像编辑方法、装置、电子设备及存储介质
本申请实施例涉及图像处理
，特别是涉及一种图像编辑方法、装置、电子设备及存储介质。
技术介绍
人脸编辑由于其在影视制作、照片处理和交互式娱乐等方面的潜在应用，在计算机视觉界引起了极大的关注。近年来随着生成对抗网络的发展，人脸编辑已取得了巨大进步。目前主流的人脸编辑方法大致分为三大类：基于标签条件的方法、基于几何指导的方法和基于参考引导的方法。基于标签条件的方法以预定义的属性标签为条件编辑人脸属性，该方法以二值属性标签为条件，只适用于编辑外观纹理变化的显著属性(例如发色、年老化和去除胡子等)，难以实现抽象形状变化(例如鹰钩鼻、丹凤眼等)，缺乏控制高级语义面部组件(例如眼睛、鼻子和嘴等)形状的灵活性。为了能灵活编辑人脸属性的形状，基于几何指导的方法提出利用精确的中间表示(例如关键点，分割图和轮廓草图等)实现具有明显拓扑形变的人脸属性编辑，然而，这种方式费时费力并且要求具有绘画技能。与基于几何指导的方法不同，基于参考引导的方法直接从参考图像中学习相应的人脸信息进行人脸编辑，不需要精确的辅助表示，避免了人脸编辑对精确的轮廓草图、颜色图和分割图的依赖。现有技术中，基于参考引导的方法有如下两种：ExGANs和ELEGANT。ExGANs是一种基于参考图像进行人脸补全的方法。ExGANs是条件生成对抗网络的一种扩展，它以具有目标补全内容的参考图像或感知编码作为条件。ExGANs的训练流程可以概括为：对输入图像标记眼睛，即去除眼睛区域；以具有目标补全内容的参考图像或感知编码为指导对图像进行补全；通过输入图像和补全图像之间的内容重构损失，计算生成器参数的梯度；通过补全图像、原始图和参考图像或感知代码计算判别器参数的梯度；通过生成器反向传播判别器的误差。ELEGANT是一种基于参考图像实现人脸属性编辑的方法。ELEGANT以具有相反属性的两张图片A和B作为输入，两张图片不要求相同身份。在潜在空间中以解耦的方式对图片的所有属性进行编码，即假设所有属性互不关联，可以分开表示。通过交换两张图片同一类型属性的潜在编码将属性从一幅图像转移到另一幅图像。两张图片的原始属性编码和交换后的属性编码两两结合，可以得到四种编码结果。为了缓解对目标属性无关区域的影响，以残差图的形式表示编辑的属性区域。最后，残差图与相应原始图相加得到四种生成结果：A图片的重建，交换属性后的A图片，B图片的重建，交换属性后的B图片。由于ExGANs要求参考图像必须是同一身份，而同一身份的人脸五官形状不会发生变化，因此该模型只能应用于睁眼-闭眼的人眼补全任务，无法扩展到其他人脸属性编辑。而ELEGANT局限于编辑外观纹理变化的属性，不能编辑抽象语义形状的属性，而且由于ELEGANT以解耦的方式编码所有属性，但是，属性标注集的属性彼此关联(例如：发色和年龄)，无法完全分开独立编码，因此，解耦的前提假设并不符合实际情况，导致对与目标属性无关的区域有显著影响。
技术实现思路
本申请实施例提供一种图像编辑方法、装置、电子设备及存储介质，有助于提高人脸属性编辑的多样性且避免对无关区域的影响。为了解决上述问题，第一方面，本申请实施例提供了一种图像编辑方法，包括：获取待编辑人脸图像和与待编辑人脸图像中的目标属性区域对应的掩码图，并获取参考图像；根据所述掩码图，将所述待编辑人脸图像处理为缺失所述目标属性区域的缺失图像；通过第一编码器对所述缺失图像进行图像编码，得到所述缺失图像对应的缺失特征；通过第二编码器对所述参考图像进行图像编码，得到所述参考图像对应的参考特征；根据所述掩码图，通过注意力模型对所述缺失特征和参考特征进行融合，得到融合特征；通过解码器对所述融合特征进行图像解码，得到所述待编辑人脸图像和参考图像对应的目标图像。第二方面，本申请实施例提供了一种图像编辑装置，包括：图像获取模块，用于获取待编辑人脸图像和与待编辑人脸图像中的目标属性区域对应的掩码图，并获取参考图像；图像缺失处理模块，用于根据所述掩码图，将所述待编辑人脸图像处理为缺失所述目标属性区域的缺失图像；第一编码模块，用于通过第一编码器对所述缺失图像进行图像编码，得到所述缺失图像对应的缺失特征；第二编码模块，用于通过第二编码器对所述参考图像进行图像编码，得到所述参考图像对应的参考特征；特征融合模块，用于根据所述掩码图，通过注意力模型对所述缺失特征和参考特征进行融合，得到融合特征；解码模块，用于通过解码器对所述融合特征进行图像解码，得到所述待编辑人脸图像和参考图像对应的目标图像。第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的图像编辑方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的图像编辑方法的步骤。本申请实施例提供的图像编辑方法、装置、电子设备及存储介质，通过根据待编辑人脸图像中的目标属性区域对应的掩码图，将待编辑人脸图像处理为缺失目标属性区域的缺失图像，通过第一编码器对缺失图像进行图像编码得到缺失图像对应的缺失特征，通过第二编码器对参考图像进行图像编码得到参考图像对应的参考特征，通过注意力模型将缺失特征和参考特征融合为融合特征，并通过解码器对融合特征进行图像解码，得到目标图像，由于只需要获取到待编辑人脸图像和目标属性区域对应的掩码图，即可将参考图像中的目标属性区域对应的特征迁移到待编辑人脸图像的目标属性区域中，从而可以迁移各个区域的特征，解决了现有技术中的ExGANs只能编辑眼睛区域的缺陷，而且参考图像可以是与待编辑人脸图像不同身份的图像，从而提高了人脸属性编辑的多样性，而且不需要将目标属性区域与其他区域进行解耦，避免了对目标属性区域外无关区域的影响。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例一的图像编辑方法的流程图；图2是本申请实施例中的通过注意力模型融合缺失特征和参考特征的计算结构图；图3是本申请实施例二的图像编辑装置的结构示意图；图4是本申请实施例三的电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例一本实施例提供的一种图像编辑方法，如图1所示，该方法包括：步骤11本文档来自技高网...

【技术保护点】
1.一种图像编辑方法，其特征在于，包括：/n获取待编辑人脸图像和与待编辑人脸图像中的目标属性区域对应的掩码图，并获取参考图像；/n根据所述掩码图，将所述待编辑人脸图像处理为缺失所述目标属性区域的缺失图像；/n通过第一编码器对所述缺失图像进行图像编码，得到所述缺失图像对应的缺失特征；/n通过第二编码器对所述参考图像进行图像编码，得到所述参考图像对应的参考特征；/n根据所述掩码图，通过注意力模型对所述缺失特征和参考特征进行融合，得到融合特征；/n通过解码器对所述融合特征进行图像解码，得到所述待编辑人脸图像和参考图像对应的目标图像。/n

【技术特征摘要】
1.一种图像编辑方法，其特征在于，包括：
获取待编辑人脸图像和与待编辑人脸图像中的目标属性区域对应的掩码图，并获取参考图像；
根据所述掩码图，将所述待编辑人脸图像处理为缺失所述目标属性区域的缺失图像；
通过第一编码器对所述缺失图像进行图像编码，得到所述缺失图像对应的缺失特征；
通过第二编码器对所述参考图像进行图像编码，得到所述参考图像对应的参考特征；
根据所述掩码图，通过注意力模型对所述缺失特征和参考特征进行融合，得到融合特征；
通过解码器对所述融合特征进行图像解码，得到所述待编辑人脸图像和参考图像对应的目标图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述掩码图，通过注意力模型对所述缺失特征和参考特征进行融合，得到融合特征，包括：
生成所述缺失特征对应的注意力图；
融合所述缺失特征和所述注意力图，得到所述缺失特征对应的自注意特征；
根据所述掩码图、注意力图和参考特征，生成所述参考特征对所述缺失特征的实例指导特征；
融合所述自注意特征和所述实例指导特征，得到所述缺失特征和参考特征的融合特征。


3.根据权利要求2所述的方法，其特征在于，所述根据所述掩码图、注意力图和参考特征，生成所述参考特征对所述缺失特征的实例指导特征，包括：
融合所述参考特征和所述注意力图，得到参考注意特征；
将所述掩码图和所述参考注意特征进行相乘运算，得到所述目标属性区域以外的区域对应的实例指导特征，将所述目标属性区域以外的区域对应的实例指导特征作为第一实例指导特征；
计算1矩阵与所述掩码图之差，得到所述掩码图的反掩码图，将所述反掩码图和所述参考特征进行相乘运算，得到所述目标属性区域对应的实例指导特征，将所述目标属性区域对应的实例指导特征作为第二实例指导特征；
将所述第一实例指导特征和所述第二实例指导特征进行相加运算，得到所述参考特征对所述缺失特征的实例指导特征。


4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：
在对所述第一编码器、第二编码器、注意力模型和解码器进行训练时，分别确定所述待编辑人脸图像与目标图像的感知损失函数的值和风格损失函数的值，并确定所述目标图像与所述参考图像的Contextual损失函数的值；
根据所述感知损失函数的值、风格损失函数的值和Contextual损失函数的值，对所述第一编码器、第二编码器、注意力模型和解码器的网络参数进行调整，以使得所述感知损失函数的值、风格损失函数的值和Contextual损失函数的值收敛。


5.根据权利要求4所述的方法，其特征在于，所述感知损失函数和风格损失函数分别表示如下：

【专利技术属性】
技术研发人员：李琦，柴振华，赖申其，孙哲南，邓琪瑶，
申请(专利权)人：北京三快在线科技有限公司，中国科学院自动化研究所，
类型：发明
国别省市：北京;11