身份迁移模型构建方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种身份迁移模型构建方法、装置、电子设备及可读存储介质。该方法包括：获得多个样本源图像及其各自对应的样本目标图像；对多个样本源图像分别进行特征提取，得到多个样本源图像各自的身份特征；将多个样本源图像各自的身份特征以及其各自对应的样本目标图像输入生成式对抗网络中的生成器，并对生成式对抗网络进行训练，直至生成器生成满足预设条件的合成图像时，结束训练；生成器的每一神经网络层的通道数为同一数值；将训练结束时的生成器确定为身份迁移模型。通过本发明专利技术实施例的方法，构建的身份迁移模型可在小型移动设备以实时速度运行，利用小型移动设备的计算资源即可实现身份迁移操作。备的计算资源即可实现身份迁移操作。备的计算资源即可实现身份迁移操作。

【技术实现步骤摘要】
身份迁移模型构建方法、装置、电子设备及可读存储介质


[0001]本专利技术实施例涉及图像处理
，特别是涉及一种图像处理的身份迁移模型构建方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在当前快节奏生活的影响下，短视频与直播内容的量越来越多，对于娱乐性的要求越来越高，例如对视频或图像进行身份迁移（如换脸、换发型、换装等）的需求也愈来愈多。现阶段的身份迁移模型均为大尺寸模型，需要大量存储、内存和计算资源的支持才能实现身份迁移算法，这就导致这些身份迁移算法只能在高性能的个人电脑或服务器上使用，无法满足在手机等小型移动设备上运行的需求。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种身份迁移模型构建方法、装置、电子设备及可读存储介质，以实现身份迁移模型可以在手机等小型移动设备以实时速度运行，利用手机等小型移动设备的计算资源即可实现身份迁移操作。具体技术方案如下：在本专利技术实施的第一方面，首先提供了一种身份迁移模型构建方法，所述方法包括：获得多个样本源图像及其各自对应的样本目标图像；对所述多个样本源图像分别进行特征提取，得到所述多个样本源图像各自的身份特征；将所述多个样本源图像各自的身份特征以及所述多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对所述生成式对抗网络进行训练，直至所述生成器生成满足预设条件的合成图像时，结束训练；其中，所述合成图像为所述生成器将所述样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，所述生成式对抗网络中生成器的每一神经网络层的通道数为同一数值；将训练结束时的生成器确定为身份迁移模型。
[0004]可选的，所述生成器包括迁移模块，所述迁移模块用于基于图像艺术风格迁移算法，对所述样本源图像的身份特征进行处理，实现将所述样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成所述合成图像。
[0005]可选的，在所述生成式对抗网络的训练过程中，通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新；其中，所述损失函数至少包括：对抗损失函数，身份保持损失函数以及属性保持损失函数；所述对抗损失函数用于利用所述判别器迫使所述合成图像更真实；所述身份保持损失函数用于迫使所述合成图像的身份特征与其所对应的样本源图像的身份特征接近；
所述属性保持损失函数用于迫使所述合成图像的属性特征与其所对应的样本目标图像的属性特征接近，所述属性特征为除所述身份特征外的图像特征。
[0006]可选的，当所述样本源图像与其所对应的样本目标图像为相同图像特征的两张图像时，所述损失函数还包括重建损失函数，所述重建损失函数用于迫使所述合成图像与所述样本目标图像一致。
[0007]可选的，所述生成器输出多种不同分辨率的合成图像，所述通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新，包括：通过所述损失函数分别对所述多种不同分辨率的合成图像计算所述不同分辨率的合成图像各自对应的损失函数值，再根据所述不同分辨率的合成图像各自对应的损失函数值确定总损失函数值，根据所述总损失函数值对所述生成式对抗网络的模型参数进行更新。
[0008]可选的，所述生成器包括编码器和解码器，所述编码器的输入为所述样本源图像的身份特征以及所述样本源图像所对应的样本目标图像，所述编码器的输出为第一指定分辨率的身份迁移特征以及所述样本目标图像的多种不同分辨率的属性特征；所述解码器的输入为所述编码器的输出，所述解码器的输出为多种不同分辨率的合成图像。
[0009]可选的，所述编码器包括编码器头部结构、身份编码分支以及属性编码分支；所述编码器头部结构的输入为所述样本源图像所对应的样本目标图像，所述编码器头部结构的输出为所述样本目标图像的身份特征和所述样本目标图像的属性特征；所述身份编码分支的输入为所述样本源图像的身份特征和所述编码器头部结构输出的所述样本目标图像的身份特征，所述身份编码分支的输出是所述第一指定分辨率的身份迁移特征；所述属性编码分支的输入为所述编码器头部结构输出的所述样本目标图像的属性特征，所述属性编码分支的输出是所述样本目标图像的多种不同分辨率的属性特征。
[0010]可选的，所述身份编码分支包括多个身份编码器组成结构，每相邻两个身份编码器组成结构之间布设有采样结构；每个身份编码器组成结构包括：AdaIN模块，每个身份编码器组成结构的输入端与输出端之间具有直连分支；所述身份编码分支根据所述样本目标图像的身份特征的分辨率，通过多个身份编码器组成结构逐步进行身份迁移，并通过所述采样结构将身份迁移特征逐步下采样至第二指定分辨率，再逐步上采样至所述第一指定分辨率，以输出所述第一指定分辨率的身份迁移特征；所述属性编码分支包括多组属性编码器组成结构，每相邻两组属性编码器组成结构之间布设有下采样结构，每个属性编码器组成结构的输入端与输出端之间具有所述直连分支；每组属性编码器组成结构包括的多个属性编码器组成结构的输入为相同分辨率的属性特征，每组属性编码器组成结构输入的属性特征的分辨率，与其包括的属性编码器组成结构的数量呈反比关系；所述属性编码分支根据所述样本目标图像的属性特征的分辨率，通过多组属性编码器组成结构逐步进行属性特征融合，并通过所述下采样结构将属性特征逐步下采样至所
述第一指定分辨率，以输出所述样本目标图像的多种不同分辨率的属性特征。
[0011]可选的，所述解码器包括多组解码器组成结构，每相邻两组解码器组成结构之间布设有上采样结构，每个解码器组成结构包括：注意力机制模块，且每个解码器组成结构的输入端与输出端之间具有所述直连分支；每组解码器组成结构包括的多个解码器组成结构的输入包括相同分辨率的属性特征，每组解码器组成结构输入的属性特征的分辨率，与其包括的解码器组成结构的数量呈反比关系；每组解码器组成结构的输出经特征处理模块的处理，输出一种分辨率的合成图像。
[0012]可选的，所述身份编码器组成结构根据所述样本源图像的身份特征和所述样本目标图像的身份特征，通过所述AdaIN模块进行身份迁移，并通过所述直连分支进行残差连接，以输出已进行部分身份迁移的中间身份迁移特征；多个身份编码器组成结构进行串联以得到第一指定分辨率的身份迁移特征。
[0013]可选的，所述解码器组成结构通过所述注意力机制模块对身份迁移特征、对所述身份迁移特征进行空间叠加后得到的第二身份迁移特征，以及样本目标图像的属性特征进行处理，并通过所述直连分支进行残差连接，以输出已进行一部分合成的中间合成图像特征；多个解码器组成结构进行串联以得到完全合成的合成图像特征。
[0014]可选的，所述方法还包括：获得待处理源图像及其对应的待处理目标图像；对所述待处理源图像进行特征提取，得到所述待处理源图像的身份特征；将所述待处理源图像的身份特征及所述待处理源图像对应的待处理目标图像输入至所述身份迁移模型；得到所述身份迁移模型输出的预置分辨率的合成结果图像。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种身份迁移模型构建方法，其特征在于，所述方法包括：获得多个样本源图像及其各自对应的样本目标图像；对所述多个样本源图像分别进行特征提取，得到所述多个样本源图像各自的身份特征；将所述多个样本源图像各自的身份特征以及所述多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对所述生成式对抗网络进行训练，直至所述生成器生成满足预设条件的合成图像时，结束训练；其中，所述合成图像为所述生成器将所述样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，所述生成式对抗网络中生成器的每一神经网络层的通道数为同一数值；将训练结束时的生成器确定为身份迁移模型。2.根据权利要求1所述的方法，其特征在于，所述生成器包括迁移模块，所述迁移模块用于基于图像艺术风格迁移算法，对所述样本源图像的身份特征进行处理，实现将所述样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成所述合成图像。3.根据权利要求1所述的方法，其特征在于，在所述生成式对抗网络的训练过程中，通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新；其中，所述损失函数至少包括：对抗损失函数，身份保持损失函数以及属性保持损失函数；所述对抗损失函数用于利用所述判别器迫使所述合成图像更真实；所述身份保持损失函数用于迫使所述合成图像的身份特征与其所对应的样本源图像的身份特征接近；所述属性保持损失函数用于迫使所述合成图像的属性特征与其所对应的样本目标图像的属性特征接近，所述属性特征为除所述身份特征外的图像特征。4.根据权利要求3所述的方法，其特征在于，当所述样本源图像与其所对应的样本目标图像为相同图像特征的两张图像时，所述损失函数还包括重建损失函数，所述重建损失函数用于迫使所述合成图像与所述样本目标图像一致。5.根据权利要求3所述的方法，其特征在于，所述生成器输出多种不同分辨率的合成图像，所述通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新，包括：通过所述损失函数分别对所述多种不同分辨率的合成图像计算所述不同分辨率的合成图像各自对应的损失函数值，再根据所述不同分辨率的合成图像各自对应的损失函数值确定总损失函数值，根据所述总损失函数值对所述生成式对抗网络的模型参数进行更新。6.根据权利要求1所述的方法，其特征在于，所述生成器包括编码器和解码器，所述编码器的输入为所述样本源图像的身份特征以及所述样本源图像所对应的样本目标图像，所述编码器的输出为第一指定分辨率的身份迁移特征以及所述样本目标图像的多种不同分辨率的属性特征；所述解码器的输入为所述编码器的输出，所述解码器的输出为多种不同分辨率的合成图像。7.根据权利要求6所述的方法，其特征在于，所述编码器包括编码器头部结构、身份编码分支以及属性编码分支；
所述编码器头部结构的输入为所述样本源图像所对应的样本目标图像，所述编码器头部结构的输出为所述样本目标图像的身份特征和所述样本目标图像的属性特征；所述身份编码分支的输入为所述样本源图像的身份特征和所述编码器头部结构输出的所述样本目标图像的身份特征，所述身份编码分支的输出是所述第一指定分辨率的身份迁移特征；所述属性编码分支的输入为所述编码器头部结构输出的所述样本目标图像的属性特征，所述属性编码分支的输出是所述样本目标图像的多种不同分辨率的属性特征。8.根据权利要求7所述的方法，其特征在于，所述身份编码分支包括多个身份编码器组成结构，每相邻两个身份编码器组成结构之间布设有采样结构；每个身份编码器组成结构包括：AdaIN模块，每个身份编码器组成结构的输入端与输出端之间具有直连分支；所述身份编码分支根据所述样本目标图像...

【专利技术属性】
技术研发人员：余海铭，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：