一种人脸图像属性编辑方法、系统、电子设备及存储介质技术方案

本发明专利技术公开一种人脸图像属性编辑方法、系统、电子设备及存储介质，属于图像处理领域。首先分别高斯建模潜在代码各维度分布和在目标属性条件下的潜在代码各维度条件分布，然后计算各维度的KL散度，选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间，并在潜在代码修改子空间中随机生成多个潜在代码，再在这多个潜在代码中选择和目标属性向量最相似的潜在代码，输入StyleGAN生成器来完成人脸图像属性编辑。本发明专利技术将目标属性与人脸图像的其他属性的维度空间完全解耦，可精准的控制人脸图像属性编辑，在将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。更少的改变原人脸图像的其他属性特征。更少的改变原人脸图像的其他属性特征。

【技术实现步骤摘要】
一种人脸图像属性编辑方法、系统、电子设备及存储介质


[0001]本专利技术涉及图像处理领域，特别是涉及一种人脸图像属性编辑方法、系统、电子设备及存储介质。

技术介绍

[0002]人脸属性编辑是给定一张人脸图像以及待编辑的目标属性，然后将这张人脸图像变换为具有目标属性的新人脸图像，并尽量保证原人脸图像内的其他属性特征不变。人脸图像属性编辑是计算机视觉领域的一项重要技术，广泛用于内容生产、电影制作和娱乐视频中，例如变光头、变发型、变小孩、变明星脸等。
[0003]由于现代GAN(Generative Adversarial Networks，生成式对抗网络)可以生成各种逼真的合成图像，特别是像人脸这样的高度结构化图像。业内通常会预训练一种GAN来实现人脸图像的目标属性编辑。目前，由于StyleGAN潜在代码良好的属性解耦性，基于预训练StyleGAN编辑人脸图像属性非常流行，主要有以下三种方法：
[0004]第一种：训练过程：第一步先获取一个分类器，然后对人脸图像集进行分类，提取这些人脸图像的属性向量；第二步使用优化或者回归的方法提取这些人脸图像的潜在代码；第三步按属性对这些潜在代码分组，计算每个分组的潜在代码均值，得到一张属性到潜在代码映射表，同时计算全体潜在代码均值。推理过程：查找属性到潜在代码映射表，得到目标属性对应的潜在代码均值，减去全体潜在代码均值，加上人脸图像潜在代码，再输入StyleGAN生成器即可完成人脸图像属性编辑。
[0005]第二种：在图像生成器的内部，通过特定维度上特征的替换，将引入的目标人脸图像上的精细风格赋予在人脸图像上，这种方法能控制白皮肤、卷发等精细类型。
[0006]第三种：通过CLIP（Contrastive Language
–
Image Pre
‑
training，基于对比学习的语言
‑
图像预训练）对齐人脸图像和文本的属性，可以通过自然语言实现人脸属性编辑。
[0007]第一种和第二种方法不需要新的数据标注和昂贵的训练成本，但由于StyleGAN潜在代码并不是完全解耦，并不能精准的控制人脸图像属性编辑，也就是说将输入图像变换为具有目标属性的目标域人脸图像过程中，会多多少少改变人脸图像内原有的其他属性特征。第三种人脸属性编辑方法由于自然语言天生表达模糊性，不能精准控制复杂的人脸图像属性编辑。

技术实现思路

[0008]本专利技术的目的是提供一种人脸图像属性编辑方法、系统、电子设备及存储介质，可精准的控制人脸图像属性编辑，将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。
[0009]为实现上述目的，本专利技术提供了如下方案：
[0010]一种人脸图像属性编辑方法，包括：
[0011]建立潜在代码到属性向量的映射器；
[0012]高斯建模人脸图像集中人脸图像的潜在代码各维度分布和目标属性条件下人脸图像的潜在代码各维度条件分布；
[0013]分别计算潜在代码各维度分布与目标属性条件下的潜在代码同一维度条件分布之间的KL散度；
[0014]选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间；
[0015]在所述潜在代码修改子空间中随机生成多个潜在代码，并利用潜在代码到属性向量的映射器，获得随机生成的潜在代码对应的属性向量；
[0016]从随机生成的潜在代码对应的属性向量中选择与目标属性向量之间余弦距离最大的属性向量；
[0017]将选择的属性向量对应的潜在代码和待编辑人脸图像的潜在代码一起输入StyleGAN生成器，获得具有目标属性的人脸图像。
[0018]一种人脸图像属性编辑系统，包括：
[0019]映射器建立模块，用于建立潜在代码到属性向量的映射器；
[0020]高斯建模模块，用于高斯建模人脸图像集中人脸图像的潜在代码各维度分布和目标属性条件下人脸图像的潜在代码各维度条件分布；
[0021]KL散度计算模块，用于分别计算潜在代码各维度分布与目标属性条件下的潜在代码同一维度条件分布之间的KL散度；
[0022]维度选择模块，用于选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间；
[0023]随机生成模块，用于在所述潜在代码修改子空间中随机生成多个潜在代码，并利用潜在代码到属性向量的映射器，获得随机生成的潜在代码对应的属性向量；
[0024]属性向量选择模块，用于从随机生成的潜在代码对应的属性向量中选择与目标属性向量之间余弦距离最大的属性向量；
[0025]合成模块，用于将选择的属性向量对应的潜在代码和待编辑人脸图像的潜在代码一起输入StyleGAN生成器，获得具有目标属性的人脸图像。
[0026]一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的人脸图像属性编辑方法。
[0027]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的人脸图像属性编辑方法。
[0028]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0029]本专利技术公开一种人脸图像属性编辑方法、系统、电子设备及存储介质，利用StyleGAN潜在代码符合高斯分布和语义解耦特性，先分别高斯建模潜在代码各维度分布和在目标属性条件下的潜在代码各维度条件分布，然后计算各维度的KL散度，选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间，并在潜在代码修改子空间中随机生成多个潜在代码，再在这多个潜在代码中选择和目标属性向量最相似的潜在代码，输入StyleGAN生成器来完成人脸图像属性编辑。本专利技术将目标属性的维度空间与人脸图像的其他属性的维度空间完全解耦，可精准的控制人脸图像属性编辑，将输入图像变
换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术实施例提供的一种人脸图像属性编辑方法的流程图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]本专利技术利用StyleGAN潜在代码符合高斯分布和语义解耦特性，先分别高斯建模潜在代码各维度分布和在目标属性条件下的潜在代码各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像属性编辑方法，其特征在于，包括：建立潜在代码到属性向量的映射器；高斯建模人脸图像集中人脸图像的潜在代码各维度分布和目标属性条件下人脸图像的潜在代码各维度条件分布；分别计算潜在代码各维度分布与目标属性条件下的潜在代码同一维度条件分布之间的KL散度；选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间；在所述潜在代码修改子空间中随机生成多个潜在代码，并利用潜在代码到属性向量的映射器，获得随机生成的潜在代码对应的属性向量；从随机生成的潜在代码对应的属性向量中选择与目标属性向量之间余弦距离最大的属性向量；将选择的属性向量对应的潜在代码和待编辑人脸图像的潜在代码一起输入StyleGAN生成器，获得具有目标属性的人脸图像。2.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，所述建立潜在代码到属性向量的映射器，具体包括：利用分类器对人脸图像集中的各人脸图像进行分类，并提取每张人脸图像的属性向量；使用优化或者回归的方法提取每张人脸图像的潜在代码；基于每张人脸图像的潜在代码和属性向量对，训练获得潜在代码到属性向量的映射器。3.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，高斯建模人脸图像集中人脸图像的潜在代码各维度分布，具体包括：确定人脸图像集中每张人脸图像相应的StyleGAN生成器潜在代码；高斯建模所有潜在代码的各维度分布。4.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，高斯建模人脸图像集中目标属性条件下人脸图像的潜在代码各维度条件分布，具体包括：对人脸图像集中的人脸图像按属性分组，获得每个属性对应的人脸图像组；确定每个属性对应的人脸图像组的StyleGAN生成器潜在代码；根据每个属性对应的人脸图像组的StyleGAN生成器潜在代码，高斯建模每个属性对应的各维度潜在代码分布，并从中获取目标属性对应的各维度潜在代码分布，作...

【专利技术属性】
技术研发人员：刘治宇，
申请(专利权)人：北京烽火万家科技有限公司，
类型：发明
国别省市：