一种基于协同对比损失的小样本异质人脸转换方法技术

本发明专利技术公开了一种基于协同对比损失的小样本异质人脸转换方法，涉及图像处理技术领域，包括以下步骤：获取图像、生成身份相同的第一图像组和第二图像组；提取得到源图像、第一图像组的特征空间相关图，并作为结构对比约束；对第一图像组和第二图像组进行编码，将得到的编码嵌入一个图像的特征、一个正样本图像的特征和N个负样本图像的特征后作为隐空间对比约束；利用结构对比约束和隐空间对比约束得到最终转换后的人脸图像。本发明专利技术解除异构人脸图像之间身份匹配的限制；保证异构人脸图像的多样性和身份一致性；具有良好的泛化性能。具有良好的泛化性能。具有良好的泛化性能。

【技术实现步骤摘要】
一种基于协同对比损失的小样本异质人脸转换方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于协同对比损失的小样本异质人脸转换方法。

技术介绍

[0002]从不同环境和光线中拍摄的异质人脸图像会使面部外观发生显著变化，并会引起同一人的脸产生大的变化性质。然而，基于可见域人脸图像训练的人脸识别模型很难识别来自低光区域的人脸，这给异构人脸识别(HFR)带来了很大的挑战。异质人脸转化的目的是合成相似的人脸图像，该图像保留源域输入图像的身份信息，并引入目标域参考图像的风格。虽然目前的方法需要在训练时访问源域和目标域中具有相同身份信息的图像且取得了很大的成功。但我们认为这极大地限制了异质人脸转化的应用。
[0003]鉴于GANS在图像合成方面的最新突破，Face
‑
to
‑
face translation已被广泛应用，包括跨模态表情生成、面部风格转化、年龄编辑等。上述方法的核心特征是在引用目标人脸的同时保留目标人脸中的所有特征。这正是异构人脸转化(HFT)弥合域差异所需要的。虽然这些方法可以生成照片真实感和身份保持(保留人脸中所有特征)的异质人脸图像，但是即使提出的DVG和DVGFace 可以用身份信息丰富身份多样性，它们都有一个共同的前提：训练集保存身份匹配的异质人脸图像，从图1的左半部分可以看出，不同姿势、表情和视图的脸都可以看出是同一人。在应用程序中，从不同的采集设置中判定为同一个人的要求是很难的。而且完全无法从几张不明确身份的人脸图像中概括出结果。当人类看到许多不同的物体时，很容易想象出一个新物体的不同的视觉角度。因此我们提出了一个少样本学习的face
‑
to
‑
face translation框架，目的在于学习HFT模型，这个模型通过利用少数外来身份的人脸图像，将源域中的人脸图像映射到具有相同身份特征的类似图像。该模型在训练过程中从未用过在目标域中有着相同身份的图像，但被要求在训练时合成它们，并在测试时进行概括，如图1右侧所示。然而，基于少样本的HFT有两个需要解决的问题：1)多样的异构人脸合成，2)合成图像的身份一致性。
[0004]因此，提出一种基于协同对比损失的小样本异质人脸转换方法，解决现有技术中存在的问题，是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于协同对比损失的小样本异质人脸转换方法，保证异构人脸图像的多样性和身份一致性。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于协同对比损失的小样本异质人脸转换方法，包括以下步骤：
[0008]获取图像、一个隐形因子、一个正样本和N个负样本，将获取的图像作为源图像；
[0009]将源图像、一个隐形因子、一个正样本和N个负样本输入至训练好的生成器中，输出身份相同的第一图像组和第二图像组；
[0010]利用感知特征提取模型分别提取源图像、第一图像组的感知特征，得到源图像、第一图像组的特征空间相关图，并作为结构对比约束；
[0011]利用编码器对第一图像组和第二图像组进行编码，将得到的编码嵌入一个图像的特征、一个正样本图像的特征和N个负样本图像的特征后作为隐空间对比约束；
[0012]利用结构对比约束和隐空间对比约束得到最终转换后的人脸图像。
[0013]可选的，生成器的训练过程为：输入源图像和隐形因子，输出训练后的图像，其中隐形因子服从正态分布。
[0014]可选的，生成器的总损失计算公式如下：
[0015][0016]其中，L
adv
(G,D)为对抗损失函数，L
Lacontra
(G)为潜在对比正则化函数， L
Stcontra
(G)为结构对比正则化函数；γ为超参数，G为生成器，D为判别器。
[0017]可选的，生成器的对抗损失计算公式如下：
[0018]L
adv
(G,D)＝E[log(D(y))]+E[log(1
‑
D(x,z))]ꢀꢀꢀꢀꢀꢀ
(2)
[0019]其中，x为来自源域的输入图像，y为来自目标域的参考图像，z为隐形因子。
[0020]可选的，生成器的合作对比损失包括潜在对比正则化损失和结构对比正则化损失。
[0021]可选的，潜在对比正则化损失计算公式如下：
[0022][0023]其中，τ为用于控制损失大小的尺度，e为图像的特征，e
+
为正样本图像的特征。
[0024]可选的，结构对比正则化损失计算公式如下：
[0025][0026]其中，为第i个点的结构化损失，N
st
为点的数量。
[0027]可选的，第i个点的结构化损失的计算公式如下：
[0028][0029]其中，为在和的余弦相似度，为x
i
的向量，为的向量，ζ为尺度因子。
[0030]可选的，获取的图像来自CASIA NIR
‑
VIS 2.0上和中大学生数据集。
[0031]经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种基于协同对比损失的小样本异质人脸转换方法：首次提出了一个称为CoConGAN的少样本的无监督异构人脸转化框架，以解除异构人脸图像之间身份匹配的限制(无需配对数据)；提出了一种协同对比的损失算法，可以共同保证异构人脸图像的多样性和身份一致性；在CASIA NIR
‑
VIS 2.0上和中大学生数据集进行的大量实验表面，CoConGAN取得了较好的结果，并证明我们的方法具有良好的泛化性能。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]图1为基于相同身份的异质人脸生成和小样本多样化异质人脸生成对比图；
[0034]图2为本专利技术提供的一种基于协同对比损失的小样本异质人脸转换方法流程图；
[0035]图3为本专利技术提供的一种用于异质人脸转换的框架CoConGAN；
[0036]图4为同一身份下成对异质人脸图像的自相似性比较示意图；
[0037]图5为CASIA NIR
‑
VIS 2.0和中大学生的高频音质视觉比较。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]参照图2所示，本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于协同对比损失的小样本异质人脸转换方法，其特征在于，包括以下步骤：获取图像、一个隐形因子、一个正样本和N个负样本，将获取的图像作为源图像；将源图像、一个隐形因子、一个正样本和N个负样本输入至训练好的生成器中，输出身份相同的第一图像组和第二图像组；利用感知特征提取模型分别提取源图像、第一图像组的感知特征，得到源图像、第一图像组的特征空间相关图，并作为结构对比约束；利用编码器对第一图像组和第二图像组进行编码，将得到的编码嵌入一个图像的特征、一个正样本图像的特征和N个负样本图像的特征后作为隐空间对比约束；利用结构对比约束和隐空间对比约束得到最终转换后的人脸图像。2.根据权利要求1所述的一种基于协同对比损失的小样本异质人脸转换方法，其特征在于，生成器的训练过程为：输入源图像和隐形因子，输出训练后的图像，其中隐形因子服从正态分布。3.根据权利要求2所述的一种基于协同对比损失的小样本异质人脸转换方法，其特征在于，生成器的总损失计算公式如下：其中，L
adv
(G,D)为对抗损失函数，L
Lacontra
(G)为潜在对比正则化函数，L
Stcontra
(G)为结构对比正则化函数；γ为超参数，G为生成器，D为判别器。4.根据权利要求3所述的一种基于协同对比损失的小样本异质人脸转换方法，其特征在于，生成器的对抗损失计算公式如下：L...

【专利技术属性】
技术研发人员：张迎辉，何珺，孙波，于乐军，
申请(专利权)人：北京师范大学珠海校区，
类型：发明
国别省市：