一种基于生成式域适应的人脸活体检测方法技术

本发明专利技术公开了一种基于生成式域适应的人脸活体检测方法，包括以下步骤：建立活体检测模型和生成器；将未标记目标域的图像进行域内频谱混合，生成多样化目标图像和原始目标图像；将多样化目标图像和原始目标图像均通过图像转换风格化为源样式图像，并采用域间神经统计一致性来引导生成器生成源样式图像；将源样式图像输入活体检测模型进行人脸活体检测，输出人脸活体检测的结果。本发明专利技术解决了现有的人脸活体检测方法存在未标记目标域的监督不足，以及大多数工作主要关注高级语义特征的对齐，而忽略了对人脸活体检测任务的低级特征的问题。题。题。

【技术实现步骤摘要】
一种基于生成式域适应的人脸活体检测方法


[0001]本专利技术涉及人脸活体检测
，特别是一种基于生成式域适应的人脸活体检测方法。

技术介绍

[0002]人脸活体检测(FAS)旨在检测来自真人或各种人脸呈现攻击的人脸图像。早期作品利用手工制作的功能来解决这个问题，例如SIFT、LBP和HOG。有几种方法利用来自不同域的信息，例如HSV和YCrCb颜色空间、时域和傅立叶谱。最近的方法利用CNN对具有二分类或额外监督的FAS建模，例如深度图、反射图和r
‑
ppg信号。其他方法采用解耦合和自定义算子来提高性能。尽管在数据集内训练中取得了良好的结果，但由于域移位较大，它们在目标域上的性能仍然显著下降。
[0003]为了提高跨域设置下的性能，在FAS任务中引入了域泛化(DG)。然而，DG
‑
FAS方法旨在将样本映射到公共特征空间，并且缺乏不可见域的特定信息，不可避免地导致不满意的结果。最近对UDA
‑
FAS的研究主要依靠伪标记、对抗学习或最小化域差异来缩小域移位。然而，它们仍然受到未标记目标域的监督不足的影响，这可能会导致对源模型的负迁移。此外，大多数工作主要关注高级语义特征的对齐，而忽略了对FAS任务至关重要的低级特征。

技术实现思路

[0004]针对上述缺陷，本专利技术提出了一种基于生成式域适应的人脸活体检测方法，其目的在于解决了现有的人脸活体检测方法存在未标记目标域的监督不足，以及大多数工作主要关注高级语义特征的对齐，而忽略了对人脸活体检测任务的低级特征的问题。
[0005]为达此目的，本专利技术采用以下技术方案：
[0006]一种基于生成式域适应的人脸活体检测方法，包括以下步骤：
[0007]步骤S1：建立活体检测模型和生成器；
[0008]步骤S2：将未标记目标域的图像进行域内频谱混合，生成多样化目标图像和原始目标图像；
[0009]步骤S3：将所述多样化目标图像和所述原始目标图像均通过图像转换风格化为源样式图像，并采用域间神经统计一致性来引导生成器生成源样式图像；
[0010]步骤S4：将源样式图像输入活体检测模型进行人脸活体检测，输出人脸活体检测的结果。
[0011]优选地，在步骤S2中，具体包括以下步骤：
[0012]步骤S21：计算目标图像x
t
∈D
t
的傅立叶变换F(x
t
)，具体公式如下：
[0013][0014]其中，F(x
t
)(u，v)为目标图像x
t
的二维离散傅立叶变换，u和v为频域中的频率变
量，H为图像的最大高度，W为图像的最大宽度，h为图像高度，w为图像宽度；
[0015]步骤S22：计算目标图像x
t
∈D
t
的傅立叶变换F(x
t
)的振幅和相位，具体公式如下：
[0016]A(x
t
)(u，v)＝[R2(x
t
)(u，v)+I2(x
t
)(u，v)]1/2
[0017][0018]其中，A(x
t
)(u，v)为振幅，P(x
t
)(u，v)为相位，R(x
t
)为F(x
t
)的实部，I(x
t
)为F(x
t
)的虚部；
[0019]步骤S23：计算来自相同未标记目标域D
t
的两个任意图像的振幅谱之间线性插值，具体公式如下：
[0020][0021]其中，为混合振幅插值，为图像的振幅插值，为图像的振幅插值，λ～U(0,η)，超参数η控制增强的强度；
[0022]步骤S24：将混合振幅谱与原始相位谱相结合，以重建新的傅立叶表示：
[0023][0024]其中，为插值图像的二维离散傅立叶变换，为插值图像的混合振幅，为插值图像的原始相位；
[0025]步骤S25：将通过傅立叶逆变换生成插值图像，具体公式如下：
[0026][0027]其中，为插值图像。
[0028]优选地，在步骤S3中，采用域间神经统计一致性来引导生成器生成源样式图像，具体包括以下步骤：计算域间差距L
stat
，即为域间神经统计一致性损失，具体公式如下：
[0029][0030]其中，l＝∈{1,2,
…
,L}表示源训练模型中的第l层，包括特征提取器、分类器和深度估计器，L表示源训练模型中的第L层，表示源样式数据的运行平均值，表示源样式数据的运行方差，表示源模型的存储平均值，表示源模型的存储方差。
[0031]优选地，在步骤S3中，采用特征级和图像级的双重语义一致性来约束内容，以确保图像转换过程中保留语义内容，具体包括以下步骤：
[0032]步骤S31：将生成的源样式图像和原始目标图像x
t
作为输入，对ImageNet上预训练的VGG16模块的潜在特征施加感知损失L
per
，感知损失L
per
的具体公式如下：
[0033][0034]其中，为源样式图像和原始目标图像x
t
之间的感知损失，C
j
为特征图第j层的通道数，H
j
为特征图第j层的高度，W
j
为特征图第j层的宽度，为源样式图像第j层的卷积，为原始目标图像x
t
第j层的卷积；
[0035]步骤S32:通过最小化语义一致性损耗L
ph
，以加强原始目标图像和源样式图像之间的相位一致性，L
ph
具体公式如下：
[0036][0037]其中，<,>是点积，||.||2是L2范数，为原始目标图像的原始相位和源样式图像的生成相位之间的负余弦距离，x
t
为原始目标图像，为源样式图像，F(x
t
)
j
为第j个原始目标图像x
t
的傅立叶变换，为第j个源样式图像的傅立叶变换。
[0038]优选地，还包括训练活体检测模型步骤，具体包括以下步骤：
[0039]步骤S51：通过分类器和深度估计器计算熵损失，得到分类器熵损失和深度估计器熵损失，具体公式如下：
[0040][0041][0042]其中，L
ent1
为分类器熵损失，L
ent2
为深度估计器熵损失，为源样式图像的标签概率分布，c为通道，h为图像的高度，w为图像的宽度，C为通道的总数量，H为图像的高度上限，W为图像的宽度上限，(h，w)为源样式图像的任一像素，为源样式图像上任一像素的深度估计；
[0043]步骤S52：将分类器熵损失和深度估计器熵损失相加，得到总熵损失，具体公式如下：
[0044]L
...

【技术保护点】

【技术特征摘要】
1.一种基于生成式域适应的人脸活体检测方法，其特征在于：包括以下步骤：步骤S1：建立活体检测模型和生成器；步骤S2：将未标记目标域的图像进行域内频谱混合，生成多样化目标图像和原始目标图像；步骤S3：将所述多样化目标图像和所述原始目标图像均通过图像转换风格化为源样式图像，并采用域间神经统计一致性来引导生成器生成源样式图像；步骤S4：将源样式图像输入活体检测模型进行人脸活体检测，输出人脸活体检测的结果。2.根据权利要求1所述的一种基于生成式域适应的人脸活体检测方法，其特征在于：在步骤S2中，具体包括以下步骤：步骤S21：计算目标图像x
t
∈D
t
的傅立叶变换F(x
t
)，具体公式如下：其中，F(x
t
)(u，v)为目标图像x
t
的二维离散傅立叶变换，u和v为频域中的频率变量，H为图像的最大高度，W为图像的最大宽度，h为图像高度，w为图像宽度；步骤S22：计算目标图像x
t
∈D
t
的傅立叶变换F(x
t
)的振幅和相位，具体公式如下：A(x
t
)(u，v)＝[R2(x
t
)(u，v)+I2(x
t
)(u，v)]
1/2
其中，A(x
t
)(u，v)为振幅，P(x
t
)(u，v)为相位，R(x
t
)为F(x
t
)的实部，I(x
t
)为F(x
t
)的虚部；步骤S23：计算来自相同未标记目标域D
t
的两个任意图像的振幅谱之间线性插值，具体公式如下：其中，为混合振幅插值，为图像的振幅插值，为图像的振幅插值，λ～U(0，η)，超参数η控制增强的强度；步骤S24：将混合振幅谱与原始相位谱相结合，以重建新的傅立叶表示：其中，为插值图像的二维离散傅立叶变换，为插值图像的混合振幅，为插值图像的原始相位；步骤S25：将通过傅立叶逆变换生成插值图像，具体公式如下：其中，为插值图像。
3.根据权利要求1所述的一种基于生成式域适应的人脸活体检测方法，其特征在于：在步骤S3中，采用域间神经统计一致性来引导生成器生成源样式图像，具体包括以下步骤：计算域间差距L
stat
，即为域间神经统计一致性损失，具体公式如下：其中，l＝∈{1，2，...，L}表示源训练模型中的第l层，包括特征提取器、分类器和深度估计器，L表示源训练模型中的第L层，表示源样式数据的运行平均值，表示源样式数据的运行方差，表示源模型的存储平均值，表示源模型的存储方差。4.根据权利要求3所述的一种基于生成式域适应的人脸活体检测方法，其特征在于：在步骤S3中，采用特征级和图像级的双重语义一致性来约束内容，以确保图像转换过程中保留语义内容，具体包括以下步骤：步骤S31：将生成的源样式图像和原始目标图像x
t

【专利技术属性】
技术研发人员：杨海东，付传辉，李泽辉，杨标，
申请(专利权)人：佛山市南海区广工大数控装备协同创新研究院，
类型：发明
国别省市：