一种基于双解耦生成和半监督学习的活体检测方法及系统技术方案

本发明专利技术公开了一种基于双解耦生成和半监督学习的活体检测方法及系统，该方法步骤包括：数据预处理得到RGB颜色通道图原始样本，并配对相同身份得到真假图像对；真人编码器输出真人身份向量，假体编码器输出假体身份向量和假体模式向量，三者合并送入解码器得到重建真假图像对，构建双解耦生成损失函数，噪声送到训练好的解码器得到生成样本；对原始样本和生成样本构造有标签样本、无标签样本、增强后无标签样本，三者送入教师学习模块得到教师半监督损失、无标签样本的伪标签、增强后无标签损失，更新检测器和教师网络参数；利用验证集确定阈值；加载测试数据到检测器得到分类分数，根据阈值判决分类结果。本发明专利技术能够提高活体检测模型的鲁棒性。测模型的鲁棒性。测模型的鲁棒性。

【技术实现步骤摘要】
一种基于双解耦生成和半监督学习的活体检测方法及系统


[0001]本专利技术涉及人脸识别防欺骗检测
，具体涉及一种基于双解耦生成和半监督学习的活体检测方法及系统。

技术介绍

[0002]如今，在企业和行业的使用面部生物识别技术的场景急剧增加，例如，可以使用面部解锁技术来保护电子设备中的个人隐私，可以使用面部生物识别技术对付款进行身份验证。但是，将面部用作身份验证的生物特征是不安全的。面部生物识别系统可能容易受到欺骗攻击。人脸欺骗攻击方式一般来说可分为四类：1)照片攻击:攻击者利用打印或者显示屏的照片来欺骗认证系统；2)视频重放攻击:攻击者利用提前拍摄的被攻击者的视频欺骗认证系统；3)人脸面具攻击，攻击者戴着根据被攻击者精心制作的人脸面具欺骗系统；4)对抗样本攻击，攻击者通过GAN网络生成特定的样本噪声去干扰人脸认证系统产生错误的定向身份验证。这些人脸欺骗攻击不仅成本低廉而且能欺骗系统，严重影响和威胁着人脸识别系统的应用。
[0003]活体检测在防止人脸识别系统遭受假体攻击方面起着至关重要的作用，得益于深度学习网络强大的特征提取能力，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双解耦生成和半监督学习的活体检测方法，其特征在于，包括下述步骤：对输入图像抠取人脸区域图像，得到RGB颜色通道图；对待训练的RGB颜色通道图原始样本的每张真图像配对相同身份的一张假图像，构成真假图像对，并为假图像标注攻击类别标签；构建真人编码器、假体编码器、解码器；将真图像送入真人编码器得到真人身份向量，将配对的假图像送入假体编码器得到假体身份向量和假体模式向量，将真人身份向量、假体身份向量和假体模式向量合并送入解码器输出重建的真假图像对，构建双解耦生成损失函数进行优化；从标准正态分布采样噪声输入到训练好的解码器得到生成样本；裁剪原始样本和生成样本构成的训练集，构建有标签样本、无标签样本、增强后的无标签样本；构建检测器和教师网络；构建教师学习模块，将所述有标签样本、无标签样本和增强后的无标签样本送入教师学习模块，得到教师半监督损失、无标签数据的伪标签、教师增强无标签损失；构建检测器学习模块，将有标签样本、增强后的无标签样本、无标签样本的伪标签送入检测器学习模块更新检测器参数，得到检测器更新损失；利用教师半监督损失、教师增强无标签损失、检测器更新损失，更新教师网络参数；根据损失函数用优化器迭代更新检测器和教师网络的参数，完成训练后保存教师网络和检测器的参数；将验证集人脸RGB颜色通道图送入训练好的检测器，得到分类分数，根据不同的判决阈值得到预测的标签值，与真实标签比较，计算虚警率和漏检率，取两者相等时的阈值作为测试判决阈值；将测试集人脸RGB颜色通道图送入训练好的检测器，得到分类分数，根据测试判决阈值得到最终预测的标签值，计算基准指标。2.根据权利要求1所述的基于双解耦生成和半监督学习的活体检测方法，其特征在于，所述构建真人编码器、假体编码器、解码器，具体步骤包括：真人编码器和假体编码器各自的主干网采用相同的网络结构，设有卷积层、实例归一化层和LeakyReLU，以及五组由池化层、卷积层堆叠及跳级连接的残差块构成的单元；真人编码器经过全连接层输出隐藏层真人向量，假体编码器经过全连接层输出隐藏层假体向量；解码器主干网采用卷积层、上采样层、Sigmoid激活层、残差块搭建，真人编码器和假体编码器输出的隐藏层真人向量和隐藏层假体向量首先输入全连接层，经过六组由卷积层堆叠及跳级连接的残差块、上采样层构成的单元，最后经过卷积层输出图像对。3.根据权利要求1所述的基于双解耦生成和半监督学习的活体检测方法，其特征在于，所述将真图像送入真人编码器得到真人身份向量，将配对的假图像送入假体编码器得到假体身份向量和假体模式向量，具体步骤包括：真人解码器输出真人隐藏向量，包括真人身份向量均值和真人身份向量方差假体编码器输出假体隐藏向量，包括假体身份向量均值假体身份向量方差假
体模式向量均值假体模式向量方差从标准正态分布中采样真人身份变分量假体身份变分量和假体模式变分量进行重参数操作，分别得到真人身份向量假体身份向量和假体模式向量具体表示为：将真人身份向量假体身份向量和假体模式向量合并成隐藏向量，输入到解码器，输出重建真假图像对，包括重建真人图像和重建假体图像4.根据权利要求3所述的基于双解耦生成和半监督学习的活体检测方法，其特征在于，所述将真人身份向量、假体身份向量和假体模式向量合并送入解码器输出重建的真假图像对，构建双解耦生成损失函数进行优化，具体步骤包括：将假体模式向量送入全连接层fc(
·
，输出假体类别向量并与真实的假体类别标签y
s
计算交叉熵得到分类损失表示为：其中，k为假体类别数，Y
s
为经过独热编码的假体类别标签向量；在假体身份向量和假体模式向量加入角正交约束得到正交损失表示为：其中，<
·
,
·
>表示内积；对重建真人图像重建假体图像与对应的原图计算重建损失表示为：对真人身份向量假体身份向量计算最大平均差别损失表示为：对重建真人图像和重建假体图像计算配对损失表示为：通过计算KL散度进行约束，如下式所示：
其中，n为隐藏向量的维数；将各损失加权求和得到双解耦生成器损失函数表示为：其中，λ1、λ2、λ3、λ4表示对应的权重值；采用Adam优化器，以最小化双解耦生成器损失函数为目标优化真人编码器、假体编码器及解码器。5.根据权利要求1所述的基于双解耦生成和半监督学习的活体检测方法，其特征在于，所述从标准正态分布采样噪声输入到训练好的解码器得到生成样本，具体步骤包括：设隐藏向量维数为n，从标准正态分布采样维数为n的随机噪声两次，分别得到重建假体身份隐藏向量和重建假体模式隐藏向量重建真人身份隐藏向量直接由重建假体身份隐藏向量复制，然后经过解码器生成真假图像对，作为生成样本。6.根据权利要求1所述的基于双解耦生成和半监督学习的活体检测方法，其特征在于，所述检测器和教师网络，所述教师网络和检测器具有相同的网络结构，设有卷积层、批归一化层、ReLU、三组由卷积层堆叠及跳级连接的残差块构成的单元、全局平均池化层和全连接层，全连接层输出分类向量。7.根据权利要求1所述的基于双解耦生成和半监督学习的活体检测方法，...

【专利技术属性】
技术研发人员：冯浩宇，胡永健，刘琲贝，余翔宇，葛治中，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：