基于迁移学习的人脸活体检测方法技术

本发明专利技术涉及一种基于迁移学习的人脸活体检测方法，属于图像处理与计算机视觉技术领域；所述方法包括将视频数据切分为图像序列，检测图像序列中的人脸，将数据分为训练集和测试集；使用源域的训练集训练3D卷积神经网络，得到区分真假脸的标签分类器；在卷积层后添加梯度反转层，提取源域和目标域的公共特征；把源域和目标域的数据通过梯度反转层进行对抗训练，得到区分源域和目标域数据的域分类器；把目标域的测试集送入到训练好的标签神经网络中，选取网络分类的最大概率为最后的检测结果。本发明专利技术把对抗性迁移学习的思想运用到活体检测，提高了活体检测的泛化能力；通过3D卷积神经网络，不仅能利用视频的空间信息也能利用时间信息，还能提高活体检测的精度。

Face biopsy detection method based on Transfer Learning

The present invention relates to a face biopsy detection method based on migration learning, which belongs to the field of image processing and computer vision technology. The method includes dividing video data into image sequences, detecting faces in image sequences, dividing data into training sets and test sets, training 3D convolution neural networks using training sets in source domain, and obtaining a label classifier for distinguishing true and false faces. After the convolution layer, a gradient inversion layer is added to extract the common features of the source and target domains; the data of the source and target domains are trained through the gradient inversion layer to obtain the domain classifier that distinguishes the source and target domains; the test set of the target domain is sent to the trained label neural network, and the maximum probability of network classification is selected as the final detection result. The invention applies the idea of antagonistic transfer learning to the biopsy detection and improves the generalization ability of the biopsy detection. Through the 3D convolution neural network, not only the spatial information of video but also the time information can be utilized, but also the accuracy of the biopsy detection can be improved.

【技术实现步骤摘要】
基于迁移学习的人脸活体检测方法
本专利技术属于图像处理与计算机视觉
，涉及一种基于迁移学习的人脸活体检测方法。
技术介绍
目前，生物识别技术为认证程序提供了便捷的解决方案。人脸生物特征识别技术，由于检测速度快、用户体验好、非接触式等突出的优点，现在已经被广泛地应用于日常生活中的方方面面。现存的人脸生物识别技术存在很大的弊端，非常容易被攻击。常见的人脸攻击方式包括照片攻击和视频攻击。照片攻击具备真人脸部特征，而视频攻击更带有合法用户的动态特征，更具欺骗性，严重地影响了人脸识别系统判别的准确性。目前活体检测的方法主要有三种：基于纹理信息的活体检测、基于运动信息的人脸活体检测和基于深度学习的人脸活体检测方法。第一种基于纹理信息的活体检测：在同一设备采集伪造人脸和用该设备采集的真人脸相比存在细节丢失或差异，而这些细节上的差异就引起了图像微纹理上的差异，根据纹理上的差异判断真假脸。这类方法在特定的光照环境下，表现较好，但是泛化能力弱。第二种基于运动信息的人脸活体检测：这类方法旨在通过检测人脸的生理反应来判定采集的对象是否为真实人脸。真实人脸和虚假人脸相比，有更多的自主性，所以这类方法通过要求用户进行指定的动作来判定是否为合法用户。基于运动信息的人脸活体检测方法容易受到光照等自然环境的影响，且通常需要处理序列图像，资源消耗大，并且要求用户进行特定的动作，对用户的要求过高，用户体验不佳。第三种是基于深度学习的人脸活体检测方法：这类方法旨在充分的提取照片中关于人脸的信息，这种方法在单个数据集上准确度很高，但是泛化能力很差。这是因为在用深度网络学习人脸特征时，过于考虑照片中其他干扰信息，造成网络过拟合。上述三种主要的解决活体检测的方法存在的弊端是泛化能力太差，在一个数据集上训练的模型不能应用到其他相关的数据集上。本专利技术把对抗的思想用在活体检测上，通过对抗训练提取源域和目标域的公共特征，避免了网络在单个数据集上过拟合，从而提高模型的泛化能力。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于迁移学习的人脸活体检测方法，用3D卷积神经网络可以提取数据的空间和时间信息可以更好的描述图像的特征，采用对抗的思想进行训练神经网络可以更好的调整学习得到的网络参数；结合3D卷积神经网络和对抗学习不仅可以提高人脸活体检测的准确度还可以提高模型的泛化能力，使学到的网络模型能更好的应用到实践中。为达到上述目的，本专利技术提供如下技术方案：基于迁移学习的人脸活体检测方法，包括以下步骤：S1：将视频数据切分为图像序列，检测图像序列中的人脸，把图像中的人脸部分进行处理；将处理后的数据分为源域和目标域；S2：在3D卷积神经网络的卷积层后增加两层全连接层和Softmax层，形成标签神经网络，将源域数据送入该标签神经网络中，从而训练出标签分类器；S3：在该标签神经网络的卷积层后添加梯度反转层，形成梯度反转神经网络，将源域和目标域的数据送入该梯度反转神经网络中，从而训练出域分类器；S4、根据该域分类器提取出源域和目标域的公共特征，再次训练标签分类器；S5、将目标域的测试集数据送入步骤S4中训练好的标签分类器，确定出该图像的标签，即判断该图像为真实人脸或是虚假人脸；其中，源域带有真假人脸标签，目标域未带标签。进一步的，步骤S1数据预处理，具体包括：首先把视频数据切分为图像序列，然后检测每一帧中的人脸，最后把人脸部分剪切成相同的大小，并将数据分为训练集和测试集。其中源域带有真假人脸标签，目标域未带标签。进一步的，步骤S2的3D卷积神经网络具体包括：3D卷积神经网络的优点在于不仅考虑了视频中的空间信息，也运用了视频中人脸的连续时间信息。首先搭建3D卷积神经网络，第l层的卷积核为Wl×Hl×Tl，Tl是连续帧值，Wl×Hl是卷积核的空间大小；3D卷积操作的计算公式为：其中，表示第l个卷积层中的第d2个特征在点(i,j,k)的输出值；表示第l个卷积层中的第d2个特征在点(i,j,k)的输入值，是3D卷积神经网络中第l层中的第d1特征到d2特征在点(m,n,p)的权重，是第d2个特征在第l个卷积层的偏置，σ(·)是非线性激活函数。搭建好3D卷积网络后，使用源域的训练集训练3D卷积神经网络，得到一个可以区分真假脸的标签二分类器；进一步的，所述标签分类器是通过如下方式训练的：将3D卷积神经网络后增加两层全连接层和Softmax层，搭建出标签神经网络；通过将源域数据送至该标签神经网络中，使得第一分类损失函数最小化，完成训练后获得该标签分类器。进一步的，第一分类损失函数为：其中，Ly(·)表示第一分类损失函数，Gy(:,yi)表示yi的预测函数，Gf(·)表示隐藏层函数，x表示预测数据，(xi,yi)表示第i个源域数据。进一步的，步骤S3域分类器是通过如下方式训练：在所述标签神经网络的卷积层后添加梯度反转层，形成梯度反转神经网络，将3D卷积神经网络作为特征生成器，将域分类器作为判别器；由于梯度反转层的存在，使得特征生成器和判别器形成对抗关系，特征生成器和判别器在梯度反转层的作用下形成对抗关系，利用源域和目标域训练对抗网络，使得特征生成器生成的特征混淆判别器，从而特征提取器提取的特征为源域和目标域的公共特征；最小化第二分类损失函数，最大化域损失函数，从而获得该域分类器。梯度反转层具体包括：在网络前向传播的时候梯度反转层不会作用于网络，但是在反向传播的时候梯度反转层会把反向传播参数乘某一负数，即，经过梯度反转层后的反向传播的参数不是而是从而达到梯度反转提取共同特征的效果。梯度反转具体过程为：把梯度反转当作函数R(X)，定义前向传播的过程为：R(X)＝X，反向传播公式为：其中I是单位矩阵。在对抗学习过程中真假脸的分类损失函数(classificationloss)和源域、目标域的域损失函数(domainloss)分别为：其中，表示对于第i个源域数据的第二分类损失函数；表示第i个源域数据的域损失函数；Gf(:；θf)表示D维的神经网络特征提取，Gy(:；θy)表示标签预测输出层，Gd(:；θd)是域的预测输出，xi表示真实数据，yi表示真实数据对应的标签，di表示域标签，θf表示3D卷积网络参数；θy表示标签损失函数传递参数，θd表示域损失函数传递参数。在进行对抗学习的过程中其最后总的损失函数为：其中，n表示数据中源域的样本数，表示数据中目标域的样本数，ρ表示域损失函数和标签损失函数的权衡参数。使用对抗的思想学习源域和目标域的公共特征，在训练过程中，最小化分类损失函数，最大化域损失函数，其定义为：进一步的，步骤S5测试数据，具体包括：把目标域测试集，送入到训练好的网络，由于网络的最后一层是Softmax层输出的是分类样本为真实人脸或虚假人脸的概率值，取概率值最大的类别概率，当作最后的检测结果。本专利技术的有益效果在于：1)本专利技术提出一种基于迁移学习的人脸活体检测方法，该方法不仅能够准确的检测出虚假人脸图像还具有较强的泛化能力。2)本方法利用3D卷积神经网络进行提取图像特征，不仅包含图像的空间特征而且还包含图像的时间信息，使提取的特征能更好的表达图像信息。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为基于迁移学习的人脸活体检测方法的本文档来自技高网...

【技术保护点】
1.基于迁移学习的人脸活体检测方法，其特征在于：S1、将视频数据切分为图像序列，检测图像序列中的人脸，把图像中的人脸部分进行处理；将处理后的数据分为源域和目标域；S2、在3D卷积神经网络的卷积层后增加两层全连接层和Softmax层，形成标签神经网络，将源域数据送入该标签神经网络中，从而训练出标签分类器；S3、在该标签神经网络的卷积层后添加梯度反转层，形成梯度反转神经网络，将源域和目标域的数据送入该梯度反转神经网络中，从而训练出域分类器；S4、根据该域分类器提取出源域和目标域的公共特征，再次训练标签分类器；S5、将目标域的测试集数据送入步骤S4中训练好的标签分类器，确定出该图像的标签，即判断该图像为真实人脸或是虚假人脸；其中，源域带有真假人脸标签，目标域未带标签。

【技术特征摘要】
1.基于迁移学习的人脸活体检测方法，其特征在于：S1、将视频数据切分为图像序列，检测图像序列中的人脸，把图像中的人脸部分进行处理；将处理后的数据分为源域和目标域；S2、在3D卷积神经网络的卷积层后增加两层全连接层和Softmax层，形成标签神经网络，将源域数据送入该标签神经网络中，从而训练出标签分类器；S3、在该标签神经网络的卷积层后添加梯度反转层，形成梯度反转神经网络，将源域和目标域的数据送入该梯度反转神经网络中，从而训练出域分类器；S4、根据该域分类器提取出源域和目标域的公共特征，再次训练标签分类器；S5、将目标域的测试集数据送入步骤S4中训练好的标签分类器，确定出该图像的标签，即判断该图像为真实人脸或是虚假人脸；其中，源域带有真假人脸标签，目标域未带标签。2.根据权利要求1所述的基于迁移学习的人脸活体检测方法，其特征在于：步骤S1具体包括：将视频数据切分为图像序列，检测每一帧图像中的人脸，把人脸部分剪切成相同的大小，并将处理后的人脸图像分为源域和目标域，分别对应为训练集和测试集。3.根据权利要求1所述的基于迁移学习的人脸活体检测方法，其特征在于：所述3D卷积神经网络具体包括：搭建3D卷积神经网络，第l层的卷积核为Wl×Hl×Tl，Tl是连续帧值，Wl×Hl是卷积核的空间大小；3D卷积操作的计算公式为：其中，表示第l卷积层中的第d2个特征在点(i,j,k)的输出值；表示第l卷积层中的第d2个特征在点(i,j,k)的输入值，是3D卷积神经网络中第l层中的第d1特征到ｄ2特征在点(m,n,p)的权重，是第ｄ2个特征在第l个卷积层的偏置，σ(·)是非线性激活函数。4.根据权利要求1所述的基于迁移学习的人脸活体检测方法，其特征在于：所述标签分类器是通过如下方式训练的：将3D卷积神经网络后增加两层全连接层和Softmax层，搭建出标签神经网络；通过将源域数据送至该标签神经网络中，使得第一分...

【专利技术属性】
技术研发人员：高陈强，周风顺，李新豆，李鹏程，胡凯，周美琪，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50