一种基于新型池化及注意力机制双流网络的活体检测方法技术

本发明专利技术公开了一种基于新型池化及注意力机制双流网络的活体检测方法，包括构建空间流网络和时间流网络结合的双流网络；提取光流图片并进行面部检测，得到所述双流网络的两个输入；在所述双流网络末端加入空间金字塔池化和全局平均混合池化，利用全连接层对两个池化后的特征进行分类并做分数层面的融合；对所述空间流网络和所述时间流网络进行特征层面的融合；最后输出融合的特征完成活体检测。本发明专利技术的有益效果：充分考虑时间维度，提出的空间金字塔和全局平均混合池化策略能有效的利用特征；针对包含多种攻击类型、图片质量差异较大的数据集，网络模型均能取得较低的错误率。

A living detection method based on novel pooling and attention mechanism dual stream network

【技术实现步骤摘要】
一种基于新型池化及注意力机制双流网络的活体检测方法
本专利技术涉及活体检测的
，尤其涉及一种基于新型池化及注意力机制双流网络的活体检测方法。
技术介绍
近年来人脸识别技术在当前的社会起着重要的作用，但也出现了大量的欺诈攻击对人脸识别产生了威胁，比如打印攻击和重放攻击。传统的活体检测方法是以手工方式提取特征且缺乏对时间维度的考虑，导致检测效果不佳。卷积神经网络的流行以及计算机视觉的发展使得高精度的人脸识别成为了可能。TaigmanY等人提出了DeepFace，其精度达到了97.35％，相较之前最佳表现错误率降低了27％。相较于过去的指纹或者虹膜，人脸包含着更多的信息，也更加可区分，并且人脸识别在交互上更加友好。随着人脸识别的广泛应用，出现了很多的欺诈策略。人脸的欺诈主要是通过在人脸识别系统前面呈现照片或者视频等假的实体而骗过系统。对于没有加入活体检测的人脸识别算法，则可以通过一个人的照片就能骗过系统。由此可见，高稳定性、高识别率的欺诈检测算法对人脸识别系统的重要性。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的技术问题是：传统的活体检测方法是以手工方式提取特征且缺乏对时间维度的考虑，导致检测效果不佳。为解决上述技术问题，本专利技术提供如下技术方案：一种基于新型池化及注意力机制双流网络的活体检测方法，包括构建空间流网络和时间流网络结合的双流网络；提取光流图片并进行面部检测，得到所述双流网络的两个输入；在所述双流网络末端加入空间金字塔池化和全局平均混合池化，利用全连接层对两个池化后的特征进行分类并做分数层面的融合；对所述空间流网络和所述时间流网络进行特征层面的融合；最后输出融合的特征完成活体检测。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述空间流网络定义如下，scores＝SpatialNet(x)其中x代表RGB或者HSV不同颜色空间的图片；SpatialNet包括多个卷积层、由GAP和SPP构成的混合池化层；scores代表所述空间流网络的输出分数。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述时间流网络定义如下，x'＝TVNet(x1,x2)scoret＝TemporalNet(x')其中x1，x2代表RGB图片的两帧，经过TVNet网络则产生一张光流图片x'，代表两张图片对应像素的位置差，因此其中包含了时间维度的信息；TemporalNet包括多个带有残差块的层。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述双流网络学习过程中，包括，定义SpatialNet计算损失为：losss＝cross_entropy(scores,label)其中scores是空间流网络的输出；label代表输入x的标签；cross_entropy为交叉熵损失；空间流则是优化losss，使其最小即可；定义TemporalNet计算损失为：losst＝cross_entropy(scoret,label)其中scoret是时间流网络的输出，时间流则是优化losst，使其最小即可。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述空间金字塔池化包括，输入图片经过多个卷积模块后得出一个特征图；通过空间金字塔池化将特征图划分为多块，得到一个n维的特征；使用全连接层以及softmax对所述n维特征进行分类得到代表真脸置信度的分数。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述全局平均混合池化包括，输入图片经过前面的多个卷积模块得出一个特征图；对特征图进行全局平局池化得到一个m维的特征；使用softmax对这个m维特征进行分类得到一个分数。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述分数层面的融合包括将所述空间金字塔池化和所述全局平均混合池化两个池化的分数融合成一个空间金字塔全局平均混合池化。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：利用融合模块进行所述特征层面的融合，包括，定义所述融合模块：其中fs和ft分别代表所述空间流网络提取的特征和所述时间流网络提取的特征；经过通道注意力模块学习两个特征对应的对应权重的大小；将学习到的权重和特征相乘得到按权分配后的特征；把按权分配后的特征相加得到最终融合的特征。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：包括在所述空间流网络上进行了不同颜色空间输入的测试，并得出最适合的颜色空间。作为本专利技术所述的基于混合池化双流网络的活体检测方法的一种优选方案，其中：所述不同颜色空间输入包括，HSV颜色空间包含色相、饱和度、明度三个分量；Ycrcb颜色空间包含了明亮度、色度和RGB；把RGB颜色空间转化为HSV，如下：把RGB转化为Ycrcb，如下：分别使用RGB颜色空间、HSV颜色空间和Ycrcb颜色空间以及多个颜色空间堆叠的方案得出有效的颜色空间作为所述空间流网络的输入。本专利技术的有益效果：充分考虑时间维度，提出的空间金字塔和全局平均混合池化策略能有效的利用特征；针对包含多种攻击类型、图片质量差异较大的数据集，网络模型均能取得较低的错误率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一种实施例所述常见攻击方式的示意图；图2为本专利技术第一种实施例所述RGB图片及对应的光流图片，其中图2(a)为TVNet光流图片，图2(b)为opencv光流图片；图3为本专利技术第一种实施例所述空间金字塔池化的示意图；图4为本专利技术第一种实施例所述全局平均池化的示意图；图5(a)为本专利技术第一种实施例所述空间流网络的示意图；图5(b)为本专利技术第一种实施例所述时间流网络的示意图；图5(c)为本专利技术第一种实施例所述残差块的示意图；图5(d)为本专利技术第一种实施例所述融合模块的示意图；图6为本专利技术第二种实施例所述CASIA-FASD中的三种攻击方式的示意图；图7为本专利技术第二种实施例所述特征图的可视化的示意图；图8为本专利技术第二种实施例所述使用类激活图进行可视化的示意图。本文档来自技高网...

【技术保护点】
1.一种基于新型池化及注意力机制双流网络的活体检测方法，其特征在于：包括，/n构建空间流网络和时间流网络结合的双流网络；/n提取光流图片并进行面部检测，得到所述双流网络的两个输入；/n在所述双流网络末端加入空间金字塔池化和全局平均混合池化，利用全连接层对两个池化后的特征进行分类并做分数层面的融合；/n对所述空间流网络和所述时间流网络进行特征层面的融合；/n最后输出融合的特征完成活体检测。/n

【技术特征摘要】
1.一种基于新型池化及注意力机制双流网络的活体检测方法，其特征在于：包括，
构建空间流网络和时间流网络结合的双流网络；
提取光流图片并进行面部检测，得到所述双流网络的两个输入；
在所述双流网络末端加入空间金字塔池化和全局平均混合池化，利用全连接层对两个池化后的特征进行分类并做分数层面的融合；
对所述空间流网络和所述时间流网络进行特征层面的融合；
最后输出融合的特征完成活体检测。


2.如权利要求1所述的基于混合池化双流网络的活体检测方法，其特征在于：所述空间流网络定义如下，
scores＝SpatialNet(x)
其中x代表RGB或者HSV不同颜色空间的图片；SpatialNet包括多个卷积层、由GAP和SPP构成的混合池化层；scores代表所述空间流网络的输出分数。


3.如权利要求1所述的基于混合池化双流网络的活体检测方法，其特征在于：所述时间流网络定义如下，
x'＝TVNet(x1,x2)
scoret＝TemporalNet(x')
其中x1，x2代表RGB图片的两帧，经过TVNet网络则产生一张光流图片x'，代表两张图片对应像素的位置差，因此其中包含了时间维度的信息；TemporalNet包括多个带有残差块的层。


4.如权利要求2或3所述的基于混合池化双流网络的活体检测方法，其特征在于：所述双流网络学习过程中，包括，
定义SpatialNet计算损失为：
losss＝cross_entropy(scores,label)
其中scores是空间流网络的输出；label代表输入x的标签；cross_entropy为交叉熵损失；空间流则是优化losss，使其最小即可；
定义TemporalNet计算损失为：
losst＝cross_entropy(scoret,label)
其中scoret是时间流网络的输出，时间流则是优化losst，使其最小即可。


5.如权利要求4所述的基于混合池化双流网络的活体检测方法，其特征在于：所述空间金字塔池化包...

【专利技术属性】
技术研发人员：宋晓宁，汪亚航，冯振华，於东军，
申请(专利权)人：上海蠡图信息科技有限公司，
类型：发明
国别省市：上海;31