一种轻量级口罩人脸识别方法、系统、存储介质及设备技术方案

本发明专利技术提供了一种轻量级口罩人脸识别方法、系统、存储介质及设备，其中方法包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序；人脸特征提取工序是指：将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中；轻量级口罩人脸特征提取网络将所述输入特征卷积升维，之后经过激活函数激活，再进行深度可分离卷积；输入到通道注意力和区域注意力单元；进行合并操作，然后通道重组，输出人脸特征。该方法通过深度可分离卷积和注意力机制模块混用的方式，既减少了计算量又保证了特征提取不受口罩等大面积遮挡的影响；运行速度快，识别准确率高，具有良好鲁棒性。具有良好鲁棒性。具有良好鲁棒性。

【技术实现步骤摘要】
一种轻量级口罩人脸识别方法、系统、存储介质及设备


[0001]本专利技术涉及人脸识别
，更具体地说，涉及一种轻量级口罩人脸识别方法、系统、存储介质及设备。

技术介绍

[0002]人脸识别已成为身份认证中最著名的生物识别技术，并已广泛用于许多领域。人脸佩戴口罩后，大量关键特征信息会被改变，导致不同对象的口罩人脸特征差异性减小，相同对象佩戴与非佩戴口罩的人脸特征差异性增大。如何依靠口罩人脸眉眼部分少量特征信息进行身份识别目前存在较大困难。
[0003]此外，现有人脸识别多采用深度特征提取网络实现。现有的深度特征提取网络主要分为两类：重量级和轻量级。重量级网络的优势是由于其深度排列的网络单元对人脸的特征有较好的提取，识别的准确率高，能够应对复杂的环境（如光照剧烈变化等），具有更强的鲁棒性，但是运用在一些实时场景中，易严重延时，并且大构架的人脸识别网络，在分布式训练的过程中，与服务器通信需求更大，占用资源更多，训练所产生的模型体积更大，不容易部署在一些移动设备或者是内存较小的设备中。轻量级网络占用服务器资源更少，实际运行时，速度更快，模型体积更小，但是轻量级网络特征抽取能力有限，导致鲁棒性更差，其识别率容易受表情变化和光照变化等影响。

技术实现思路

[0004]为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种轻量级口罩人脸识别方法、系统、存储介质及设备；本专利技术通过深度可分离卷积和注意力机制模块混用的方式，既减少了计算量又保证了特征提取不受口罩等大面积遮挡的影响；运行速度快，识别准确率高，具有良好鲁棒性。
[0005]为了达到上述目的，本专利技术通过下述技术方案予以实现：一种轻量级口罩人脸识别方法，其特征在于：包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序；所述口罩人脸检测工序是指：对输入图像中疑似人脸的目标进行框选；所述口罩人脸对齐工序是指：检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；所述人脸特征提取工序是指：将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1
×
1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取工序的输入特征进行合并操作，然后对合并后的特征
进行通道重组，输出人脸特征；所述人脸特征比对工序是指：将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
[0006]优选地，所述输入到通道注意力和区域注意力单元以加口罩以上部分权重，是指：首先将深度可分离卷积后的特征分别经过全局最大池化和全局平均池化层来聚合特征的空间信息，生成两个不同的空间上下文描述符，然后经过1
×
1卷积和激活函数激活后聚合一起来获取通道信息以针对眉毛眼睛部分提取特征，之后与深度可分离卷积后的特征进行第一次对位相乘；第一次对位相乘后的特征通过通道最大池化和通道平均池化来聚合通道信息，生成两个2维映射，将这两个2维映射通道拼接后通过卷积层连接和卷积混合，生成2维空间注意力特征，将2维空间注意力特征与第一次对位相乘后的特征进行第二次对位相乘，以获得侧重眉毛眼睛部分的人脸特征。
[0007]优选地，所述通道注意力和区域注意力单元包括通道注意力部分和区域注意力部分：所述通道注意力部分为：其中，M
c
表示通道注意力，F表示输入特征，MLP表示多层感知器，AvgPool表示平均池化操作，MaxPool表示最大池化操作，F
cavg
和 F
cmax
分别表示平均池化和最大池化，W0和W1是多层感知器的权重，σ为sigmoid激活函数；F
cavg
和 F
cmax
是两个不同的空间上下文描述符；所述区域注意力部分为：其中，M
s
表示区域注意力，F
savg
和 F
smax
分别表示经过平均池化和最大池化的输入特征，f 7
×7表示7
×
7卷积。
[0008]优选地，所述深度卷积对输入特征的每个输入应用通道进行轻量级滤波，是指：将输入特征的每个输入应用通道分别对应一个滤波器进行卷积运算；所述逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合，是指：将轻量级滤波后的每个输入应用通道分别输入若干个滤波器，每个滤波器分别输出一个特征图。
[0009]优选地，所述口罩人脸检测工序中，以VGG16网络结合SENet网络作为轻量级口罩人脸检测网络；将输入图像输入到轻量级口罩人脸检测网络中，框选出疑似人脸目标；所述SENet网络包括一个全局平均池化层和激活层；所述全局平均池化层将输入特征H
×
W
×
C转换成1
×1×
C的输出以表明C个特征映射的数值分布情况，即全局信息：
其中，z
c
表示全局信息，F
sq
表示全局平均池化层，u
c
表示输入特征，H、W、C分别表示输入特征的高、宽、通道数；所述激活层先进行全连接操作：其中，s表示输出特征；Fex表示激活操作；z表示全局信息z
c
；g表示全局池化操作；σ为sigmoid激活函数；表示ReLU激活函数；W1加了缩放参数以减少通道个数从而降低计算量；经过ReLU层，输出维度不变；W2是全连接操作，在经过sigmoid函数，得到特征S（1
×1×
C）。
[0010]优选地，采用DIoU loss加速轻量级口罩人脸检测网络的收敛；其中，IoU表示预测框和真实框的交并比，b、b
gt
分别代表预测框和真实框的中心点，ρ代表计算两个中心点之间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包距离的对角线距离。
[0011]优选地，在所述人脸特征比对工序中，采用欧几里得距离计算方法，来计算提取的人脸特征与人脸数据库特征之间的距离值，通过距离值来判断输入图像的身份。
[0012]一种轻量级口罩人脸识别系统，其特征在于：包括：口罩人脸检测模块，用于对输入图像中疑似人脸的目标进行框选；口罩人脸对齐模块，用于检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；人脸特征提取模块，用于将口罩人脸对齐模块的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1
×
1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级口罩人脸识别方法，其特征在于：包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序；所述口罩人脸检测工序是指：对输入图像中疑似人脸的目标进行框选；所述口罩人脸对齐工序是指：检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；所述人脸特征提取工序是指：首先将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1
×
1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取工序的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征；所述人脸特征比对工序是指：将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。2.根据权利要求1所述的轻量级口罩人脸识别方法，其特征在于：所述输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重，是指：首先将深度可分离卷积后的特征分别经过全局最大池化和全局平均池化层来聚合特征的空间信息，生成两个不同的空间上下文描述符，然后经过1
×
1卷积和激活函数激活后聚合一起来获取通道信息以针对眉毛眼睛部分提取特征，之后与深度可分离卷积后的特征进行第一次对位相乘；第一次对位相乘后的特征通过通道最大池化和通道平均池化来聚合通道信息，生成两个2维映射，将这两个2维映射通道拼接后通过卷积层连接和卷积混合，生成2维空间注意力特征，将2维空间注意力特征与第一次对位相乘后的特征进行第二次对位相乘，以强化口罩人脸眉眼部分特征权重。3.根据权利要求2所述的轻量级口罩人脸识别方法，其特征在于：所述通道注意力和区域注意力单元包括通道注意力部分和区域注意力部分：所述通道注意力部分为：其中，M
c
表示通道注意力，F表示输入特征，MLP表示多层感知器，AvgPool表示平均池化操作，MaxPool表示最大池化操作，F
cavg
和 F
cmax
分别表示平均池化和最大池化，W0和W1是多层感知器的权重，σ为sigmoid激活函数；F
cavg
和 F
cmax
是两个不同的空间上下文描述符；所述区域注意力部分为：
其中，M
s
表示区域注意力，F
savg
和 F
smax
分别表示经过平均池化和最大池化的输入特征，f 7
×7表示7
×
7卷积。4.根据权利要求1所述的轻量级口罩人脸识别方法，其特征在于：所述深度卷积对输入特征的每个输入应用通道进行轻量级滤波，是指：将输入特征的每个输入应用通道分别对应一个滤波器进行卷积运算；所述逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合，是指：将轻量级滤波后的每个输入应用通道分别输入若干个滤波器，每个滤波器分...

【专利技术属性】
技术研发人员：周燕，吴浩海，曾凡智，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：