口罩鲁棒的人脸识别网络、方法、电子设备及存储介质技术

本发明专利技术适用于计算机视觉领域，提供了一种口罩鲁棒的人脸识别网络、方法、电子设备及存储介质，该人脸识别网络包括整图特征提取网络、特征分割模块、第一分支网络和第二分支网络，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别，从而提高了人脸识别网络对口罩人脸的鲁棒性。脸识别网络对口罩人脸的鲁棒性。脸识别网络对口罩人脸的鲁棒性。

【技术实现步骤摘要】
口罩鲁棒的人脸识别网络、方法、电子设备及存储介质


[0001]本专利技术属于计算机视觉领域，尤其涉及一种口罩鲁棒的人脸识别网络、方法、电子设备及存储介质。

技术介绍

[0002]人脸识别技术被广泛用于生物识别领域。相比于其他的生物识别手段，比如指纹，虹膜等，人脸识别技术具有无接触性，易采集等特点。在深度学习理论日益发展的今天，对于遮挡识别问题，基于人工、遮挡检测、分割的方法选择提前获得人脸图像中的遮挡区域，然后对非遮挡区域进行特征提取；基于直接特征提取的方法则会利用各种损失函数强制约束遮挡图片和非遮挡图片之间的距离；基于图像重建的方法则通常利用生成对抗网络对图片进行复原或重建。相比于遮挡人脸识别，口罩人脸识别问题具有独特性，其口罩（遮挡）的分布区域相对固定，可以作为先验知识帮助我们设计网络结构。
[0003]虽然口罩的遮挡形式相对更单一，但其本质上还是带来了与人脸识别无关的非生物信息。Geng, Mengyue等人（GENG M, PENG P, HUANG Y等，Masked Face Recognition with Generative Data Augmentation and Domain Constrained Ranking[C]//MM 2020
ꢀ‑ꢀ
Proceedings of the 28th ACM International Conference on Multimedia. 2020）试图利用对比学习法学习口罩人脸和正常人脸图像的共同特征，但训练过程依赖于对训练样本的采样，训练结果不稳定。Song, Lingxue等人（SONG L, GONG D, LI Z等，Occlusion robust face recognition based on mask learning with pairwise differential siamese network[C]//Proceedings of the IEEE International Conference on Computer Vision. Institute of Electrical and Electronics Engineers Inc., 2019）利用卷积神经网络学习与各种遮挡对应的mask字典，在得到最终的特征表示前都会与字典进行匹配。这种方法训练过程复杂，设计多个模型的训练且其结果依赖于最终的mask字典。Montero, David等人（MONTERO D, NIETO M, LESKOVSKY P等，Boosting Masked Face Recognition with Multi
‑
Task ArcFace[J]. CoRR, 2021, abs/2104.0.）提出直接在原始人脸识别神经网络中添加针对口罩分类的分支，同时完成对人脸识别任务以及是否佩戴口罩的分类任务。这种方法会扰乱人脸识别任务的学习过程，因为分类任务关注的是口罩区域，与口罩人脸识别任务的需求刚好相反。
[0004]如果将口罩人脸看成是一种噪音数据的话，Deng, Jiankang等人（DENG J, GUO J, LIU T等，Sub
‑
center ArcFace: Boosting Face Recognition by Large
‑
Scale Noisy Web Faces[C]//ECCV. 2020）依据Ghazi等人（GHAZI M M, EKENEL H K，A Comprehensive Analysis of Deep Learning Based Representation for Face Recognition[J]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, IEEE Computer Society, 2016）对人脸识别任务分类特性的研究，将人脸识别任务中学习（聚类）得到的类中心扩展成多个类中心，并从中分出主类中心和次类中心，其中后者便被作为噪音数据的类中心参与训练。但这种主次之分导致整个网络虽然增加了
参数量，同时也放宽了训练约束。
[0005]口罩作为非生物信息参与到了生物识别应用之中，这给之前基于正常人脸研发的人脸识别技术带来了巨大的挑战，现有技术中在完成口罩人脸识别任务时正常人脸识别性能均受到影响。

技术实现思路

[0006]本专利技术的目的在于提供一种口罩鲁棒的人脸识别网络、方法、电子设备及存储介质，旨在解决如何在不损失正常人脸识别性能的情况下完成口罩人脸识别任务的问题。
[0007]一方面，本专利技术提供了一种口罩鲁棒的人脸识别网络，所述人脸识别网络包括整图特征提取网络、与所述整图特征提取网络连接的特征分割模块、与所述特征分割模块分别连接的第一分支网络和第二分支网络，其中，所述整图特征提取网络，用于从输入的人脸图像中提取浅层整图特征；所述特征分割模块，用于根据预设的分割点的位置对所述浅层整图特征进行空间上的分割，得到上、下两部分浅层特征；所述第一分支网络，用于提取上半部浅层特征的上半部高级特征，所述上半部高级特征用于口罩人脸识别；所述第二分支网络，用于提取下半部浅层特征的下半部高级特征，所述下半部高级特征用于与所述上半部高级特征拼接，拼接得到的全特征用于正常人脸识别。
[0008]优选地，所述人脸识别网络为改进后的ResNet网络。
[0009]优选地，所述特征分割模块用于根据所述人脸图像中鼻子的位置模拟口罩区域的上边界，基于所述上边界对所述浅层整图特征进行空间上的分割。
[0010]另一方面，本专利技术还提供了一种基于以上所述人脸识别网络的人脸识别网络训练方法，所述方法包括：获取训练数据集，所述训练数据集中包含多张正常人脸图像；基于所述训练数据集，使用多损失函数联合训练所述人脸识别网络，得到训练好的人脸识别网络。
[0011]优选地，使用多损失函数联合训练所述人脸识别网络的步骤之前，还包括：对所述训练数据集进行口罩人脸图像的数据增广。
[0012]优选地，所述第一分支网络和所述第二分支网络采用的损失函数均采用AM
‑
Softmax函数。
[0013]优选地，所述人脸识别网络的损失函数如下：L
mc
(f
up
，f
down
，w
n
，w
m
)=L
am
(f
up
，w
m
)+ L
am
(f
down
，w
n
)，其中，L
mc
(f
up
，f
down
，w
n
，w
m
)表示所述人脸识别网络的联合损失，L
am
(f
u本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种口罩鲁棒的人脸识别网络，其特征在于，所述人脸识别网络包括整图特征提取网络、与所述整图特征提取网络连接的特征分割模块、与所述特征分割模块分别连接的第一分支网络和第二分支网络，其中，所述整图特征提取网络，用于从输入的人脸图像中提取浅层整图特征；所述特征分割模块，用于根据预设的分割点的位置对所述浅层整图特征进行空间上的分割，得到上、下两部分浅层特征；所述第一分支网络，用于提取上半部浅层特征的上半部高级特征，所述上半部高级特征用于口罩人脸识别；所述第二分支网络，用于提取下半部浅层特征的下半部高级特征，所述下半部高级特征用于与所述上半部高级特征拼接，拼接得到的全特征用于正常人脸识别。2.如权利要求1所述的人脸识别网络，其特征在于，所述人脸识别网络为改进后的ResNet网络。3.如权利要求1所述的人脸识别网络，其特征在于，所述特征分割模块用于根据所述人脸图像中鼻子的位置模拟口罩区域的上边界，基于所述上边界对所述浅层整图特征进行空间上的分割。4.一种基于权利要求1
‑
3任意一项所述人脸识别网络的网络训练方法，其特征在于，所述方法包括：获取训练数据集，所述训练数据集中包含多张正常人脸图像；基于所述训练数据集，使用多损失函数联合训练所述人脸识别网络，得到训练好的人脸识别网络。5.如权利要求4所述的方法，其特征在于，使用多损失函数联合训练所述人脸识别网络的步骤之前，还包括：对所述训练数据集进行口罩人脸图像的数据增广。6.如权利要求4所述的方法，其特征在于，所述第一分支网络和所述第二分支网络采用的损失函数均采用AM
‑
Softmax函数。7.如权利要求4所述的方法，其特征在于，所述人脸识别网络的损失函数为：L
mc
(f
up
，f
down
，w
n
，w
m
)=L
am
(f
up
，w
m
)+ L<...

【专利技术属性】
技术研发人员：殷绪成，李凯，杨春，
申请(专利权)人：珠海亿智电子科技有限公司，
类型：发明
国别省市：