一种基于多重感知的人脸识别方法及系统技术方案

本发明专利技术公开了一种基于多重感知的人脸识别方法及系统，将人脸对齐图像经过已训练完成的深度神经网络模型前向运算后输出具有高度区分性的人脸身份特征向量，通过欧氏距离或者余弦相似度等度量对所述人脸身份特征向量进行操作，输出当前人脸属于某一身份的概率，深度神经网络模型包括输入层data、主干网络模块backbone、主特征模块mainfeature、特征融合模块COMM和辅助训练模块，把人脸身份特征分解成多个感知特征，主感知特征主要负责学习人脸本质身份特征，所有的子感知特征负责非本质特征的学习，能够更多的关注模糊和侧脸等低质量人脸，提高了模型的识别精度、增强了模型的鲁棒性。性。性。

【技术实现步骤摘要】
一种基于多重感知的人脸识别方法及系统


[0001]本专利技术涉及人脸识别
，尤其涉及一种基于多重感知的人脸识别方法及系统。

技术介绍

[0002]基于人脸图像的身份识别技术是一种基于计算机视觉技术和人工智能技术的综合技术，在人脸门禁、金融领域以及娱乐等领域都有广泛应用，它需要从图像或视频中自动检测定位出人脸位置，同时根据人脸图像的主要特征进行个体差异的比对分析，确定人脸的身份信息。一般的，基于人脸图像的身份识别技术包括人脸抓拍技术、人脸对齐技术和人脸识别技术，其中，人脸识别技术是最关键的技术，人脸识别技术是指在获取的人脸区域局部图像的基础上，进行差异化的人脸特征分析提取，进而获取人脸的身份信息。人脸识别技术的好坏直接影响到后续工作的可靠性和精准度，毫不夸张的说，人脸识别技术的水平直接决定了整个基于人脸图像的身份识别技术的水平。
[0003]近20年来，人脸识别技术一直是机器视觉领域和人工智能领域的研究热点，涌现出很多经典算法，具体算法可以分为以下几类：
[0004](1)基于传统技术的人脸识别技术，该类算法主要基于人工设计的差异性特征进行身份识别，常用的算法有主成分分析(PCA)、线性判别分析(LDA)、局部二值模式(LBP)、支持向量机等。这些方法在人脸识别方面取得了一定的成效，但是由于受到光照、角度、遮挡等因素的干扰，识别准确率较低。
[0005](2)基于深度学习的人脸识别，近年来，随着深度学习技术的发展，人工智能技术开始逐渐应用于人脸识别领域，借助卷积神经网络、循环神经网络、transformer网络等深度学习技术，可以对人脸图像进行显著的差异性特征提取和分类，极大的提高了人脸识别的准确率和稳定性。当前已出现许多高性能的基于人工智能的人脸识网络模型，其中，Arcface(ArcFace:Additive Angular Margin Loss for Deep Face Recognition)论文中提出的网络结构模型(简称Arcface模型)是效果最显著的一种人脸识网络模型，Arcface模型通过最小化类内距离最大化类间距离，获取人脸最关键的差异性特征，借助特征的余弦相似度来判断两个人脸是否属于同一个人。
[0006]尽管Arcface模型具有识别精度高、鲁棒性强、速度快等优点，但是也存在一些不足之处，对于模糊和侧脸等低质量人脸的识别精度和鲁棒性明显降低。

技术实现思路

[0007]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于多重感知的人脸识别方法及系统，能够更多的关注模糊和侧脸等低质量人脸，提高了模型的识别精度、增强了模型的鲁棒性。
[0008]本专利技术提出的一种基于多重感知的人脸识别方法，将人脸对齐图像经过已训练完成的深度神经网络模型前向运算后输出具有高度区分性的人脸身份特征向量，通过欧氏距
离或者余弦相似度等度量对所述人脸身份特征向量进行操作，输出当前人脸属于某一身份的概率；
[0009]所述深度神经网络模型包括输入层data、主干网络模块backbone、主特征模块mainfeature、特征融合模块COMM和辅助训练模块；
[0010]主干网络模块backbone的输入连接输入层data的输出，主干网络模块backbone的输出分别连接主特征模块mainfeature的输入和辅助训练模块的输入，主特征模块mainfeature的输出、助训练模块的输出连接特征融合模块COMM的输入，特征融合模块COMM输出人脸身份特征向量，输入层data输入人脸对齐图像；
[0011]其中，特征融合模块COMM和辅助训练模块只在深度神经网络模型训练中起作用，训练完成的深度神经网络模型在使用中通过主特征模块mainfeature输出人脸身份特征向量。
[0012]进一步地，所述辅助训练模块包括并行设置的角度特征模块angleF、模糊特征模块blurF、戴眼镜特征模块glassF和笑容特征模块smileF、角度预测模块fcA、模糊预测模块fcB、戴眼镜判断模块fcG和笑容预测模块fcS；
[0013]角度特征模块angleF的输出一路连接到特征融合模块COMM的输入，另一路连接到角度预测模块fcA的输入，角度特征模块angleF的输入连接主干网络模块backbone的输出；
[0014]模糊特征模块blurF的输出一路连接到特征融合模块COMM的输入，另一路连接到模糊预测模块fcB的输入，模糊特征模块blurF的输入连接主干网络模块backbone的输出；
[0015]戴眼镜特征模块glassF的输出一路连接到特征融合模块COMM的输入，另一路连接到戴眼镜判断模块fcG的输入，戴眼镜特征模块glassF的输入连接主干网络模块backbone的输出；
[0016]笑容特征模块smileF的输出一路连接到特征融合模块COMM的输入，另一路连接到笑容预测模块fcS的输入，笑容特征模块smileF的输入连接主干网络模块backbone的输出；
[0017]进一步地，所述特征融合模块COMM的融合公式如下：
[0018]F
comm
＝f
main
+R
angle
×
f
angle
+R
blur
×
f
blur
+R
glass
×
f
glass
+R
smile
×
f
smile
[0019]其中，F
comm
表示融合特征，f
main
、f
angle
、f
blur
、f
glass
、f
smile
分别表示主特征模块mainfeature、角度特征模块angleF、模糊特征模块blurF、戴眼镜特征模块glassF、笑容特征模块smileF的输出特征向量，R
angle
、R
blur
、R
glass
、R
smile
均表示基于标准高斯分布的随机采样特征向量，其特征尺寸是512x1x1。
[0020]进一步地，所述角度特征模块angleF、模糊特征模块blurF、戴眼镜特征模块glassF和笑容特征模块smileF的输出特征尺寸均是512x1x1，具体网络结构均包括依次连接的特征图尺寸变换层flatten0、全连接层fc0和批量归一化层BN。
[0021]进一步地，所述角度预测模块fcA、模糊预测模块fcB、戴眼镜判断模块fcG和笑容预测模块fcS的具体网络结构均包括依次连接的全连接层fc1和激活函数层activate，全连接层fc1的输入与批量归一化层BN的输出连接。
[0022]进一步地，在角度预测模块fcA中，全连接层fc1的输出特征尺寸是3x1x1，表示输入人脸对齐图像的欧拉角度数，激活函数层activate为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重感知的人脸识别方法，其特征在于，将人脸对齐图像经过已训练完成的深度神经网络模型前向运算后输出具有高度区分性的人脸身份特征向量，通过欧氏距离或者余弦相似度等度量对所述人脸身份特征向量进行操作，输出当前人脸属于某一身份的概率；所述深度神经网络模型包括输入层data、主干网络模块backbone、主特征模块mainfeature、特征融合模块COMM和辅助训练模块；主干网络模块backbone的输入连接输入层data的输出，主干网络模块backbone的输出分别连接主特征模块mainfeature的输入和辅助训练模块的输入，主特征模块mainfeature的输出、助训练模块的输出连接特征融合模块COMM的输入，特征融合模块COMM输出人脸身份特征向量，输入层data输入人脸对齐图像；其中，特征融合模块COMM和辅助训练模块只在深度神经网络模型训练中起作用，训练完成的深度神经网络模型在使用中通过主特征模块mainfeature输出人脸身份特征向量。2.根据权利要求1所述的基于多重感知的人脸识别方法，其特征在于，所述辅助训练模块包括并行设置的角度特征模块angleF、模糊特征模块blurF、戴眼镜特征模块glassF和笑容特征模块smileF、角度预测模块fcA、模糊预测模块fcB、戴眼镜判断模块fcG和笑容预测模块fcS；角度特征模块angleF的输出一路连接到特征融合模块COMM的输入，另一路连接到角度预测模块fcA的输入，角度特征模块angleF的输入连接主干网络模块backbone的输出；模糊特征模块blurF的输出一路连接到特征融合模块COMM的输入，另一路连接到模糊预测模块fcB的输入，模糊特征模块blurF的输入连接主干网络模块backbone的输出；戴眼镜特征模块glassF的输出一路连接到特征融合模块COMM的输入，另一路连接到戴眼镜判断模块fcG的输入，戴眼镜特征模块glassF的输入连接主干网络模块backbone的输出；笑容特征模块smileF的输出一路连接到特征融合模块COMM的输入，另一路连接到笑容预测模块fcS的输入，笑容特征模块smileF的输入连接主干网络模块backbone的输出。3.根据权利要求2所述的基于多重感知的人脸识别方法，其特征在于，所述特征融合模块COMM的融合公式如下：F
comm
＝f
main
+R
angle
×
f
angle
+R
blur
×
f
blur
+R
glass
×
f
glass
+R
smile
×
f
smile
其中，F
comm
表示融合特征，f
main
、f
angle
、f
blur
、f
glass
、f
smile
分别表示主特征模块mainfeature、角度特征模块angleF、模糊特征模块blurF、戴眼镜特征模块glassF、笑容特征模块smileF的输出特征向量，R
angle
、R
blur
、R
glass
、R
smile
均表示基于标准高斯分布的随机采样...

【专利技术属性】
技术研发人员：尼秀明，张卡，何佳，
申请(专利权)人：安徽清新互联信息科技有限公司，
类型：发明
国别省市：