一种同时检测和特征提取的人脸识别方法技术

本发明专利技术公开了一种同时检测和特征提取的人脸识别方法，构建人脸检测数据集、人脸特征提取数据集，组成多任务人脸检测识别数据集；构建主干网络、人脸检测分支、人脸特征提取分支，训练基于深度神经网络的人脸检测识别模型，其中主干网络用于提取图像中深层特征，为后续检测以及特征提取分支提供回归分类信息，人脸检测分支用于估算热图、目标中心偏移以及边界框的大小，人脸特征提取分支用于提取每个人脸的特征生成特征向量；将待检测识别图像输入到训练好的人脸检测识别模型，完成人脸检测以及特征提取，进而确定人员身份信息。本发明专利技术提高了人脸检测识别的速度，降低了特征提取阶段对人脸检测阶段效果的依赖。段对人脸检测阶段效果的依赖。段对人脸检测阶段效果的依赖。

【技术实现步骤摘要】
一种同时检测和特征提取的人脸识别方法


[0001]本专利技术涉及图像处理与深度学习领域，特别涉及一种同时检测和特征提取的人脸识别方法及其系统。

技术介绍

[0002]随着互联网和信息技术的快速发展，生活生产中诸多领域对安全性要求也逐步提高，需要准确而迅速地进行身份验证。人脸识别相对于其他身份验证方式，具有自然性、直观性、无接触性，更符合人类认知规律。正因为人脸特征拥有众多优点，人脸识别技术已经广泛应用到生产生活的众多领域，如门禁系统、刷脸支付等。
[0003]现阶段人脸识别流程大多基于先检测后提取特征的范式。例如，文献[1]先对人脸空间进行图像分部特征的构造，并进行识别检测，然后对局部特征进行切换和选取，并对局部特征进行统计，并对数据进行针对性计算以及比对。文献[2] 先使用训练好的人脸检测CNN对当前帧图像进行人脸检测，再在当前帧图像上设置与前一帧图像的人脸框大小和位置相同的人脸框，并扩大一定倍数，得到人脸区域。
[0004][1]袁培江,宋博,史震云,李建民.一种基于人脸识别的模型切换算法[P].北京市：CN1 11860454A,2020
‑
10
‑
30.
[0005][2]周军,王洋.监控视频图像人脸检测和追踪方法、装置、介质及设备[P].北京市：C N112825116A,2021
‑
05
‑
21
[0006]
技术实现思路

[0007]本专利技术的目的在于提供一种同时检测和特征提取的人脸识别方法及其系统，使用一个深度学习模型完成人脸检测和人脸特征提取两项任务，然后结合数据库信息完成人脸识别功能。
[0008]实现本专利技术目的的技术解决方案为：一种同时检测和特征提取的人脸识别方法，包括如下步骤：
[0009]步骤1，数据建模与准备
[0010]构建人脸检测数据集、人脸特征提取数据集，组成多任务人脸检测识别数据集；
[0011]步骤2，深度神经网络模型训练
[0012]构建主干网络、人脸检测分支、人脸特征提取分支，训练基于深度神经网络的人脸检测识别模型，其中主干网络用于提取图像中深层特征，为后续检测以及特征提取分支提供回归分类信息，人脸检测分支用于估算热图、目标中心偏移以及边界框的大小，人脸特征提取分支用于提取每个人脸的特征生成特征向量；
[0013]步骤3，模型推理应用
[0014]将待检测识别图像输入到训练好的人脸检测识别模型，完成人脸检测以及特征提取，确定人员身份信息。
[0015]进一步的，步骤1中，数据建模与准备，具体方法为：
[0016]步骤1.1、构建人脸检测数据集
[0017]用矩形框形式在图像中标注出人脸区域，记录矩形框的中心点位置以及宽高；
[0018]步骤1.2、构建人脸特征提取数据集
[0019]标签中设置身份标识位，同一身份采用同一标识，不同身份的标识不同；
[0020]步骤1.3、构建多任务人脸检测识别数据集
[0021]将已构建的人脸检测数据集和人脸特征提取身份数据集进行综合，得到标签内容为身份标识位、矩形框中心点坐标、矩形框宽高，并设置标签文件名称与原图像名相一致。
[0022]进一步的，步骤2中，深度神经网络模型训练，具体方法为：
[0023](1)主干网络
[0024]主干网络可采用ResNet+转置卷积、DLA(Deep LayerAggregation)、Hourglass、 MobilenetV2或者高分辨率网络(High Resolution)；
[0025](2)人脸检测分支
[0026]检测分支采用无锚框进行设计，表现为在主干网络后的三个平行头，分别热图头、中心点偏移头、边界框头，包括输入层、动态卷积层、第一全连接层、第二全连接层和输出层；
[0027](a)热图头
[0028]检测分支热图头基于热图表示法估计对象中心的位置，对于在图像中每个目标检测边界框可计算中心点其中：其中：通过划分步幅可得到其在特征图上的位置通过划分步幅可得到其在特征图上的位置图像(x,y)处的特征图响应M
xy
可表示为：
[0029][0030]其中N代表图像中人脸框数量，σ
c
代表标准差，热图头损失函数L
heat
采用 Focal
‑
Loss损失函数，如式(2)所示：
[0031][0032]式中表示模型预估的热值图，α和β表示为Focal
‑
Loss预设的超参数；
[0033](b)中心点偏移头
[0034]中心点偏移头旨在更加精确地定位人脸位置，特征提取分支与对象中心的对齐精准度对于性能至关重要。设输出的中心点位移为O∈R
W
×
H
×2，对于每个边界框其中心点偏移量为中心点偏移头损失函数L
center
采用l1范数，如式(3)所示：
[0035][0036]式中表示模型预估的中心点偏移量；
[0037](c)边界框头
[0038]边界框头用于估计每个锚点位置的人脸边界框的高度和宽度，与特征提取分支没有直接关系，但是定位精度将影响人脸检测性能的评估，设输出的边界框的大小表示为S∈R
W
×
H
×2，对于每个边界框其大小为边界框头损失函数L
box
采用l1范数，如式(4)所示；
[0039][0040]式中表示模型预估的边界框大小；
[0041](3)人脸特征提取分支
[0042]人脸特征提取分支通过分类任务来学习特征提取任务，训练集中具有相同标识的所有对象认为是同一类，对于图像中每个边界框获取其在热图上的中心可在这个位置上提取一个可区分的特征向量表示为人脸特征提取分支的损失函数L
id
为：
[0043][0044]联合人脸检测分支中热图头损失函数、中心偏移头损失函数、边界框头损失函数，以及人脸特征提取分支损失函数，根据不确定性损失来平衡检测分支和特征提取分支的任务，检测分支损失函数和公平网络整体损失函数表示分别为(6) 和(7)：
[0045]L
det
＝L
heat
+L
center
+L
box
ꢀꢀꢀ
(6)
[0046][0047]其中ω1和ω2表示为平衡检测和特征提取任务的参数。
[0048]进一步的，步骤2中，深度神经网络模型训练采用裁剪混合策略、多尺度图像策略、随机左右翻转和随机旋转策略。
[0049]进一步的，步骤3，模型推理应用，具体方法为：
[0050]步骤3.1，将待检测识别图像输入到训练好的人脸识别模型中进行人脸检测以及特征提取；
[0051]步骤3.2，对步骤3.1中人脸检测结果进行后处理，设定人脸边界框的置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同时检测和特征提取的人脸识别方法，其特征在于，包括如下步骤：步骤1，数据建模与准备构建人脸检测数据集、人脸特征提取数据集，组成多任务人脸检测识别数据集；步骤2，深度神经网络模型训练构建主干网络、人脸检测分支、人脸特征提取分支，训练基于深度神经网络的人脸检测识别模型，其中主干网络用于提取图像中深层特征，为后续检测以及特征提取分支提供回归分类信息，人脸检测分支用于估算热图、目标中心偏移以及边界框的大小，人脸特征提取分支用于提取每个人脸的特征生成特征向量；步骤3，模型推理应用将待检测识别图像输入到训练好的人脸检测识别模型，完成人脸检测以及特征提取，进而确定人员身份信息。2.根据权利要求1所述的同时检测和特征提取的人脸识别方法，其特征在于，步骤1中，数据建模与准备，具体方法为：步骤1.1、构建人脸检测数据集用矩形框形式在图像中标注出人脸区域，记录矩形框的中心点位置以及宽高；步骤1.2、构建人脸特征提取数据集标签中设置身份标识位，同一身份采用同一标识，不同身份的标识不同；步骤1.3、构建多任务人脸检测识别数据集将已构建的人脸检测数据集和人脸特征提取身份数据集进行综合，得到标签内容为身份标识位、矩形框中心点坐标、矩形框宽高，并设置标签文件名称与原图像名相一致。3.根据权利要求1所述的同时检测和特征提取的人脸识别方法，其特征在于，步骤2中，深度神经网络模型训练，具体方法为：(1)主干网络主干网络采用ResNet+转置卷积、DLA、Hourglass、MobilenetV2或者高分辨率网络；(2)人脸检测分支检测分支采用无锚框进行设计，表现为在主干网络后的三个平行头，分别热图头、中心点偏移头、边界框头，包括输入层、动态卷积层、第一全连接层、第二全连接层和输出层；(a)热图头检测分支热图头基于热图表示法估计对象中心的位置，对于在图像中每个目标检测边界框计算中心点其中：其中：划分步幅得到其在特征图上的位置则图像(x,y)处的特征图响应M
xy
表示为：其中N代表图像中人脸框数量，σ
c
代表标准差，热图头损失函数L
heat
采用Focal
‑
Loss损失函数，如式(2)所示：
式中表示模型预估的热值图，α和β表示为Focal
‑
Loss预设的超参数；(b)中心点偏移头中心点偏移头旨在更加精确地定位人脸位置，设输出的中心点位移为O∈R
W
×
H
×2，对于每个边界框其中心点偏移量为其中心点偏移量为中心点偏移头损失函数L
center
采用l1范数，如式(3)所示：式中表示模型预估的中心点偏移量；(c)边界框头边界框头用于估计每个锚...

【专利技术属性】
技术研发人员：茅耀斌，沈庆强，项文波，陈婷，吴敏杰，张伟，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：