一种基于多分支网络和图像修复的戴口罩人脸识别方法技术

一种基于多分支网络和图像修复的戴口罩人脸识别方法属于遮挡人脸识别领域。遮挡本身的存在比被遮挡丢失的特征对人脸识别效果的影响更大，因此通常被丢弃。本发明专利技术提出利用遮挡信息的特征来提高识别率。本发明专利技术提出了一个五分支戴口罩人脸识别网络QMFRN，设计了一个新的损失函数，将戴口罩人脸图像的特征作为损失函数的元素，利用了口罩的特征减小类间距离和增大类间距离。首先利用无遮挡人脸图像生成戴口罩人脸图像，然后利用戴口罩的人脸图像生成修复后的无遮挡人脸图像。该数据集的构建只需要采集无遮挡的人脸，不需要采集戴口罩的人脸，数据的获取十分方便。数据的获取十分方便。数据的获取十分方便。

【技术实现步骤摘要】
一种基于多分支网络和图像修复的戴口罩人脸识别方法


[0001]本专利技术属于遮挡人脸识别领域，提出了一种戴口罩人脸识别方法。

技术介绍

[0002]人脸识别技术对维护社会治安和公共安全具有重大意义，无需识别对象的主动配合即可完成。工业界已经有很多成熟的人脸识别算法模型达到了商用水准，理想条件下的人脸识别率接近100％。由于对人脸图像的质量要求不高，采集成本低，人脸识别系统已经广泛应用于日常生活中的许多场景。
[0003]然而真实条件下采集到的人脸图像可能会受到遮挡，造成人脸特征丢失，使现有人脸识别系统的准确率大幅下降。现有实验表明，人脸被遮挡的比例越大，人脸识别的准确率就越低。当用余弦相似度对提取的人脸特征进行分类识别时，若遮挡的比例超过50％，识别率会降至60％；若遮挡超过75％，此时几乎无法识别。
[0004]遮挡人脸识别研究目前处于早期阶段，在实际应用中具有很大的潜力。在新冠疫情等特殊时期，为了减少人们的接触和降低新冠传播的可能，外出时必须戴上口罩，这种有遮挡的情况很常见。人们通过人脸识别系统时需要摘下口罩，这增加了感染的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多分支网络和图像修复的戴口罩人脸识别方法，其特征在于包括以下步骤：步骤1：输入无遮挡的人脸数据集，生成戴口罩人脸数据集具体包括以下子步骤：步骤1.1：使用深度对齐网络DAN进行人脸关键点检测；步骤1.2：根据关键点计算口罩的尺寸，利用鼻梁和下巴组成的垂直线计算偏移角度；步骤1.3：将口罩图像缩放成对应的尺寸添加到人脸对应的区域，并旋转相应的角度；步骤2：利用戴口罩人脸数据集，生成修复后的人脸数据集；具体包括以下子步骤：步骤2.1：使用目标检测与定位方法找出人脸上的口罩，将口罩去除，当做缺失的区域，用一种颜色填充该区域；步骤2.2：使用EdgeConnect模型对步骤2.1中处理后的图片进行人脸修复；步骤3：将无遮挡的人脸图片、戴口罩人脸图片和去口罩后修复的人脸图片作为遮挡人脸识别的训练集；步骤4：使用步骤3的数据集构建五元组，提出一种基于该五元组的度量损失函数，用该损失函数训练一个共享参数的五分支戴口罩人脸识别网络，其骨干网络选取resnet或vgg；具体包括以下子步骤：步骤4.1：以数据集中的一张无遮挡图片作为anchor，以同一个人去口罩后修复的人脸图片作为PU(无遮挡正样本),以同一个人的戴口罩人脸图作为PM(遮挡正样本)；以另一个人的去口罩后修复的人脸图片作为NU(无遮挡负样本),其戴口罩人脸图作为NM(遮挡负样本)；这五张图片构成一组五元组；步骤4.2：训练一个参数共享的五分支戴口罩人脸识别网络，以五元组作为输入，每个分支得到各自的embedding，分别记为f(Anchor)，f(PU)，f(PM)，f(NU)，f(NM)；损失函数如下：m为anchor和正例的距离与anchor的负例的距离的最小间隔；当anchor和负例的距离与anchor和正例的距离的差值小于m时，损失为0；当anchor和负例的距离与anchor和正例的距离的差值大于m时，损失为括号里的值；步骤5：将无遮挡人脸图像作为数据集，使用FaceNet模型训练一个无遮挡的人脸检测网络；步骤6：使用步骤2中训练的QMFRN网络对戴口罩的人脸进行识别。2.根据权利要求1所述的方法，其特征在于：(1)输入的是无遮挡人脸数据集；首先使用深度对齐网络DAN进行人脸关键点检测；关键点检测流程如下：初始时将原始图像的灰度图I输入前馈神经网络得到偏移量，并与关键点的初始化评估S0相加，预测出新的关键点位置S1；计算出从S0到S1的变换矩阵T2；然后进入卷积网络，
分别得到变换后的图像T2(I)，关键点热图H2和前馈网络的fc1层的输出F2；将这三个元素作为下一个阶段的前馈网络的输入；关键点热图通过以下公式得到：其中(x,y)为像素的位置，si为Tt(St
‑
1)的第i个关键点的坐标；然后进入迭代阶段，把Tt(St
‑
1)加上前馈网络的输出，再做一个Tt的反变换得到St；然后计算出从St
‑
1到St的变换矩阵Tt+1；最后将St输入卷积网络，计算出变换后的图像Tt+1(I),关键点热图Ht+1和fc1层的输出Ft+1，作为下一个阶段的输入；将变换后的图像Tt+1(I)、关键点热图Ht+1和全连接层fc1的输出特征Ft+1作为下一个阶段的输入，计算新的St+1；迭代完成后得到68个人脸关键点；然后利用人脸两侧的关键点2和16的欧式距离计算出口罩的宽，利用鼻梁处的关键点28和人脸正下方的关键点9计算口罩的高度，并结合垂直线计算口罩的偏移角度；将口罩图像缩放成对应的尺寸添加到人脸对应的区域，并旋转相应的角度，得到戴口罩人脸图像；(2)将戴口罩人脸图像上的口罩去除，用白色填充该区域，将该图片记为Igt；使用EdgeConnect模型对图片Igt进行人脸修复，分为边图生成和图像补全两个部分；边图生成：图像掩码为M(缺失区域为1，非缺失区域为0)，图像的灰度图为Igray，使用canny算子计算出初始的边图Cgt；canny边缘检测的第一步是使用高斯滤波来减少噪声；用高斯核扫描整个图像，每次将图像的像素与高斯核的对应元素相乘后求和，求和结果作为高斯核中心对应的位置的像素；高斯核由以下公式得到：(x,y)为高斯核像素点的坐标，中心点坐标为(0,0)；σ是高斯函数的方差，用来控制滤波的程度；对于此类图像，当σ取值为1.2
‑
1.5时，错误的边缘很少且检测出的边缘与实际的边缘接近，边缘检测效果达到最优，在此范围内σ可任意取值；计算出高斯核后再对高斯核进行归一化处理；第二步是...

【专利技术属性】
技术研发人员：刘博，周悦，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：