一种基于深度学习图卷积网络的人脸识别底库筛选方法技术

本发明专利技术公开了一种基于深度学习图卷积网络的人脸识别底库筛选方法，该方法包括如下步骤：第一步，获取使用场景下的视频；第二步，根据使用场景的需要选取人脸识别网络作为主干网络，结合图卷积网络作为分支，构造出人脸图像质量评估模型，再对模型进行训练；第三步，从捕获的视频中检测人脸对象。第四步，使用口罩检测算法获取待选图像；第五步，添加部分干扰图像与上一步得到的待选图像一起输入到训练好的人脸识别底库图像筛选模型进行筛选，模型输出待检测图像中置信度分数最高的图像；第六步，将模型输出的高质量人脸图像作为底库保存。通过该方法进行人脸底库筛选，既保证了筛选效率和又保证了所筛选人脸图像的清晰度以及特征的完整性。及特征的完整性。

【技术实现步骤摘要】
一种基于深度学习图卷积网络的人脸识别底库筛选方法


[0001]本专利技术涉及计算机视觉、深度学习人脸识别以及智能监控领域，具体涉及一 种基于深度学习图卷积网络的人脸识别底库筛选方法。

技术介绍

[0002]随着我国人工智能方向的高速发展，人脸识别技术已广泛应用在各大领域， 不仅给人们的生活带来很大便利，也在很大程度上提高了公共场所的安全性；而 人脸识别的前提是要录入人脸底库信息，如果录入的底库图像质量较差，存在模 糊不清、五官遮挡等情况，那么在进行人脸识别信息比对时就很可能会识别错误； 因此选取合适的方法筛选出高清高质量的人脸图像作为底库信息在人脸识别中 起着至关重要的作用，它有助于提高人脸识别的准确性与稳定性。
[0003]目前对于人脸识别底库图像构建工作，大部分仍旧依靠人工进行筛选，从大 量人脸图像中筛选出高质量的清晰人脸作为识别底库；然而人工检测筛选存在明 显的缺陷：依赖工作人员经验，筛选过程中工作人员主观性过大，筛选结果无统 一标准；检测筛选耗时长，工作效率低下。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种基于深度学习图卷积网络的人 脸识别底库筛选方法，通过该模型进行人脸底库筛选，既保证了筛选效率和又保 证了所筛选人脸图像的清晰度以及特征的完整性；通过神经网络学习获得检测对 象最高质量的人脸图像作为底库，无需人工设置筛选阈值，减少人工经验不足带 来的影响。技术方案如下：
[0005]一种基于深度学习图卷积网络的人脸识别底库筛选方法，该方法包括如下步 骤：
[0006]第一步，获取使用场景下监控摄像头所拍摄到的视频。
[0007]第二步，根据使用场景的需要选取人脸识别网络作为主干网络，结合图卷积 网络作为分支，构造出人脸图像质量评估模型，再对模型进行训练。
[0008]第三步，从捕获的视频中检测人脸对象，对人脸的检测采取轻量级人脸检测 算法MTCNN。选取一个检测到的人脸对象作为目标，并对该目标进行标记，防 止下一轮检测被重复选择，再利用KCF目标跟踪算法，在之后的每一帧跟踪所 选目标，截取目标人脸所在帧图像并保存。
[0009]第四步，使用paddlehub口罩检测算法对第三步保存的图像进行检测，根据 检测结果将未佩戴口罩的图像保存，作为待选图像。
[0010]第五步，添加部分干扰图像与上一步得到的待选图像一起输入到训练好的人 脸识别底库图像筛选模型进行筛选，模型输出待检测图像中置信度分数最高的图 像。
[0011]第六步，将模型输出的高质量人脸图像作为底库保存。
[0012]优选的，第二步中人脸识别网络使用Resnet网络进行训练。
[0013]进一步的，人脸识别网络使用Resnet网络进行训练时，模型分两个阶段进 行训
练：
[0014]第一阶段：将带有标签的数据集作为输入先训练主干网络Resnet，用于提取 待检测图像的特征。
[0015]第二阶段：对GCN
‑
V网络进行训练：
[0016](1)构建数据集：
[0017]①
给定一个带有分类标签的数据集，利用经过训练的主干网络Resnet提取 给定数据集中每个图像的特征，形成一个特征集其中f
i
∈R
D
,D表示特 征维数，i∈{1,2,3
……
N}，N为给定数据集中图像的数量；定义每个图像特征f
i
为节点i，节点i与节点j之间的相似度表示为a
i,j
，a
i,j
是f
i
和f
j
之间的余弦相似 度，j∈{1,2,3
……
N}。
[0018]②
根据图像节点之间的相似度获取所有图像节点的近邻k个节点并以此构 建一个相似图G＝(V,E)，具体为：每个图像特征是属于V的节点，把与每个节点 自身相似度值按从大到小排序，取前K个节点作为该节点的邻居节点，即形成 该节点的邻域，顶点与邻居结点相连接，形成属于E的K条边，相似图可以表 示为顶点特征矩阵F'和邻接矩阵A，F'的大小为N
×
D,邻接矩阵A的大小为N
×
N， 在邻接矩阵A中，如果vi和vj不连接，则图像节点i与节点j之间的相似度a
i,j
更新为0。
[0019]③
求得ground
‑
truth置信度标签；由于数据集通常有很大的类内变化，即使 每个图像属于相同的类，也可能有不同的置信值。高置信度的图像类内特征较明 显，属于该类的概率大，低置信度图像则偏边缘化，类内特征较弱。基于这一特 点，根据每个节点的邻域定义该节点的置信度c
i
：针对当前节点所有邻接节点， 若与邻接节点类别一致则累加他们之间的相似度，若不是同一类则减去当前结点 与该邻接节点间的相似度，最后除以当前节点的邻接节点数得出节点置信度。
[0020](2)模型的训练：
[0021]①
模型的输入是上一步构建的数据集中的顶点特征矩阵F'和邻接矩阵A。
[0022]②
将特征矩阵F'和邻接矩阵A做聚合操作，再通过L层卷积层得到新的特 征，在网络最后一层线性层对新的特征进行回归得到预测的置信度值C'，
[0023]C'＝F
L
W+b
[0024]其中W是可训练的回归变量，b是可训练的偏差，L即图卷积的层数，可以 根据需要调整；节点v
i
的预测置信度可以从中相应的元素中提取，用表示。
[0025]③
通过最小化真实置信度和模型预测的置信度分数之间的均方误差(MSE) 训练模型。
[0026]优选的，第二步中主干网络不是固定的，可配合使用的要求随意替换为任意 需要的人脸识别网络。
[0027]优选的，第五步，具体为：
[0028](1)首先通过主干网络获取图像特征集
[0029](2)将主干网络输出的F进行处理：根据图像节点之间的相似度获取所有图 像节点的近邻k个节点，以此构建一个相似图G＝(V,E)，并表示为顶点特征矩 阵F'和邻接矩阵A。
[0030](3)将顶点特征矩阵F和邻接矩阵A作为GCN
‑
V网络的输入，通过GCN
‑
V 计算每个待
检测图像的置信度分数：C'＝F
L
W+b。
[0031](4)筛选出置信度分数最高的图像输出。
[0032]与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：基 于深度学习人脸识别网络、图卷积网络，构造人脸识别底库图像筛选模型，通过 该模型进行人脸底库筛选，既保证了筛选效率和又保证了所筛选人脸图像的清晰 度以及特征的完整性；同时还保证了一个对象只保留一张高质量图像作为底库。 同时通过神经网络学习获得检测对象最高质量的人脸图像作为底库，无需人工设 置筛选阈值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习图卷积网络的人脸识别底库筛选方法，其特征在于，该方法包括如下步骤：第一步，获取使用场景下监控摄像头所拍摄到的视频；第二步，根据使用场景的需要选取人脸识别网络作为主干网络，结合图卷积网络作为分支，构造出人脸图像质量评估模型，再对模型进行训练；第三步，从捕获的视频中检测人脸对象，对人脸的检测采取轻量级人脸检测算法MTCNN；选取一个检测到的人脸对象作为目标，并对该目标进行标记，防止下一轮检测被重复选择，再利用KCF目标跟踪算法，在之后的每一帧跟踪所选目标，截取目标人脸所在帧图像并保存；第四步，使用paddlehub口罩检测算法对第三步保存的图像进行检测，根据检测结果将未佩戴口罩的图像保存，作为待选图像；第五步，添加部分干扰图像与上一步得到的待选图像一起输入到训练好的人脸识别底库图像筛选模型进行筛选，模型输出待检测图像中置信度分数最高的图像；第六步，将模型输出的高质量人脸图像作为底库保存。2.根据权利要求1所述的一种基于深度学习图卷积网络的人脸识别底库筛选方法，其特征在于，第二步中人脸识别网络使用Resnet网络进行训练。3.根据权利要求2所述的一种基于深度学习图卷积网络的人脸识别底库筛选方法，其特征在于，人脸识别网络使用Resnet网络进行训练时，模型分两个阶段进行训练：第一阶段：将带有标签的数据集作为输入先训练主干网络Resnet，用于提取待检测图像的特征；第二阶段：对GCN
‑
V网络进行训练：(1)构建数据集：
①
给定一个带有分类标签的数据集，利用经过训练的主干网络Resnet提取给定数据集中每个图像的特征，形成一个特征集其中f
i
∈R
D
,D表示特征维数，i∈{1,2,3
……
N}，N为给定数据集中图像的数量；定义每个图像特征f
i
为节点i，节点i与节点j之间的相似度表示为a
i,，j
，a
i,j
是f
i
和f
j
之间的余弦相似度，j∈{1,2,3
……
N}；
②
根据图像节点之间的相似度获取所有图像节点的近邻k个节点并以此构建一个相似图G＝(V,E)，具体为：每个图像特征是属于V的节点，把与每个节点自身相似度值按从大到小排序，取前K个节点作为该节点的邻居节点，即形成该节点的邻域，顶点与邻居结点相连接，形...

【专利技术属性】
技术研发人员：王乾宇，周金明，张世坤，
申请(专利权)人：南京视察者智能科技有限公司，
类型：发明
国别省市：