一种基于图卷积的人脸聚类优化方法技术

本发明专利技术公开了一种基于图卷积的人脸聚类优化方法，通过人脸特征F以及人脸特征相似度，人脸图像质量分；使用人脸特征相似度与人脸图像质量分构建人脸特征相似图，得到GCN网络输入数据；将得到含有点属性矩阵和邻接矩阵的每个图样本与GCN网络进行重建，并通过重建后GCN网络输出每个图样本中每个人脸节点是否属于该人脸类别结果；根据输出的人脸类别结果进行判定，如果某一人脸不属于这个类，则将该人脸从此类中移除，同时，对距离该类有较高相似度的人脸进行核验，如果待核验人脸属于该类别，则将该人脸加入此类别中；实现了人脸聚类优化与提纯的目的。人脸聚类优化与提纯的目的。人脸聚类优化与提纯的目的。

【技术实现步骤摘要】
一种基于图卷积的人脸聚类优化方法


[0001]本专利技术涉及模式识别与计算机视觉
，具体为一种基于图卷积的人脸聚类优化方法。

技术介绍

[0002]随着视频监控布署的普及和视频网络直播业务的爆炸式增长，越来越多数视频数据需要进行分析和处理，其中一种比较高效方法即是以视频行为主体为分析对象(人)进行归类进一步分析处理。虽然深度的学习技术的提出推动了人脸识别技术飞速发展，识别精度也达到或超过人类的识别水平，然而，非匹配合场景下的视频中人脸识别问题由于姿态、光照、模糊等诸多因素影响一直没有得到很好的解决，当前深度人脸识别算法往往需要海量标注的人脸数据，而基于无监督的人脸聚类算法是提供大量人脸标注的有效方法，其中人脸聚类算法是对于大量无标注的人脸数据按人物身份进行归类，即同一个人的人脸数据图像归为一类或一个簇，在视频数据有效分析与处理中起到至关重要的作用。当前人脸聚类算法由于人脸数据多类噪音的影响往往出现聚类精度不高，聚类错误积加等问题。因此我们对此做出改进，提出一种基于图卷积的人脸聚类优化方法。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供了如下的技术方案：
[0004]本专利技术一种基于图卷积的人脸聚类优化方法，包括以下几个步骤，
[0005]步骤1、数据集准备与预处理；使用预训练人脸识别模型提取待训练人脸识别数据，得到人脸特征F以及人脸特征相似度，对于每一个人脸特征F一般表示为p维人脸特征向量，则有F∈R
p
；随后使用人脸图像质量判定方法对待训练人脸识别数据的人脸图像进行判定，人脸图像质量分类值Q，以及得到人脸图像质量分；
[0006]步骤2、使用人脸特征相似度与人脸图像质量分构建人脸特征相似图，得到GCN网络输入数据；是通过图神经网络G＝{V，E，A}利用人脸特征相似度与人脸图像质量分构建输入样本图T
i
，并得到每个图样本中的节点属性矩阵和邻接矩阵
[0007]步骤3、将得到含有点属性矩阵和邻接矩阵的每个图样本与GCN网络进行重建，并通过重建后GCN网络输出每个图样本中每个人脸节点是否属于该人脸类别结果；
[0008]步骤4、根据输出的人脸类别结果进行判定，如果某一人脸不属于这个类，则将该人脸从此类中移除，同时，对距离该类有较高相似度的人脸进行核验，如果待核验人脸属于该类别，则将该人脸加入此类别中；实现了人脸聚类优化与提纯的目的。
[0009]作为本专利技术的一种优选技术方案，所述的步骤2中，使用人脸特征相似度与人脸图像质量分构建人脸特征相似图，得到GCN网络输入数据；是通过图神经网络G＝{V，E，A}利用人脸特征相似度与人脸图像质量分构建输入样本图T
i
，并得到每个图样本中的节点属性
矩阵和邻接矩阵的方法是，
[0010]其中图神经网络G＝{V，E，A}表示由若干节点V，若干连边E和邻接关系矩阵A组成的图神经网络，其中每个节点具有d维属性向量，当一个图存在N个节点，则图神经网络输入的节点属性矩阵X∈R
N
×
D
和邻接矩阵A∈R
N
×
N
，设v
i
∈V，e
ij
＝(v
i
，v
j
)∈E作为节点Vi与节点Vj的一条连边，则NxN邻接矩阵A，其中A
ij
＝w
ij
＞0如果c
ij
∈E，A
ij
＝w
ij
＝0如果
[0011]其中，通过D表示人脸识别训练数据集，用表示某个人脸训练图像样本，其中i表示训练人脸ID中第i号人脸ID，j表示第i号人脸ID下第j张人脸图像，同样，用表示人脸图像样本人脸特征向量，用表示人脸图像样本人脸图像质量分数，对图神经网络G＝{V，E，A}一个输入样本T
i
从某一人脸ID下随机采样k个人脸样本作为正样本，k小于该ID下人脸样本总数N，一般k大于3，选取H集合中最优质量人脸样本为作为优质节点样本，再从不属于i的人脸ID样本随机选取i个人脸样本做为异常节点样本且通常取i小于等于5，其中被标记为正样本类别标签为0，被标记为异常样本类别标签为1，并在样本间使用人脸向量间求得的相似度距离，并建立节点间邻接关系形成一个图神经网络一个输入样本图；
[0012]其中，X∈R
N
×
D
表示为图神经网络G＝{V，E，A}输入的节点属性矩，其中节点属性向量个数即是正样本和异常样本个数和，建立人脸节点的属性数据向量，节点属性数据向量由节点间相似度计算得到，定义V
ij
为不同人脸图像样本间相似度，则有M
ij
＝φ(F
i
，F
j
)；其中人脸节点属性包括：与优质节点相似度，节点与其他节点中最优相似度，节点与其他节点中次优相似度、和节点与其他节点中最差相似度；根据人脸节点属性构建节点属性数据；
[0013]综上，采样图神经网络图神经网络输入样本图集合K，其中每个图样本均由节点属性矩阵和邻接矩阵组成，从而作为GCN网络的输入数据。
[0014]作为本专利技术的一种优选技术方案，将得到含有点属性矩阵和邻接矩阵的每个图样本与GCN网络进行重建，并通过重建后GCN网络输出每个图样本中每个人脸节点是否属于该人脸类别结果的方法是，利用图卷积神经网络聚合来自其邻居节点的特征信息来封装每个节点的隐藏表示；具体为，在特征聚合之后，将非线性变换应用于结果输出，采用如下公式更新隐藏层节点属性状态：
[0015][0016]其中表示度矩阵，X
(l)
表示节点在第l层特征，X
(l+1)
表示节点在第l+1层特征，W
(l)
表示第l层权重，获得每个节点的图感知的隐藏状态，对于每个节点，它的隐藏状态包含了来自邻居节点的信息，在最后一层GCN网络输出每个节点状态为二分类向量，用以表示该节点是否属于本个类别，根据公式
构建2～3层图卷积神经网络网络模型，然后利用重新构建的GCN网络对每个图样本中每个人脸节点是的人脸类别结果进行识别，并输出识别类别结果。
[0017]作为本专利技术的一种优选技术方案，还包括步骤5、对GCN网络训练，是以步骤2中所示步骤构建GCN网络的输入样本，构建生成数据样本过程中，以70％的比率构建难例样本，即在选取正样本采样过程中，优选与本批次质优样本相似度较低样本，选取异常样本时，优选采样与正样本相似度较高的样本数据，将GCN网络的输入样本数据按3∶1∶1比率分为训练数据、验证数据和测试数据，使用步骤4构建的GCN网络在训练集上进行训练，同时在验证集上验证精度，待在验证集上精度不再上升时，停止训练并在测试集上测试结果，最近保存GCN网络模型训练权重参数文件。
[0018]本专利技术的有益效果是：
[0019]该种基于图卷积的人脸聚类优化方法通过使用预训练人脸识别模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的人脸聚类优化方法，其特征在于：包括以下几个步骤，步骤1、数据集准备与预处理；使用预训练人脸识别模型提取待训练人脸识别数据，得到人脸特征F以及人脸特征相似度，对于每一个人脸特征F一般表示为p维人脸特征向量，则有F∈R
p
；随后使用人脸图像质量判定方法对待训练人脸识别数据的人脸图像进行判定，人脸图像质量分类值Q，以及得到人脸图像质量分；步骤2、使用人脸特征相似度与人脸图像质量分构建人脸特征相似图，得到GCN网络输入数据；是通过图神经网络G＝{V，E，A}利用人脸特征相似度与人脸图像质量分构建输入样本图T
i
，并得到每个图样本中的节点属性矩阵和邻接矩阵步骤3、将得到含有点属性矩阵和邻接矩阵的每个图样本与GCN网络进行重建，并通过重建后GCN网络输出每个图样本中每个人脸节点是否属于该人脸类别结果；步骤4、根据输出的人脸类别结果进行判定，如果某一人脸不属于这个类，则将该人脸从此类中移除，同时，对距离该类有较高相似度的人脸进行核验，如果待核验人脸属于该类别，则将该人脸加入此类别中；实现了人脸聚类优化与提纯的目的。2.根据权利要求1所述的一种基于图卷积的人脸聚类优化方法，其特征在于，所述的步骤2中，使用人脸特征相似度与人脸图像质量分构建人脸特征相似图，得到GCN网络输入数据；是通过图神经网络G＝{V，E，A}利用人脸特征相似度与人脸图像质量分构建输入样本图T
i
，并得到每个图样本中的节点属性矩阵和邻接矩阵的方法是，其中图神经网络G＝{V，E，A}表示由若干节点V，若干连边E和邻接关系矩阵A组成的图神经网络，其中每个节点具有d维属性向量，当一个图存在N个节点，则图神经网络输入的节点属性矩阵X∈R
N
×
D
和邻接矩阵A∈R
N
×
N
,设v
i
∈V,e
ij
＝(v
i
，v
j
)∈E作为节点Vi与节点Vj的一条连边，则NxN邻接矩阵A，其中A
ij
＝ω
ij
＞0如果c
ij
∈E,A
ij
＝w
ij
＝0如果其中，通过D表示人脸识别训练数据集，用表示某个人脸训练图像样本，其中i表示训练人脸ID中第i号人脸ID，j表示第i号人脸ID下第j张人脸图像，同样，用表示人脸图像样本人脸特征向量，用表示人脸图像样本人脸图像质量分数，对图神经网络G＝{V，E，A}一个输入样本T
i
从某一人脸ID下随机采样k个人脸样本作为正样本，k小于该ID下人脸样本总数N，一般k大于3，选取H集合中最...

【专利技术属性】
技术研发人员：毕海，徐晓刚，李冠华，
申请(专利权)人：杭州云栖智慧视通科技有限公司，
类型：发明
国别省市：