一种基于图像搜索的在线人脸聚类方法技术

本发明专利技术公开了一种基于图像搜索的在线人脸聚类方法，包括：获取已经聚类分组为多个类别的已归档人像图片和新的人像图片；利用已训练好的卷积神经网络模型针对已归档人像图片和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；在数据库中对人脸特征向量进行类中心特征检索；基于类中心特征检索的结果判定人脸图像所属的类别并归档到数据库中。与现有技术相比，本发明专利技术可以实现快速的在线类中心计算以及人脸聚类。

【技术实现步骤摘要】
一种基于图像搜索的在线人脸聚类方法
本专利技术涉及计算机视觉、图像处理领域，特别是一种基于图像搜索的在线人脸聚类方法。
技术介绍
人脸识别技术近年无论是在学术界还是在视频监控、公共安全、门禁认证等领域，其研究和应用的表现已达到了较高的水平。而如何针对如此庞大的人脸数据库更好地赋能公共安全服务，以及如何利用这些信息资源将人脸识别准确率提升到一个新的水平，是目前存在的两个非常具有挑战性的任务。因此，有效利用未标记的人脸数据成为一种有吸引力的选择，即为无监督人脸聚类算法。人脸聚类分析旨在通过人脸之间的相似度，将庞大的人脸图像聚集成若干簇，即将未标记的数据利用为“伪类”的一种自然想法，使得这些数据可以像被标记的数据一样用于监督学习。常用的方法有K-means(K均值)聚类、谱聚类、层次聚类等方法，对未标记的人脸图像进行分组，这些方法有各自的优点但也有很多不足之处。例如，K-means方法需要预设聚类个数，即需要假定数据可能的类别数量，但实际积累的数据集中类中心数量是完全不确定的，比如谱聚类要求聚类的不同类别大小相对平衡，但实际并非如此。因此，当前的聚类方案缺乏具有复杂聚簇结构的能力，从而产生噪声聚类，尤其是应用在从实际场景中收集的大规模图像时，这个问题严重限制了性能指标的提高。此外，聚类算法的另一个较为严重的问题就是计算量巨大，尤其是当大规模数据下聚类时，目前常见聚类算法均耗时较长并不能满足实际工程需求。另外，某些场景下需要进行图像数据实时聚类入库，因此需要结合图像检索方法，实现一种在线的实时聚类算法。>
技术实现思路
本专利技术的目的是要解决现有技术中无法提供一种准确、高效的在线实时人像数据标签化、人脸识别一人一档构建方法的问题，提供一种基于图像搜索的在线人脸聚类方法。为达到上述目的，本专利技术是按照以下技术方案实施的：一种基于图像搜索的在线人脸聚类方法，包括以下步骤：S1、获取已经聚类分组为多个类别的已归档人像图片和新的人像图片；S2、利用已训练好的卷积神经网络模型针对已归档人像图片和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；S3、在数据库中对人脸特征向量进行类中心特征检索；S4、基于类中心特征检索的结果判定人脸图像所属的类别并归档到数据库中。进一步地，所述S2中利用已训练好的卷积神经网络模型提取已归档人像图片和新的人像图片的人脸特征向量具体包括：S21、截取已归档人像图片和新的人像图片中的人脸图像；S22、对人脸图像进行人脸关键点检测，并进行人脸矫正；S23、将矫正后的人脸图像输入到已训练好的卷积神经网络模型，输出多维的人脸特征向量。进一步地，所述S3具体包括：S31、采用特征加权方式计算类中心特征：设每个类别中的人脸特征集合为Fn＝{f1，f2，…fn}，则相应类别的类中心特征计算方法如式(1)所示：其中：fi表示一个类别中的第i个人脸特征；wi表示第i个人脸特征的权重；S32、采用量化特征类中心计算上述类中心特征：设每个人脸特征的权重为w＝{w1，w2，…，wn}，该类别的人脸特征集合为f＝{f1，f2，…，fn}，将特征值量化为：1→1，0→-1；然后计算权重，第i维中心特征为：fcen(i)＝w1·f1(i)+w2·f2(i)+…+wn·fn(i)＝w1-w2+…+wn(2）；最终，获得量化的特征类中心特征为S33、计算每个类别中的人脸特征的两两相似度，以其相似度得分构建相似度矩阵，得到相似得分矩阵后，计算新的人脸图像的人脸特征与该类别下其他人脸特征的平均相似度，计算公式如式(3)：其中，Si，j表示第i和第j个特征的相似度；S34、将计算结果按相似度进行排序，选取相似度最高的类别作为候选类别。进一步地，所述S4具体包括：S41、基于检索相似度对新的人脸图像归档，若与候选类别相似度高于预设阈值，则将该新的人脸图像归入该候选类别分组；若与候选类别相似度低于预设阈值，则新建一个类别分组，并将新的人脸图像归入该类别，则将该新的人脸图像的人脸特征作为该类的中心特征，其特征权重置为1.0；S42、若新的人脸图像归入已有类别，则更新所属类别的特征权重、特征中心等信息。进一步地，所述S42中更新所属类别的特征权重、特征中心等信息的具体步骤为：假设当前类别中有n个人脸特征，新的人脸特征为第n+1个特征，对权重wi以及类别中心特征fc进行更新：记当前类别的人脸特征集合为Fn＝{f1，f2，…fn}，其平均相似度之和为以及当前特征权重为则首先计算新的人脸特征与其他人脸特征的相似度序列，以及对应的平均相似度：得到新的人脸特征与已有人脸特征的相似度集合后，对已有的平均相似度进行更新处理：更新已有的平均相似度后，计算新的平均相似度之和以便计算后续权重：得到新的相似度总和后计算新的特征权重：由于则有：新特征的权重为：将新特征的权重带入公式(1)求得该类别的新的类中心特征。进一步地，还包括S5、在线聚类矫正；所述在线聚类矫正具体包括：S51、在已有聚类结果中，使用更高的相似度阈值找到最相似连接节点对集合；S52、对根据连接节点的联通关系将相似的节点重新聚合作为一类，将不满足阈值的断开，从而实现将错误结果中不同类别进行拆分；S53、因为子簇是通过连接节点对建立，其中较大簇会分裂为多个小簇，故而分裂后，通过邻接节点集合重合率进行再合并处理使得本属一类的数据尽量完整。本专利技术的原理为：本专利技术首先利用CNN(卷积神经网络)将图像表达为相应的特征，而后通过特征检索(即图像检索)的方式为新数据快速选取其归属类别；为提升图像检索速度以适应工程需求，本专利技术采用以类中心代表其整个类别进行新图像的入库检索，从而大幅提升检索速度。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术为人脸识别系统提供了一种自动化实时数据聚类功能，可在人脸识别的同时完成人脸数据的分类，自动完成在线一人一档的建立以及数据的标签化处理；2、本专利技术的类中心的检索方式以及量化类中心的使用可以有效地提升识别系统的效率以及系统资源占用；3、本专利技术的加权类中心的计算方案有效地提升了中心特征的精度，降低噪声的干扰，从而识别系统具有更强的鲁棒性；4、本专利技术的在线权重以及中心更新算法能够最大程度利用已有的计算信息，无需重新计算，从而大幅降低了聚类算法的计算代价。附图说明图1为本专利技术的流程图。图2为本专利技术的人脸特征权重计算原理图。图3为本专利技术的在线聚类矫正流程图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步的详细说明。此处所描述的具体实施例仅用于解释本专利技术，并不用于限定发本文档来自技高网...

【技术保护点】
1.一种基于图像搜索的在线人脸聚类方法，其特征在于，包括以下步骤：/nS1、获取已经聚类分组为多个类别的已归档人像图片和新的人像图片；/nS2、利用已训练好的卷积神经网络模型针对已归档人像图片和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；/nS3、在数据库中对人脸特征向量进行类中心特征检索；/nS4、基于类中心特征检索的结果判定人脸图像所属的类别并归档到数据库中。/n

【技术特征摘要】
1.一种基于图像搜索的在线人脸聚类方法，其特征在于，包括以下步骤：
S1、获取已经聚类分组为多个类别的已归档人像图片和新的人像图片；
S2、利用已训练好的卷积神经网络模型针对已归档人像图片和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；
S3、在数据库中对人脸特征向量进行类中心特征检索；
S4、基于类中心特征检索的结果判定人脸图像所属的类别并归档到数据库中。


2.根据权利要求1所述的基于图像搜索的在线人脸聚类方法，其特征在于，所述S2中利用已训练好的卷积神经网络模型提取已归档人像图片和新的人像图片的人脸特征向量具体包括：
S21、截取已归档人像图片和新的人像图片中的人脸图像；
S22、对人脸图像进行人脸关键点检测，并进行人脸矫正；
S23、将矫正后的人脸图像输入到已训练好的卷积神经网络模型，输出多维的人脸特征向量。


3.根据权利要求2所述的基于图像搜索的在线人脸聚类方法，其特征在于，所述S3具体包括：
S31、采用特征加权方式计算类中心特征：设每个类别中的人脸特征集合为Fn＝{f1，f2，…fn}，则相应类别的类中心特征计算方法如式(1)所示：



其中：fi表示一个类别中的第i个人脸特征；wi表示第i个人脸特征的权重；
S32、采用量化特征类中心计算上述类中心特征：
设每个人脸特征的权重为w＝{w1，w2，...，wn}，该类别的人脸特征集合为f＝{f1，f2，...，fn}，将特征值量化为：1→1，0→-1；然后计算权重，第i维中心特征为：
fcen(i)＝w1·f1(i)+w2·f2(i)+…+wn·fn(i)＝w1-w2+…+wn(2)；
最终，获得量化的特征类中心特征为
S33、计算每个类别中的人脸特征的两两相似度，以其相似度得分构建相似度矩阵，得到相似得分矩阵后，计算新的人脸图像的人脸特征与该类别下其他人脸特征的平均相似度，计算公式如式(3)：



其中，Si，j表示第i和第j个特征的相似度；
S34、将计算结果按相似度进行排序，选取相似度最高的类别作为候选...

【专利技术属性】
技术研发人员：张振斌，陈杰，
申请(专利权)人：博云视觉北京科技有限公司，
类型：发明
国别省市：北京;11