一种基于约束条件下的多图片多人脸的聚类方法技术

本发明专利技术公开了一种基于约束条件下的多图片多人脸的聚类方法，对于一张图片中的多张人脸图像，提取出人脸图像中的固有属性和特征，同时根据人脸图像之间的相似度和簇的关系来添加三角约束。使用条件随机场建立模型，结合各种约束条件使用置信度传播算法迭代优化目标，最后使用聚类评价方法评估聚类效果。通过实验我们发现，本专利方法不仅准确率很高，而且聚类的过程很快。

【技术实现步骤摘要】
一种基于约束条件下的多图片多人脸的聚类方法
本专利技术属于计算机视觉领域中对多张图片中多张人脸进行人脸聚类与识别。
技术介绍
图像聚类在模式识别和机器学习等领域中是一个重要的课题，其中人脸聚类也获得了广泛的关注与研究。在这个智能手机时代，照相机和摄像机随处可见，但是伴随的问题是存在着大量未添加标签的图片。通过人工添加标签的成本和精力很大，而使用聚类的方法对包含人脸的图片添加相应的标签以及人脸识别显得更加自动化和方便。使用聚类的方法对人脸图片进行分类，可以处理数据库中未带有真实身份的人脸图片，这在生活和军事中有很着重要的使用价值。使用聚类方法对人脸图片分类的一般流程是：通过机器学习或深度学习方法提取图片中的人脸特征，根据代表每张图片的特征向量对人脸图像分类，聚类的最佳结果是将属于同一个人的图片放在同一个类别中，将不属于同一个人的图片放在不同类别中。现在许多聚类的技术和产品关于人脸分类的效果已经很不错了，但是目前大多数针对的是包含一张人脸的图片，而没有考虑一张图片中包含多张人脸的情况。一张图片若存在多个人脸时，那么这多个人脸必定属于不同的身份。在视频中同一通道的图片若只包含单个人脸，则这些图片一定属于同一个人。对于视频中包含多张人脸的图片，可以使用传统聚类等方法对图片处理，从而将视频同一通道中属于同一个人的图片聚合在一起。
技术实现思路
专利技术目的：针对上述现有技术，提出一种基于约束条件下的多图片多人脸的聚类方法，提高聚类的速度和准确率。技术方案：一种基于约束条件下的多图片多人脸的聚类方法，包括如下步骤：步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵；步骤2：设置约束条件；所述约束条件包括人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通道多人脸属于不同人约束条件，所述相似度大于预设阈值A的人脸图像属于同一人约束条件，所述相似度小于预设阈值B的人脸图像属于不同人约束条件；根据所述约束件得到：其中，Yij表示人脸图像Xi,Xj是否属于同一个人，fk(Ck(Xi,Xj))表示对于人脸图像Xi,Xj在任意约束条件下的关系，若为1则表示属于同一个人，若为-1则表示属于不同人；步骤3：计算条件概率p(Yij|Xi,Xj)，求解p(Y|X)后验概率最大化问题，X表示样本，Y表示簇类；其中，采用条件随机场模型最大化所述后验概率，所述条件随机场模型表示为：其中，Z表示规范化因子，为所述相似度矩阵，表示人脸图像Xi,Xj,Xk之间相似度的约束性；定义三角关系W为：在聚类的过程中，如果任意两张人脸图像被分到一个簇，则表示这两张人脸图像属于同一个人，并且同一簇内表示每张人脸图像的节点之间互相连接，与其他簇内的节点不相连；若不同变量Yij,Yik,Yjk之间的三角关系不存在或是不连续，则W＝1；对于所述相似度矩阵中其他节点之间的三角关系，W则为：W(Yij,Yik,Yjk)＝(1-Yij)YikYjk+Yij(1-Yik)Yjk+YijYik(1-Yjk)其中，θ为超参数；对所述条件随机场模型取负对数，将最大值问题转化为最小值问题，则所述条件随机场模型的优化目标为：E(Y,X)＝∑M(Yij)+∑θW(Yij,Yik,Yjk)其中，一元势函数利用E(Y,X)对输入的人脸图像进行聚类。进一步的，使用循环置信度传播算法对取负对数后的条件随机场模型进行迭代和计算，迭代过程如下：首先定义变量Yij初始化时的信息由一元势函数产生：每一次迭代的过程中迭代信息表示为：其中，t表示迭代次数，t取1,2,…T，T表示最大的迭代次数；k∈Nt-1(i,j)表示跟结点i或者j相连的结点，Nt-1(i,j)表示跟结点i或者j相连的结点的集合；每次迭代过程中计算要加入的节点和当前节点之间的信息，选择信息值最小的k更新节点i和j，直到三角关系W＝0的节点不存在时为止：有益效果：以往的一些聚类方法没有考虑图片中人脸自带的信息和约束，也没有考虑对多人脸进行检测和识别。本专利通过统计图像中人脸的附带信息，记录多张人脸之间的约束和相似度对人脸图片之间关系的影响，最后通过三张人脸图像彼此之间的相似度约束来实现人脸聚类。这样不仅考虑了人脸聚类的准确率，还保证了人脸聚类的速度很快，达到不错的效果。具体实施方式下面对本专利技术做更进一步的解释。一种基于约束条件下的多图片多人脸的聚类方法，包括如下步骤：步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵。其中，预处理过程包括使用SeetaFace人脸识别引擎对每张图片进行五点定位，对提取到的人脸图像进行人脸矫正。任意两张人脸图像的相似度使用余弦函数计算。步骤2：设置约束条件，约束条件包括：人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通道多人脸属于不同人约束条件，相似度大于预设阈值A的人脸图像属于同一人约束条件，相似度小于预设阈值B的人脸图像属于不同人约束条件。其中，人脸固有属性包括性别、脸型、年龄，可以通过统计人脸图像或使用人脸属性分类器提取。根据相似度挑选出相似度极大或是极小的人脸图像对，将相似度极大的人脸图像对之间的关系设置为必定属于同一个人，反之则设置为必定不属于同一个人，将相似度极大或是极小的人脸图像对挑选出来，分别设置为1或者-1。则根据上述约束件，对人脸图像集集中的人脸图像X1,X2,…,Xn进行理得到：其中，Yij表示人脸图像Xi,Xj是否属于同一个人，fk(Ck(Xi,Xj))表示对于人脸图像Xi,Xj在任意约束条件下的关系，若为1则表示属于同一个人，若为-1则表示属于不同人。步骤3：计算人脸图像的条件概率p(Yij|Xi,Xj)，目标为求解p(Y|X)后验概率最大化问题，X表示样本，Y表示簇类。采用条件随机场模型最大化后验概率，条件随机场模型表示为：其中，Z表示规范化因子，为相似度矩阵，表示人脸图像Xi,Xj,Xk之间相似度的约束性。若三张人脸图像中两两之间相似度很大，那么这三张人脸图像属于同一个人的概率也就很大。在人脸聚类的过程中，使用机器学习或深度学习的方法提取人脸特征并且获取相应的特征向量，对特征向量进行合适的距离度量而得到人脸图片之间的相似度。根据相似度我们可以得知，相似度越大的图片越可能属于同一人，相似度越小的图片越有可能属于不同的身份。在聚类之前对图片数据集进行筛选，将相似度尽可能大或者小的图片挑选出来，这样就可以更好更快地进行人脸聚类。因此，定义三角关系W为：在聚类的过程中，如果任意两张人脸图像被分到一个簇，则表示这两张人脸图像属于同一个人，并且与簇内其他人脸图像之间的相似度很大，即同一簇内表示每张人脸图像的节点之间互相连接，与其他簇内的节点不相连。若不同变量Yij,Yik,Yik之间的三角关系不存在或是不连续，则W＝1；对于相似度矩阵中其他节点之间的三角关系，W则为：W(Yij,Yik,Yik)＝(1-Yij)YikYjk+Yij(1-Yik)Yjk+YijYik(1-本文档来自技高网...

【技术保护点】
1.一种基于约束条件下的多图片多人脸的聚类方法，其特征在于，包括如下步骤：步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵；步骤2：设置约束条件；所述约束条件包括人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通道多人脸属于不同人约束条件，所述相似度大于预设阈值A的人脸图像属于同一人约束条件，所述相似度小于预设阈值B的人脸图像属于不同人约束条件；根据所述约束件得到：

【技术特征摘要】
1.一种基于约束条件下的多图片多人脸的聚类方法，其特征在于，包括如下步骤：步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵；步骤2：设置约束条件；所述约束条件包括人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通道多人脸属于不同人约束条件，所述相似度大于预设阈值A的人脸图像属于同一人约束条件，所述相似度小于预设阈值B的人脸图像属于不同人约束条件；根据所述约束件得到：其中，Yij表示人脸图像Xi,Xj是否属于同一个人，fk(Ck(Xi,Xj))表示对于人脸图像Xi,Xj在任意约束条件下的关系，若为1则表示属于同一个人，若为-1则表示属于不同人；步骤3：计算条件概率p(Yij|Xi,Xj)，求解p(Y|X)后验概率最大化问题，X表示样本，Y表示簇类；其中，采用条件随机场模型最大化所述后验概率，所述条件随机场模型表示为：其中，Z表示规范化因子，为所述相似度矩阵，表示人脸图像Xi,Xj,Xk之间相似度的约束性；定义三角关系W为：在聚类的过程中，如果任意两张人脸图像被分到一个簇，则表示这两张人脸图像属于同一个人...

【专利技术属性】
技术研发人员：张立言，罗恒利，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32