一种面部识别和聚类的联合嵌入方法技术

本发明专利技术公开了一种面部识别和聚类的联合嵌入方法，包括：将目标样本图像、正样本图像、以及负样本图像作为三元组，定义三元组的损失；从三元组中选择违反三元组等式约束的正样本图像与负样本图像，作为临界正样本图像与临界负样本图像；对临界负样本图像进行筛选获取半临界负样本图像；对半临界负样本图像进行嵌入函数模型的学习，以此加快训练模型的收敛速度，同时避免折叠模型；在分类准确率和每秒浮点计算量间进行权衡，从6种深度神经网络模型中进行深度神经网络的选择；训练模型并在测试集上进行测试，测试模型准确度、选择嵌入维度。本发明专利技术直接优化嵌入函数本身，降低了表示向量的维数，使得面部验证、面部识别、以及聚类任务变得简单。

A joint embedding method for face recognition and clustering

The invention discloses a method, a combined embedded face recognition and clustering include: the target sample image, image, positive samples and negative sample images as three tuple, definition three tuple loss; positive sample and negative sample selection of image image in violation of the three tuple constraints from three tuples, as a critical positive sample image the critical and negative sample image; on the critical negative samples were screened to obtain semi critical negative image sample image; embedding function model on the critical negative sample image study, in order to speed up the convergence speed of the training model, and avoid the folding model; trade-offs between the classification accuracy and the second floating-point calculation, the depth of the neural network from 6 kinds of depth in a neural network model selection; training model and tested on the test set, the test model accuracy, choice of embedding dimension. The invention directly optimizes the embedding function itself, reduces the dimension of the representation vector, and makes the face verification, face recognition, and clustering tasks simple.

【技术实现步骤摘要】
一种面部识别和聚类的联合嵌入方法
本专利技术涉及面部识别领域，尤其涉及一种面部识别和聚类的联合嵌入方法。
技术介绍
现有技术中存在多种对面部识别的方法，包括如下：基于深度神经网络的方法采用了分类层，该分类层在由已知面孔构成的训练集上训练得到。此外，还采用了中间瓶颈层作为表示向量来进行泛化，从而使分类层能更好地识别新面孔，这种方法的缺点是间接性和低效性：该方法要求中间瓶颈层的表示向量对于新面孔的泛化效果足够好，此外，每个面孔的瓶颈层的表示向量的维数通常很大。还有一些方法采用主成分分析(PrincipalComponentAnalysis,PCA)进行降维，如：参考文献[1,2,3]的工作都采用多级复杂系统，将深层卷积网络的输出、与用于降维的PCA、以及用于分类的SVM(支持向量机)组合。然而主成分分析方法只是简单的线性变换，可以很容易的在网络中的某一层学习得到。Sun等人[1]提出一个紧凑，相对低廉的计算网络。主要区别是仅比较图像对，而缺点是相对距离约束较小。
技术实现思路
本专利技术提供了一种面部识别和聚类的联合嵌入方法，本专利技术避免了中间瓶颈层，直接优化嵌入函数本身，降低了表示向量的维数，使得面部验证、面部识别、以及聚类任务变得简单，详见下文描述：一种面部识别和聚类的联合嵌入方法，所述方法包括以下步骤：将目标样本图像、正样本图像、以及负样本图像作为三元组，定义三元组的损失；从三元组中选择违反三元组等式约束的正样本图像与负样本图像，作为临界正样本图像与临界负样本图像；对临界负样本图像进行筛选获取半临界负样本图像；对半临界负样本图像进行嵌入函数模型的学习，以此加快训练模型的收敛速度，同时避免折叠模型；在分类准确率和每秒浮点计算量间进行权衡，从6种深度神经网络模型中进行深度神经网络的选择；训练模型并在测试集上进行测试，测试模型准确度、选择嵌入维度。其中，所述目标样本图像是在所述正样本图像与所述负样本图像之间强制的余量；所述正样本图像与所述目标样本图像来自于同一人，所述负样本图像与所述目标样本图像来自不同人。其中，所述三元组的损失具体为：其中，x表示图像，a表示目标样本图像，p表示正样本图像，n表示负样本图像，i表示三元组，f表示嵌入函数，将一幅图像映射到一个点，N表示三元组的总数，α为在正样本图像p与负样本图像n之间强制的余量。其中，所述对临界负样本图像进行筛选获取半临界负样本图像具体为：满足上式的样本图像即为半临界负样本图像；其中，x表示图像，a表示目标样本图像，p表示正样本图像，n表示负样本图像，i表示三元组，f表示嵌入函数，将一幅图像映射到一个点。本专利技术提供的技术方案的有益效果是：1、本方法只需要最小的对齐(围绕面部区域紧密作物)即可；2、本方法在各种图像尺寸范围内具有鲁棒性，对于JPEG压缩具有令人惊讶的鲁棒性，并且在JPEG质量为20时效果较好。3、本方法采用的端到端训练(即优化嵌入函数本身)既简化了设置，也表明直接优化嵌入函数与手头任务相关的损耗可提高方法的性能。附图说明图1为一种面部识别和聚类的联合嵌入模型的流程图；图2为NN1(神经网络1)模型的网络结构示意图；图3为NN2(神经网络2)模型的网络结构示意图；图4为4个不同模型的完整受试者工作特征曲线示意图(receiveroperatingcharacteristiccurve，简称ROC曲线)；图5为网络架构性能对比示意图；图6为测试模型对图像质量的稳定性示意图；图7为测试嵌入维度示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。本专利技术实施例提出了一个联合方法，用于面部验证、面部识别、以及聚类。本方法是采用深度卷积网络学习图像的欧几里得嵌入函数。探索了两种不同的深度网络架构，两者都是深层卷积网络[4,5]。第一种架构基于Zeiler&Fergus[6]模型，该灵感来自参考文献[7]的工作。第二种架构基于Szegedy等人的Inception模型[8]。一旦上述嵌入函数产生，
技术介绍
中提到的任务就会变得很直接：面部验证只需要限定两个嵌入之间的距离，面部识别成为k-NN(k最近邻)分类问题；并且可以使用诸如k-均值或聚集聚类的现成技术实现聚类，详见下文描述：实施例1为了解决以上问题，需要能够进行端到端训练的方法。研究表明：使用中间瓶颈层的缺点是间接性和低效性。本专利技术实施例提出了面部识别和聚类的联合嵌入方法，参见图1，详见下文描述：101：将目标样本图像、正样本图像、以及负样本图像作为三元组，定义三元组的损失；其中，三元组的损失用于评估模型的指标，在后续步骤中获取到嵌入函数后，进行三元组损失的计算，损失最小是分类模型，验证模型，聚类模型共同的目标。102：从三元组中选择违反三元组等式约束的正样本图像与负样本图像，作为临界正样本图像与临界负样本图像；对临界负样本图像进行筛选获取半临界负样本图像；103：对半临界负样本图像进行嵌入函数模型的学习，以此加快训练模型的收敛速度，同时避免折叠模型；104：在分类准确率和每秒浮点计算量间进行权衡，从6种深度神经网络模型中进行深度神经网络的选择；训练模型并在测试集上进行测试，测试模型准确度、选择嵌入维度。其中，目标样本图像是在正样本图像与负样本图像之间强制的余量；正样本图像与目标样本图像来自于同一人，负样本图像与目标样本图像来自不同人。其中，三元组的损失具体为：其中，x表示图像，a表示目标样本图像，p表示正样本图像，n表示负样本图像，i表示三元组，f表示嵌入函数，将一幅图像映射到一个点，N表示三元组的总数，α为在正样本图像p与负样本图像n之间强制的余量。其中，对临界负样本图像进行筛选获取半临界负样本图像具体为：满足上式的样本图像即为半临界负样本图像；其中，x表示图像，a表示目标样本图像，p表示正样本图像，n表示负样本图像，i表示三元组，f表示嵌入函数，将一幅图像映射到一个点。综上所述，本专利技术实施例通过上述步骤101-步骤104避免了中间瓶颈层，直接优化嵌入函数本身，降低了表示向量的维数，使得面部验证、面部识别、和聚类任务变得简单，满足了实际应用中的多种需要。实施例2下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：201：将目标样本图像、正样本图像、以及负样本图像作为三元组，定义三元组的损失；将约束嵌入定义在d维超球面上，即||f(x)||2＝1，f(x)为将输入图像映射到向量的嵌入函数。为了使同一个人的面部图像间的距离小于其和另外一个人的面部图像间的距离，需要满足三元组等式约束：其中，x表示图像，a表示目标样本图像，p表示正样本图像，n表示负样本图像，i表示三元组，f表示嵌入函数，将一幅图像映射到一个点。T表示所有三元组的集合，其包含的三元组的总数为N。目标样本图像α是在正样本图像p与负样本图像n之间强制的余量。其中，同一个人对应多张面部图像，选择其中任意一张图像作为目标图像，然后再选择正样本图像和目标图像，需满足的条件为：正样本图像p与目标样本图像α来自于同一个人，负样本图像n与目标样本图像α来自于不同的人。三元组损失公式如下:其中，+表示加法。202：从三元组中选择违反三元组等式约束的正样本图像p与负样本图像n，作本文档来自技高网...

【技术保护点】
一种面部识别和聚类的联合嵌入方法，其特征在于，所述方法包括以下步骤：将目标样本图像、正样本图像、以及负样本图像作为三元组，定义三元组的损失，用于得到嵌入函数后对模型进行评估；从三元组中选择违反三元组等式约束的正样本图像与负样本图像，作为临界正样本图像与临界负样本图像；对临界负样本图像进行筛选获取半临界负样本图像；对半临界负样本图像进行嵌入函数模型的学习，以此加快训练模型的收敛速度，同时避免折叠模型；在分类准确率和每秒浮点计算量间进行权衡，从6种深度神经网络模型中进行深度神经网络的选择；训练模型并在测试集上进行测试，测试模型准确度、选择嵌入维度。

【技术特征摘要】
1.一种面部识别和聚类的联合嵌入方法，其特征在于，所述方法包括以下步骤：将目标样本图像、正样本图像、以及负样本图像作为三元组，定义三元组的损失，用于得到嵌入函数后对模型进行评估；从三元组中选择违反三元组等式约束的正样本图像与负样本图像，作为临界正样本图像与临界负样本图像；对临界负样本图像进行筛选获取半临界负样本图像；对半临界负样本图像进行嵌入函数模型的学习，以此加快训练模型的收敛速度，同时避免折叠模型；在分类准确率和每秒浮点计算量间进行权衡，从6种深度神经网络模型中进行深度神经网络的选择；训练模型并在测试集上进行测试，测试模型准确度、选择嵌入维度。2.根据权利要求1所述的一种面部识别和聚类的联合嵌入方法，其特征在于，所述目标样本图像是在所述正样本图像与所述负样本图像之间强制的余量；所述正样本图像与所述目标样本图像来自于同一人，所述负样本图像与所述目标样本图像来自不同人。3.根据权利要求1所述的一种面部识别...

【专利技术属性】
技术研发人员：聂为之，刘琛琛，刘安安，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12