一种基于流形对齐和多图嵌入的人脸姿态对齐方法技术

本发明专利技术公开了一种基于流形对齐和多图嵌入的人脸姿态对齐方法,包括以下步骤：步骤1，根据流形中部分对应信息构建流形间的相似度矩阵；步骤2，采用多图嵌入的方法分别构造流形X，Y的局部几何结构；步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型求解，通过对每个图的权重进行更新来寻找最合适的多图组合方式，以得到更合理的投影向量p和q；步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，以使X和Y中的人脸姿态在低维空间中达到对齐的效果。

A Face Pose Alignment Method Based on Manifold Alignment and Multi-Graph Embedding

The invention discloses a face pose alignment method based on manifold alignment and multi-graph embedding, which includes the following steps: step 1, constructing similarity matrix among manifolds according to some corresponding information in manifolds; step 2, using multi-graph embedding method to construct local geometric structures of manifolds X and Y respectively; step 3, constructing an optimization model of feature vectors, combining similarity matrix with local geometric structures. Geometric structure is used to solve the optimization model. By updating the weights of each graph, the most suitable combination of multiple graphs can be found to obtain more reasonable projection vectors P and q. Step 4, X and Y are mapped to low-dimensional space through the obtained projection vectors P and q, so that the face pose in X and Y can be aligned in low-dimensional space.

【技术实现步骤摘要】
一种基于流形对齐和多图嵌入的人脸姿态对齐方法
本专利技术属于模式识别领域，尤其涉及一种基于流形对齐和多图嵌入的人脸姿态对齐方法。
技术介绍
随着科学技术的飞速发展，如今在机器学习、大数据分析等诸多领域所获取的数据往往具有非常高的维度，因此，这些数据的内在规律很难被直接观察和学习，给科研学习和工作带来了很大不便。所幸，降维技术作为处理大规模高维数据并提取数据中有效信息的手段被提了出来并取得了良好的表现。流形学习的提出是非线性降维技术的一个重大突破。流行学习假设数据是均匀采样于一个高维欧式空间中的低维流形，并通过构造高维数据点之间的局部线性结构，利用这些局部邻域结构把高维数据映射到低维空间，得到数据间固有的低维信息。本专利技术涉及到的流行学习方法有：局部保持投影(LPP)、邻域保持嵌入(NPE)。由于传统的降维方法不适合处理分布在多个不同维度空间并存在联系的数据，比如图像和文本的匹配、图像分割等，近年来，一些流行对齐方法被相继提出。流行对齐算法的目的是根据提供的对应信息把不同流形映射到一个共有的低维空间中，并在这个过程中匹配对应的样本以及保持每个流形的几何结构。除此之外，在对齐过程中得到投影向量还可以应用到新的测试样本中以实现人脸识别、图像分类等工作。当然，流行对齐算法也存在一些局限：对齐结果很大程度依赖给定的对应信息是否充分和准确；流形间相似度的表示方法不同对对齐结果有很大影响。
技术实现思路
本专利技术根据现有技术的不足与缺陷，提出了一种基于流形对齐和多图嵌入的人脸姿态对齐方法，目的在于解决多视角数据集的关联降维问题。一种基于流形对齐和多图嵌入的人脸姿态对齐方法，包括以下步骤：步骤1，根据流形中部分对应信息构建流形间的相似度矩阵；步骤2，采用多图嵌入的方法分别构造流形X，Y的局部几何结构；步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型以及权重更新，获得投影向量p和q；步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，完成人脸姿态对齐；进一步，建流形间的相似度矩阵的方法为：设需要处理的流形为X＝[x1,...,xi]、Y＝[y1,...,yj]，i＝1、2、3…、n,j＝1、2、3…、m,其中，n为X样本数，m为Y样本数；当X中的样本xi与Y中的样本yj是给定的对应点时，则将矩阵中第i行第j列的否则由此构成n行m列的流形间的相似度矩阵C(X,Y)。进一步，采用多图嵌入的方法分别构造流形X、Y的局部几何结构，构造图嵌入矩阵的方法如：步骤2.1，构建X和Y的拉普拉斯图矩阵和步骤2.1.1，把流形X、Y中每个样本点最近的K个样本点连上边构成一个稀疏的图矩阵，保留了流形中最相似的K个邻居关系；步骤2.1.2，选用热核函数确定每条边的权重大小W1,i,j(X)和构成邻接矩阵W1(X)和W1(Y)；其中，W1(X)为n行n列的矩阵，W1(Y)为m行m列的矩阵。步骤2.1.3，根据邻接矩阵W1(X)和W1(Y)计算得出度矩阵和其中i为矩阵的行数索引，i＝1、2、…、n；i为矩阵W1(Y)的行数索引，i＝1、2、…、m；步骤2.1.4，根据和得出拉普拉斯矩阵和进一步，所述权重大小和为：其中，xi、xj为X的样本点，i＝1、2、…、n，j＝1、2、…、n；yi、yj为Y的样本点，i＝1、2、…、m，j＝1、2、…、m；t为约束参数。步骤2.2，根据邻域保持嵌入方法(NPE)构建X和Y的图矩阵和步骤2.2.1，邻域保持嵌入方法NPE假设每个样本的局部近邻都是线性的，每个数据点都通过它的K个近邻点进行线性重构，得到重构损失函数，步骤2.2.2，通过最小化重构损失函数得到X和Y邻接权重矩阵和步骤2.2.3，根据邻接权重矩阵和计算得出度矩阵和其中i为矩阵的行数索引，i＝i、2、…、n；i为矩阵的行数索引，i＝i、2、…、m；I为单位矩阵；为X中样本xi和xj之间的权重,i＝1、2、…、n，j＝1、2、…、n，为Y样本yi和yj之间的权重，i＝1、2、…、m，j＝1、2、…、m；步骤2.2.4，根据和得出基于邻域保持嵌入方法(NPE)的图嵌入矩阵和进一步，所述重构损失函数表示为：其中，∑jW2,i,j＝1为约束条件，进一步，所述特征向量的优化模型为：其中，其中第一项衡量两个流形间的相似度，后面两项分别确保流形X和Y局部几何结构的保持。u表示惩罚系数，M表示在模型中应用的图的总数。p和q分别表示流形X和Y的投影向量。进一步，对特征向量的优化模型进行推导化简，再结合拉格朗日乘数法可以得到如下特征方程：ZLZTU＝λZDZTU其中，L、D是对优化模型进行推导过程中产生的组合矩阵，U是投影向量p和q的组合矩阵，Z是流形X和Y的组合矩阵；在L中，C(Y,X)、均是相似度矩阵D(X,Y)表示C(X,Y)的度矩阵，D(X,Y)表示C(Y,X)的度矩阵，r表示多个特征权重的控制参数；ak、βk分别为图矩阵Lk(X)、Lk(X)的权重参数，k＝1、2、…、M，M为图矩阵的个数。进一步，权重参数ak、βk根据下式进行更新求出最优值：其中，为图矩阵，k＝1、2、…、M，为图矩阵，k＝1、2、…、M，Tr(*)为对矩阵的求迹运算。进一步，通过求得的投影向量p和q把X和Y映射到低维空间得到数据集的低维表示：Xnew＝pTX，Ynew＝qTY。对Xnew中的每个样本xi，在Ynew的所有样本中寻找与之距离最近的样本yj。如果样本xi和yj的人脸姿态角度相同，则认为样本xi和yj是正确的匹配。本专利技术的有益效果：可以通过少量的部分对应信息创建关联矩阵。减少了人工标注带来的成本问题。利用多图嵌入的方法使得流形更好地保持局部几何结构。通过对每个图的权重进行更新来寻找最合适的多图组合方式，从而得到更好的对齐结果。这种多图嵌入的方法能够适应未知结构类型的数据集。通过流行对齐算法得到的投影向量可以应用于新的测试样本，因此本专利技术可以实际应用于人脸识别、图像分类等领域。附图说明图1是本专利技术方法流程图；图2是本专利技术的方法与其他方法在对齐效果上的比较图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。在本实施例中，在FacePix数据库中选取一个人的90张不同脸部姿态的图片作为数据集X，选取另一个人的90张不同角度脸部姿态的图片作为数据集Y。如图1所示，本专利技术一种基于流形对齐和多图嵌入的人脸姿态对齐方法，具体步骤如下：步骤1，根据流形中部分对应信息构建流形间的相似度矩阵；设需要处理的流形为X＝[x1,...,xi]、Y＝[y1,...,yj]，i＝1、2、3…、n,j＝1、2、3…、m,其中，n为X样本数，m为Y样本数；当X中的样本xi与Y中的样本yj是给定的对应点时，否则由此构成n行m列的流形间的相似度矩阵C(X,Y)。步骤2，采用多图嵌入的方法分别构造流形X，Y的局部几何结构；步骤2.1，构建X和Y的拉普拉斯图矩阵和步骤2.1.1，把流形X、Y中每个样本点最近的K个样本点连上边构成一个稀疏的图矩阵，保留了流形中最相似的K个邻居关系；本实施例K的值为5；步骤2.1.2，选用热核函数确定每条边的权重大小W1,i,j(X)本文档来自技高网...

【技术保护点】
1.一种基于流形对齐和多图嵌入的人脸姿态对齐方法,其特征在于，包括以下步骤：步骤1，根据流形X、Y中部分对应信息构建流形间的相似度矩阵；步骤2，采用多图嵌入的方法分别构造流形X、Y的局部几何结构；步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型以及权重更新，获得投影向量p和q；步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，完成人脸姿态对齐。

【技术特征摘要】
1.一种基于流形对齐和多图嵌入的人脸姿态对齐方法,其特征在于，包括以下步骤：步骤1，根据流形X、Y中部分对应信息构建流形间的相似度矩阵；步骤2，采用多图嵌入的方法分别构造流形X、Y的局部几何结构；步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型以及权重更新，获得投影向量p和q；步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，完成人脸姿态对齐。2.根据权利要求1所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，所述建流形间的相似度矩阵的方法为：设需要处理的流形为X＝[x1,...,xi]、Y＝[y1,...,yj]，i＝1、2、3…、n,j＝1、2、3…、m,其中，n为X样本数，m为Y样本数；当X中的样本xi与Y中的样本yj是给定的对应点时，否则由此构成n行m列的流形间的相似度矩阵C(X,Y)。3.根据权利要求1所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，采用多图嵌入的方法分别构造流形X、Y的局部几何结构，构造多图嵌入矩阵的方法如：步骤2.1，构建流形X和Y的拉普拉斯图矩阵和步骤2.2，根据邻域保持嵌入方法构建流形X和Y的图矩阵和4.根据权利要求3所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，所述构建流形X和Y的拉普拉斯图矩阵和方法为：步骤2.1.1，把流形X、Y中每个样本点最近的K个样本点连上边构成一个稀疏的图矩阵，保留了流形中最相似的K个邻居关系；步骤2.1.2，选用热核函数确定每条边的权重大小W1,i,j(X)和构成邻接矩阵和其中，为n行n列的矩阵，为m行m列的矩阵；步骤2.1.3，根据邻接矩阵和计算得出度矩阵和其中i为矩阵的行数索引，i＝1、2、…、n；i为矩阵的行数索引，i＝1、...

【专利技术属性】
技术研发人员：沈项军，黄昌彬，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32