一种联合2D+3D主动外观模型的人脸对齐方法及系统技术方案

本发明专利技术公开了一种联合2D+3D主动外观模型的人脸对齐方法及系统，方法包括：对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；通过所述限制函数对设定函数进行拟合，最小化所述设定函数；以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；基于BLF局部二值特征进行判定，得到人脸对齐结果。本发明专利技术提供保障准确率和跟踪速度的联合2D+3D主动外观模型的人脸对齐方法，使得识别结果更加准确和高效。

【技术实现步骤摘要】

本专利技术涉及人脸对齐技术，特别涉及一种联合2D+3D主动外观模型的人脸对齐方法及系统
技术介绍
目前，人脸对齐技术的应用领域，主要在变脸特效，性别识别，年龄识别，智能贴图等。人脸对齐又称人脸特征点对齐。首先在原始的人脸图像中标记特征点，该特征点位置的选取一般为人脸特征较为明显，易区分的地方，例如眉毛，鼻孔，脸颊，嘴唇等；除此之外，还需要对人脸特点的个数进行控制。并不是特征点个数越多，人脸对齐的效果就会越好。在到达了一定数目后，可能人脸对齐的效果变不再增强，甚至反而准确率降低。并且特征点数目过多，必然会导致提取特征的时间变长，有可能降低跟踪速度。现有技术中，人脸对齐技术包括很多，但是无法同时保障准确率和跟踪速度。目前国际人脸对齐数据库ibug中最长用的为68个点。根据系统的不同，可以酌情减少或者增加一些特征点。
技术实现思路
本专利技术要解决的技术问题是，提供保障准确率和跟踪速度的联合2D+3D主动外观模型的人脸对齐方法。解决上述技术问题，本专利技术提供了一种联合2D+3D主动外观模型的人脸对齐方法，包括如下步骤：对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；通过所述限制函数对设定函数进行拟合，最小化所述设定函数；以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；基于BLF局部二值特征进行判定，得到人脸对齐结果。更进一步，所述形状模型中的形状矩阵表示为平均形状再加上个形状矩阵的线性组合：是形状参数。更进一步，所述纹理模型中的纹理图像表示为平均纹理再加上个纹理图像的线性组合：是纹理参数。更进一步，所述限制函数其中q为成像参数。更进一步，所述设定函数为：P为主动外观模型形状λ为纹理，q为正规化参数。更进一步，所述Delaunay三角剖分具体包括：首先，确定所有的特征点的集合为V，每个特征点记为v,并且所有的特征点都在同一个平面内；然后，各个特征点之间的连线的集合成为E，每条边记为e,每条边均由所有特征点集合内的任两个特征点作为端点的封闭的连线，所有特征点的集合便形成了一个三角剖分T＝(V,E)是一个平面图G；除了每个特征点之外，该图中的每条边均不能包含任意其他的特征点；和/或，所有的边均不能有相交的边；和/或，平面中的所有的三角形组成的面是三角面，并且所有三角平面的集合是所有特征点集合V的凸包。更进一步，所述BLF局部二值特征具体包括如下步骤：首先初始化一个形状，最终的目的是为了将形状里的每一个特征点移到相应的眼睛、鼻子等特征的相应位置上；基于该形状，采集每一个特征点周围的局部二值特征；计算当前的形状与人工标记好的形状的偏移量，学习特征与该偏移量的关系；将当前的形状偏移量加上这个阶段的初始形状，就是最终预测的形状。基于上述本专利技术还提供了一种联合2D+3D主动外观模型的人脸对齐系统，包括：三维形变模型单元，用以对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；三维形状形成单元，用以根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；限制单元，用以通过所述限制函数对设定函数进行拟合，最小化所述设定函数；剖分单元，用以通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；特征单元，用以基于BLF局部二值特征进行判定，得到人脸对齐结果。更进一步，所述三维形变模型单元还用以进行如下方式的建模：将样本两两进行Procrustes变换，使得所有对象都移动到固定的初始位置，大小、角度也一致。然后对所有转换后的样本求平均，就得到了平均形状。再分别对形状和纹理进行PCA，就得到了和和分别为平均形状和平均纹理。更进一步，所述三维形状形成单元在所述限制单元中限制拟合，并采用逆向复合算法对函数进行最小化本专利技术的有益效果：本专利技术基于联合2D+3D主动外观模型的，实现了保障准确率和跟踪速度的人脸对齐方法，通过实验证明了不同特征点对本专利技术中人脸对齐算法的影响。附图说明图1是本专利技术一实施例中的联合2D+3D主动外观模型的人脸对齐方法流程示意图；图2是本专利技术一实施例中的联合2D+3D主动外观模型的人脸对齐系统结构示意图。图3(a)-图3(j)是基于AAM的形状对齐结果示意图。具体实施方式现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。原理说明：主动形状模型ASM(ActiveShapeModel)又称主动形状模型，主要对目标物体建立形状模型，通过先验知识获得初始训练得到的形状模型，再将该模型应用到其他方面。例如特征提取等。ASM主要包括模型训练及模型拟合两个部分。2.1.1主动形状模型的训练(1)图片特征点标记首先应该获得n张图片，这n张图片的尺寸，模糊程度以及背景都不做要求，单必须包含人脸。人脸的尺寸，肤色，人种，性别及年龄大小也不做要求。因为，会在获得形状模型之后对其进行归一化的操作，所以在标记特征点阶段，不做要求。注意，如果一张图像中包含多个人脸也可以，并不影响最终的效果。获得图片后，开始对图像中的人脸进行特征点的标记，标记特征点的个数为68个。标记特征点既可以使用程序自动对齐进行标记，并获得特征点的位置坐标；还可以通过标记特征点工具对其进行手动标记，同时自动获得特征点的位置坐标。(2)建立形状模型标记好k个特征点之后，我们便可根据特征点的位置坐标获得形状向量。其中表示，第i个训练样本即训练图片，上的第j个特征点的坐标，n表示训练样本的个数，即训练图片的个数。(3)形状对齐过程在最初对图片中人脸进行特征点标记时，没有对图片进行任何的操作，例如尺寸，人脸方向等的修正。此时，需要对获得的人脸形状模型进行对齐操作，消除尺度，方向等因素。在获得所有人脸形状向量之后，将每一个人脸模型均对齐到第一个人脸模型上。在给定两个2维模型形状，x与y，实际上是找到变换R，使得y＝R(x).所以，如果想要获得形状对齐的话，就是对y进行R操作。在程序中，为确定形状对齐的准确，需要找到合适的能量函数。一般采用距离的平方和为能量函数：E＝(R(x)-x)2本申请中采用的为普鲁克分析方法，该方法主要用于对齐两两形状向量，最后将所有形状向量进行对齐。该方法采用的能量函数为：D＝∑|x-y|2其实，这是一个不明确的含义，因为只有在均值形状对齐上使用相应的约束，才能保证最后求的形状对齐变换为最合适也是最重要的形状变换。所以，应该尽可能保证所有形状模型的重心在同一点，最好是原点。除此之外，所有模型的尺度应该都是归一化为1的尺度；最重要的是还要保证所有的模型都应该有固定的方向，而本文档来自技高网...

【技术保护点】
一种联合2D+3D主动外观模型的人脸对齐方法，其特征在于包括如下步骤：对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；通过所述限制函数对设定函数进行拟合，最小化所述设定函数；以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；基于BLF局部二值特征进行判定，得到人脸对齐结果。

【技术特征摘要】
1.一种联合2D+3D主动外观模型的人脸对齐方法，其特征在于包括如下步骤：对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；通过所述限制函数对设定函数进行拟合，最小化所述设定函数；以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；基于BLF局部二值特征进行判定，得到人脸对齐结果。2.根据权利要求1所述的人脸对齐方法，其特征在于，所述形状模型中的形状矩阵表示为平均形状再加上个形状矩阵的线性组合：是形状参数。3.根据权利要求1所述的人脸对齐方法，其特征在于，所述纹理模型中的纹理图像表示为平均纹理再加上个纹理图像的线性组合：是纹理参数。4.根据权利要求1所述的人脸对齐方法，其特征在于，所述限制函数为：其中q为成像参数，定义:则对于所有的成像条件情况来说3维形状模型的2维形状变化是：5.根据权利要求1所述的人脸对齐方法，其特征在于，所述设定函数为：P为主动外观模型形状λ为纹理，q为正规化参数，采用的方法为逆向复合算法对所述设定函数进行最小化，同时关于主动外观模型形状P，纹理λ以及正规化q参数，将拟合函数与限制函数组合，并添加比重K，当进行主动外观模型拟合的同时，最小化以下函数：Σu∈S0[A0(u)+Σi=1lλiAi(u)-I(W(u;p;q))]2+K||N(S0+Σi=1mpiSi;q)-P(S‾0+Σi=1m‾p‾iS‾i)||2]]>根据p,q,λ,P,当限制K→∞，此时该限制变为强限制。6.根据权利要求1所述的人脸对齐方法，其特征在于，所述Delaunay三角剖分具体包括：首先，确定所有的特征点的集合为V，每个特征点记为v,并且所有的特征点都在同一个平面内；然后，各个特征点之间的连线的集合成为E，每条边记为e,每条边均由所有特征点集合内的任两个特征点作为端点的封闭的连线，所有特征点的集合便形成了一个三角剖分T＝(V,E)是一个平面图G；除了每个特征点之外，该图中的每条边均不能包含任意其他的特征点；和/或，所有的边均不能有相交的边...

【专利技术属性】
技术研发人员：吴怀宇，吴挺，时磊，
申请(专利权)人：北京三体高创科技有限公司，吴怀宇，
类型：发明
国别省市：北京;11