用于人脸对准的形状预测制造技术

一种人脸跟踪系统，生成用于基于决策树的多级级联在人脸图像的一部分内提取人脸上的一组面部锚定点的模型。该人脸跟踪系统识别调整为人脸的图像的网格形状。对于每个决策树，人脸跟踪系统识别出网格形状相对于人脸的图像的调整向量。对于每个级联级，人脸跟踪系统将针对每个决策树的已识别调整进行组合以确定针对该级联级的组合调整向量。人脸跟踪系统基于组合调整向量修改网格形状至图像中的人脸的调整。人脸跟踪系统使用习得词典将模型缩减成词典和原子权重。模型可以更为容易地发送至设备并且存储在设备上。

Shape Prediction for Face Alignment

【技术实现步骤摘要】
【国外来华专利技术】用于人脸对准的形状预测
技术介绍
本公开总体上涉及识别图像中的面部定位和对准，并且更具体，涉及定位人脸上的面部锚定点的位置。面部对准定位了图像中人脸上的面部锚定点。面部锚定点是在面部特征(例如，眼睛、鼻子、嘴以及下颌线)周围的轮廓点。从被定位的面部锚定点提取的特征(例如，形状和纹理)为许多人脸处理应用(例如人脸跟踪、人脸建模、人脸识别、面部表情分析以及人脸合成)提供了基础的信息。针对人脸对准存在许多不同的方法。这些方法的实例包括梯度提升决策树(GBDT)的级联、高斯过程回归树的级联、或者其他级联学习框架。然而，这些方法中的许多目前受制于缺点。一个缺点是这些方法抬高了成本和功耗。例如，一些方法需要针对每个面部锚定点计算在图像中定义的当前坐标与在默认形状中定义的坐标之间的变换矩阵。这种计算是计算密集的。在另一实例中，通过这些方法生成的预测模型可能太大而无法存储在移动设备上或者无法快速地下载，这可能妨碍了任何需要的更新。另一个缺点是这些方法不能提供精确的预测模型。例如，这些方法全局地训练预测模型而未考虑面部姿态、面部采光、面部表情以及遮蔽的大的变化。在另一实例中，当在学习速率和预测之间存在差异时出现过度拟合。在不考虑级联的不同级的变化的情况下，这些方法对级联的所有级应用全局学习因子(也被称为收缩因子)以减少过度拟合。这可能导致不精确的形状预测。
技术实现思路
一种使用一组回归树的模型确定对描述人脸的面部锚定点的面部形状的调整，以匹配图像中的人脸。该模型包括一组有序序列的级联级，每个级联级包括一组决策树。在级联的决策树中的每一层，层内的树评估相对于图像的当前拟合形状(例如，用来表示图像中人脸的形状的当前估计)以确定针对该层的形状调整。在决策树内，描述用于遍历该树的逻辑的节点基于与面部形状上的位置相对应的像素值的评估(例如，比较或强度差值)来确定下一个节点。为了考虑当面部形状被拟合到不同图像时面部形状的变化，节点所评估的位置相对于面部形状的元素来定义。例如，面部形状可以包括几何元素(例如三角形)的网格。由节点进行比较的位置相对于网格中的元素以及相对于元素的顶点或边缘来定义。例如，位置可以通过重心坐标来定义。为了确定用来采样像素值以执行评估的像素定位，由位置指定的元素在当前拟合形状中被识别，并且应用重心坐标以识别与元素的指定重心坐标相对应的像素。由此，针对节点确定了每个位置的像素值，并且节点的成对像素值被评估且与指定后续节点的阈值进行比较。当到达树的叶节点时，每个叶节点指定调整向量，该调整向量具有一组针对面部锚定点的调整值。在级联级内，树的调整值被组合(例如，通过取平均)以针对当前拟合形状确定对面部锚定点的调整。针对一级的当前拟合形状由此通过针该级的调整值而被调整，并且经调整的形状被用作用于下一级的当前形状。由于节点的位置是参考形状的元素确定的，相对于可能需要更为复杂地确定和应用变换矩阵的其他技术，可以非常快速地确定要采样的像素。模型可以被训练以学习用于在节点处决策的阈值并且在每个叶节点处输出有效的调整向量。模型可以利用采样图像和相对于采样图像的可能形状来训练。为了增加训练的可用训练数据，可以使用图像的属性的逆直方图来生成附加的采样形状。例如，相比于与在直方图中具有许多实例的属性相关联的图像，与在直方图中具有很少实例的属性相关联的图像可以形成用于生成更多示例图像或形状的基础。模型还可以基于哪个级联级正在被训练来修改级联级的特性和对级联级的训练。例如，与节点相关联的位置可以被随机地确定以初始化决策树。随机位置可以通过位置彼此间的最大距离来约束。在较早的级联级，对于要评估的节点的可能位置的最大距离可以比在较低的位置处更大(即，在较早的树级，位置可能相隔较远，而在较低级，位置被约束为更加地靠近)。此外，在训练期间还可以调整针对树的学习因子，使得较高(较早)的级联级对误差较不敏感而较低(较晚)的级联级对误差更为敏感，这可以防止较高级过度拟合并允许较低级提供对拟合形状的更细粒度的改变。还可以为较高级联级选择降低对异常值的敏感度的代价函数。所得到的模型可能相对较大。为了减小模型的大小，针对节点的调整向量可以被转换成将调整向量表示为一组“原子”，每个原子指定针对调整值的函数以及原子的相关权重。由此，叶节点可以将该调整值指定为：权重为0.8的原子43，权重为0.4的原子87，以及权重为0.15的原子5。为了确定针对叶节点的调整值，针对每个原子的函数被检索并且根据相关权重被应用。以此方式，模型可以被表示为用于遍历树的逻辑、原子的词典，以及针对每个叶节点的一组原子和权重。对节点和权重的识别可以通过匹配追踪或正交匹配追踪算法来确定。通过将模型减小成词典和原子权重，可以更容易地将模型发送至设备并存储在具有有限存储空间或存储器的设备上。此外，由于仅针对在决策树中实际到达的叶节点确定仅调整值并且可以通过识别出相关的原子和权重快速地计算，从而减少了存储器使用。本专利技术的这些、附加的和/或其他方面和/或优点在之后的详细描述中进行了阐述、有可能通过详细描述推断出、和/或可以通过实践本专利技术的实施方式习得。根据本专利技术的实施方式在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中具体地公开，其中，在一种权利要求类别(例如，方法)中提到的任何特征也可以在另一种权利要求类别中要求保护。在所附权利要求中的从属或后向引用仅出于形式原因而选择。然而，也可以要求保护通过有意后向引用之前权利要求而得到的任何主题(特别是多项从属)，使得权利要求及其特征的任何组合被公开并且可以被要求保护而不管在所附权利要求中选择的从属关系如何。可以要求保护的主题不仅包括在所附权利要求中阐述的特征的组合，而且包括权利要求中特征的任何其他组合，其中，在权利要求中提到的每个特征可以与权利要求中任何其他特征或者其他特征的组合相结合。此外，本文中所描述或描绘的任何实施方式和特征可以在单独的权利要求中要求保护，和/或在与本文中所描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的组合中要求保护。附图说明图1A是根据实施方式的包括人脸对准模块的人脸跟踪系统的系统环境。图1B示出了捕获的图像以及针对该图像识别面部形状的示例。图2示出了根据实施方式的基于重心网格的形状的示例。图3示出了根据实施方式的用于生成调整向量的回归树的示例。图4示出了根据实施方式的基于回归树的级联的预测模型的示例。图5是根据实施方式的示出用于基于回归树的级联预测形状的过程的流程图。图6示出了根据实施方式的用于选择随机化形状的头部旋转的直方图。附图示出了本专利技术的各个实施方式，其仅用于例示说明的目的。通过以下讨论本领域技术人员可以容易地认识到，在不脱离本文中所述的本专利技术原理的前提下，可以采用本文中所例示说明的结构和方法的替代实施方式。具体实施方式系统环境的概述图1A是根据实施方式的包括人脸对准模块146的人脸跟踪系统140的系统环境100。图1所示的系统环境100包括一个或多个客户端设备110、网络120、一个或多个外部源130，以及人脸跟踪系统140。在替代的配置中，在系统环境100中可以包括不同的和/或附加的部件。客户端设备110是能够捕获用户的人脸图像、接收用户输入以及经由网络120发送和/或接收数据的一个或多个本文档来自技高网...

【技术保护点】
1.一种方法，包括：识别调整为人脸的图像的网格形状，所述网格形状具有一组元素，每个元素具有一组顶点；对于具有多个决策树的级联级中的每个决策树，遍历所述决策树直到从多个叶节点到达一叶节点：识别与遍历决策相关联的一个或多个位置；每个位置以相对于所述网格形状的元素的坐标来描述；对于一个或多个已识别位置中的每一个，基于所述图像上的所述元素的所述一组顶点的坐标和定位识别所述图像上的像素；基于针对所述一个或多个已识别位置而识别的所述像素的像素值，确定针对所述遍历决策的后续节点；对于所述多个决策树中到达的每个叶节点，识别出所述网格形状相对于所述人脸的所述图像的调整向量；组合针对所述叶节点的已识别调整向量，以确定针对所述级联级的组合调整向量；以及基于所述组合调整向量修改所述网格形状到所述图像中的所述人脸的调整。

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：识别调整为人脸的图像的网格形状，所述网格形状具有一组元素，每个元素具有一组顶点；对于具有多个决策树的级联级中的每个决策树，遍历所述决策树直到从多个叶节点到达一叶节点：识别与遍历决策相关联的一个或多个位置；每个位置以相对于所述网格形状的元素的坐标来描述；对于一个或多个已识别位置中的每一个，基于所述图像上的所述元素的所述一组顶点的坐标和定位识别所述图像上的像素；基于针对所述一个或多个已识别位置而识别的所述像素的像素值，确定针对所述遍历决策的后续节点；对于所述多个决策树中到达的每个叶节点，识别出所述网格形状相对于所述人脸的所述图像的调整向量；组合针对所述叶节点的已识别调整向量，以确定针对所述级联级的组合调整向量；以及基于所述组合调整向量修改所述网格形状到所述图像中的所述人脸的调整。2.根据权利要求1所述的方法，其中，所述位置在相对于所述元素的所述一组顶点的重心坐标系中指定。3.根据权利要求1或2所述的方法，进一步包括将对所述网格形状的已修改的调整提供给另一级联级。4.根据权利要求1或2所述的方法，其中，所述级联级是修改所述网格形状的级联级的有序序列中的一个，并且在所述有序序列中的每个级联级使用在所述有序序列中的先前级联级的已修改网格形状。5.根据权利要求4所述的方法，其中，所述级联级的有序序列在一组图像上得到训练，并且其中，针对所述序列中的先前级联级的学习因子低于所述序列中的稍后级联级。6.根据权利要求4或5所述的方法，其中，训练所述级联级的有序序列以确定与所述级联级中的树的遍历决策相关联的阈值，所述训练优化Huber代价函数。7.根据权利要求4至6中任一项所述的方法，进一步包括指定与所述级联级的所述决策树中的所述遍历决策相关联的所述位置，其中，分隔所述位置的距离被约束成高于针对所述序列中的稍后级联级的最大距离的针对所述级联级的序列中的先前级联级的最大距离。8.根据权利要求4至7中任一项所述的方法，其中，所述级联级的有序序列在一组图像上得到训练，并且其中，针对所述序列中的先前级联级的学习因子低于所述序列中的稍后级联级。9.根据权利要求1至8中任一项所述的方法，其中，所述网格形状是从多个随机化形状取平均的均值形状，所述多个随机形状对应于具有已知面部锚定点的已标记图像。10.根据权利要求1至9中任一项所述的方法，其中，所述决策树在一组图像上得到训练，每个图像具有要由所述决策树训练习得的相关联的一组形状，以得到相关联的形状。11.根据权利要求10所述的方法，进一步包括：针对所述一组图像确定图像的属性的值的直方图，通过以下方式针对图像生成所述相关联的一组形状：相对于所述直方图确定针对所述图像的所述属性的值的相对频率；基于所述值的所述相对频率生成针对所述图像的一定数量的形状，所生成的形状的所述数量与所述值的所述相对频率成反比。12.一种非暂时性计算机可读介质，包括能够由处理器执行的指令，所述指令使所述处理器执行以下步骤：识别调整为人脸的图像的网格形状，所述网格形状具有一组元素，每个元素具有一组顶点；对于具有多个决策树的级联级中的每个决策树，遍历所述决策树直到从多个叶节点到达一叶节点：识别与遍历决策相关联的一个或多个位置；每个位置以相对于所述网格形状的元素的坐标来描述；对于一个或多个已识别位置中的每一个，基于所述图像上的所述元素的所述一组顶点的坐标和定位识别所述图像上的像素；基于针对所述一个或多个已识别位置而识别的所述像素的像素值，确定针对所述遍历决策的后续节点；对于所述多个决策树中到达的每个叶节点，识别出所述网格形状相对于所述人脸的所述图像的调整向量；组合针对所述叶节点的已识别调整向量，以确定针对所述级联级的组合调整向量；以及基于所述组合调整向量修改所述网格形状到所述图像中的所述人脸的调整。13.根据权利要求12所述的非暂时性计算机可读介质，其中，所述位置在相对于所述元素的所述一组顶点的重心坐标系中指定。14.根据权利要求12或13所述的非暂时性计算机可读介质，其中，所述步骤进一步包括将对所述网格形状的已修改的调整提供给另一级联级。15.根据权利要求12或13所述的非暂时性计算机可读介质，其中，所述级联级是修改所述网格形状的级联级的有序序列中的一个，并且在所述有序序列中的每个级联级使用在所述有序序列中的先前级联级的已修改网格形状。16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述级联级的有序序列在一组图像上得到训练，并且其中，针对所述序列中的先前级联级的学习因子低于所述序列中的稍后级联级。17.根据权利要求15或16所述的非暂时性计算机可读介质，其中，训练所述级联级的有序序列以确定与所述级联级中的树的遍历决策相关联的阈值，所述训练优化Huber代价函数。18.根据权利要求15至17中任一项所述的非暂时性计算机可读介质，所述步骤进一步包括指定与所述级联级的所述决策树中的所述遍历决策相关联的所述位置，其中，分隔所述位置的距离被约束成高于针对所述序列中的稍后级联级的最大距离的针对所述级联级的序列中的先前级联级的最大距离。19.根据权利要求15至18中任一项所述的非暂时性计算机可读介质，其中，所述级联级的有序序列在一组图像上得到训练，并且其中，针对所述序列中的先前级联级的学习因子低于所述序列中的稍后级联级。20.根据权利要求12至19中任一项所述的非暂时性计算机可读介质，其中，所述网格形状是从多个随机化形状取平均的均值形状，所述多个随机化形状对应于具有已知面部锚定点的已标记图像。21.根据权利要求12至20中任一项所述的非暂时性计算机可读介质，其中，所述决策树在一组图像上得到训练，每个图像具有要由所述决策树训练习得的相关联的一组形状，以得到相关联的形状。22.根据权利要求21所述的非暂时性计算机可读介质，所述步骤进一步包括：针对所述一组图像确定图像的属性的值的直方图，通过以下方式针对图像生成所述相关联的一组形状：关于所述直方图确定针对所述图像的所述属性的值的相对频率；基于所述值的所述相对频率生成针对所述图像的一定数量的形状，所生成的形状的所述数量与所述值的所述相对频率成反比。23.一种方法，包括：识别用于调整网格形状以使面部锚定点匹配至人脸的图像的模型，所述模型具有一组决策树，每个决策树指定能够由逻辑访问以用于遍历所述决策树的多...

【专利技术属性】
技术研发人员：叶夫根尼·扎捷普亚金，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US