用于面部对齐的方法技术

一种用于面部对齐的方法通过以下处理对面部图像和一组初始地标位置进行操作：首先使初始位置全局地对齐到具有原型形状的面部的一组地标位置，以获得全局对齐参数，然后根据全局对齐参数，从图像的坐标系向原型形状的坐标系扭曲初始位置和图像，以获得扭曲后的地标位置和扭曲后的面部图像。在扭曲后的地标位置处从扭曲后的面部图像提取特征，并且向特征应用回归函数，以获得在原型形状的坐标系中的更新后的地标位置。最后，原型形状的坐标系中的更新后的地标位置扭曲到图像的坐标系，以获得更新后的地标位置。

A method of face alignment

A face alignment method operates on the face image and a set of initial landmark positions by the following processing: first, the initial position is globally aligned to a set of landmark positions of the face with a prototype shape to obtain the global alignment parameters, and then from the coordinate system of the image to the prototype shape according to the global alignment of the reference number. The coordinate system distorts the initial position and image to get the distorted landmark position and the distorted facial image. The feature is extracted from the distorted face image at the distorted landmark position, and the regression function is applied to the feature to obtain the updated landmark position in the coordinate system of the prototype. Finally, the landmark position in the coordinate system of the prototype shape is twisted to the coordinate system of the image to get the updated landmark position.

【技术实现步骤摘要】
【国外来华专利技术】用于面部对齐的方法
本专利技术总体涉及计算机视觉及其应用，并且更具体地涉及对齐图像中的面部。
技术介绍
如领域中众所周知的，面部对齐是指确定与一组预定义面部地标对应的图像中的像素的位置。各地标与诸如鼻子的尖端、眼角、眉毛的拱以及嘴唇的弯曲部这样的特定面部特征关联。面部对齐对于诸如面部识别、面部跟踪、面部姿态估计、面部表情分析和面部建模以及人机界面(HCI)这样的许多计算机视觉应用通常是重要的。另外，面部对齐在诸如驾驶员监测和高级驾驶员辅助系统(ADAS)这样的车辆相关用途中是有用的。面部对齐由于诸如姿态、面部表情、照明以及遮挡的因素的大变化而是难题。面部对齐的先前方案使用诸如主动形状模型(ASM)、主动外观模型(AAM)或受约束局部模型(CLM)这样的各种方法。CLM具有对地标的位置(例如子空间形状模型)的明确联合约束，其约束地标相对于彼此的位置。基于CLM，Gauss-Newton可变形部分模型(GN-DPM)使用Gauss-Newton优化联合地拟合外观模型和全局形状模型。近来，面部对齐中的关注点已经转移到辨别方法。这些方法的显著特征是学习明确的回归函数。回归函数基于在先前估计的本文档来自技高网...

【技术保护点】
一种用于面部对齐的方法，该方法包括以下步骤：获取面部的图像和与所述图像关联的一组初始地标位置；将所述一组初始地标位置全局地对齐到具有原型形状的面部的一组地标位置，以获得全局对齐参数；根据所述全局对齐参数，将所述一组初始地标位置和所述图像从所述图像的坐标系扭曲到所述原型形状的坐标系，以获得扭曲后的地标位置和扭曲后的面部图像；在所述扭曲后的地标位置从所述扭曲后的面部图像提取特征；对所述特征应用回归函数，以获得在所述原型形状的所述坐标系中的更新后的地标位置；以及将在所述原型形状的所述坐标系中的所述更新后的地标位置扭曲到所述图像的所述坐标系，以获得在所述图像中的更新后的地标位置，其中，所述步骤在处理器...

【技术特征摘要】
【国外来华专利技术】2015.09.21 US 14/859,4691.一种用于面部对齐的方法，该方法包括以下步骤：获取面部的图像和与所述图像关联的一组初始地标位置；将所述一组初始地标位置全局地对齐到具有原型形状的面部的一组地标位置，以获得全局对齐参数；根据所述全局对齐参数，将所述一组初始地标位置和所述图像从所述图像的坐标系扭曲到所述原型形状的坐标系，以获得扭曲后的地标位置和扭曲后的面部图像；在所述扭曲后的地标位置从所述扭曲后的面部图像提取特征；对所述特征应用回归函数，以获得在所述原型形状的所述坐标系中的更新后的地标位置；以及将在所述原型形状的所述坐标系中的所述更新后的地标位置扭曲到所述图像的所述坐标系，以获得在所述图像中的更新后的地标位置，其中，所述步骤在处理器中执行。2.根据权利要求1所述的方法，所述方法还包括：将权利要求1的所述步骤应用达K个迭代，其中，K≥1，其中，所述图像用于所有迭代，并且其中，在各迭代K>1处，所述一组初始地标位置是在迭代k-1期间使用的所述图像中的所述更新后的地标位置。3.根据权利要求2所述的方法，其中，所述专家回归函数在各迭代k处不同。4.根据权利要求1所述的方法，还包括一组L个全局对齐的有监督下降法回归专家，其中，所述图像被所有专家使用，其中，各专家与不同的原型形状和不同的回归函数关联，其中，选通函数产生用于所述L个专家中的每个专家的权重，其中，对于所述L个专家中的每个专家，执行权利要求1的所述步骤，产生L组更新后的面部地标位置，并且其中，使用所述分配权重将所述L组更新后的面部地标位置组合为加权平均，以获得所述更新后的面部地标位置。5.根据权利要求4所述的方法，所述方法还包括：将权利要求4的所述方法应用达K个迭代，其中，K≥1，其中，所述图像用于所有迭代，并且其中，在各迭代K>1处，所述一组初始地标位置是在迭代k-1处获得的所述更新后的地标位置。6.根据权利要求5所述的方法，其中，对于各专家，所述回归函数在各迭代处不同。7.根据权利要求1所述的方法，其中，所述方法用于情感分析。8.根据权利要求1所述的方法，其中，所述方法用于超分辨率成像。9.根据权利要求1所述的方法，其中，所述方法由高级驾驶员辅助系统使用。10.根据权利要求1所述的方法，其中，所述方法用于视频会议。11.根据权利要求1所述的方法，其中，所述图像由摄像头来获取。12.根据权利要求1所述的方法，其中，使用面部检测算法来确定所述初始地标位置。13.根据权利要求1所述的方法，其中，使用面部部分检测算法来确定所述初始地标位置。14.根据权利要求1所述的方法，其中，所述全局对齐参数表示2D仿射变换。15.根据权利要求1所述的方法，其中，所述原型形状包括各地标在一组训练数据上的平均位置。16.根据权利要求4所述的方法，其中，通过对获得一组训练数据中的所述地标的所述位置的仿射不变聚类的优化问题求解，来确定所述L个专家的所述原型形状。17.根据权利要求1所述的方法，其中，所述提取使用尺度不变特征变换SIFT特征。18.根据权利要求1所述的方法，其中，所述提取使用有向梯度直方图HOG特征。19.根据权利要求1所述的方法，其中，所述特征包括对所述扭曲后的地标位置从所述原型形状的地标位置的偏差进行编码的附加特征，其中，λ是控制对所述位置从所述原型形状的偏差的所述约束的严格性的权重，x′k是所述扭曲后的地标位置的向量，并且是所述原型形状的所述地标位置的向量，并且k对所述方法的迭代...

【专利技术属性】
技术研发人员：O·图兹尔，T·马克斯，S·丹部，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP