使用面部组分特定局部细化于面部界标检测的方法及系统技术方案

一种方法包括：接收一面部图像(204)；使用所述面部图像(204)获得一面部形状(206)；使用所述面部图像(204)及所述面部形状(206)定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述面部图像(204)的多个分开考虑面部组分中的一相应分开考虑面部组分，及所述多个分开考虑面部组分中的所述相应分开考虑面部组分相应于所述面部形状(206)中的多个第一面部界标集中的一相应第一面部界标集(208)；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集(208)进行一级联回归方法以获得多个第二面部界标集中的一相应面部界标集(210)。中的一相应面部界标集(210)。中的一相应面部界标集(210)。

【技术实现步骤摘要】
【国外来华专利技术】使用面部组分特定局部细化于面部界标检测的方法及系统


[0001]本公开涉及面部界标检测领域，更具体地，涉及一种使用面部组分特定局部细化于面部界标检测的方法及系统。

技术介绍

[0002]面部界标检测(facial landmark detection)在面部识别、面部动画、3D面部重建、虚拟化妆等方面起着至关重要的作用。面部界标检测的目标是定位在诸多面部图像中的诸多面部组分(facial components)及诸多面部轮廓(facial contours)周围的诸多基准面部关键点(fiducial facial key points)。

技术实现思路

[0003]本公开的一个目的是提出一种使用面部组分特定局部细化于面部界标检测的方法及系统。
[0004]在本公开的一第一方面中，一种计算机实现的方法包括：进行一推理阶段的方法，其中所述推理阶段的方法包括：接收第一面部图像；使用所述第一面部图像获得一第一面部形状；使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集。所述级联回归方法的每个阶段包括：使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，其中所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
[0005]在本公开的一第二方面中，一种系统包括至少一个内存及至少一个处理器。所述至少一个内存被配置为存储多个程序指令。所述至少一个处理器被配置为执行所述多个程序指令，所述多个程序指令致使所述至少一个处理器执行多个步骤，包括：进行一推理阶段
的方法，其中所述推理阶段的方法包括：接收第一面部图像；使用所述第一面部图像获得一第一面部形状；使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集。所述级联回归方法的每个阶段包括：使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，其中所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
附图说明
[0006]为了更清楚地说明本专利技术或相关技术的实施例，在对实施例进行简要介绍时，将对以下附图进行说明。显然，附图只是本专利技术的一些实施例，本领域普通技术人员可以在无需付出的前提下，根据这些附图获得其他附图。
[0007]图1是以图解说明根据本公开的一实施例的一终端中的输入、处理及输出硬件模块的一框图。
[0008]图2是以图解说明根据本公开的一实施例的一面部界标检测器的一框图。
[0009]图3是以图解说明在本公开中要被参考的诸多示例中的诸多面部界标的六十八个编号的面部界标的一图。
[0010]图4是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一全局面部界标获取模块的一框图。
[0011]图5是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一裁剪模块的一框图。
[0012]图6是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的多个面部组分特定局部细化模块的一框图。
[0013]图7是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一合并模块的一框图。
[0014]图8是以图解说明根据本公开的另一实施例的在图2中的所述面部界标检测器中的一裁剪模块的一框图。
[0015]图9是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一裁剪模块的一框图。
[0016]图10是以图解说明根据本公开的一实施例的在图6中的所述多个面部组分特定局部细化模块中的一个中的多个级联回归阶段一框图。
[0017]图11是以图解说明根据本公开的一实施例的在图10中的所述多个级联回归阶段中的每个阶段中的一局部特征提取模块及一局部特征组织模块的一框图。
[0018]图12A是以图解说明根据本公开的一实施例的在所述多个级联回归阶段中(在图10中)的一开始阶段所述局部特征提取模块中(在图11中)被使用的多个面部界标特定局部特征映射函数的一框图。
[0019]图12B是以图解说明根据本公开的一实施例的在图12A中通过一随机森林被实现的所述多个面部界标特定局部特征映射函数中的一个的一框图。
[0020]图13是以图解说明根据本公开的一实施例的在图11的所述局部特征组织模块中的一局部特征串接模块、一面部组分特定投影模块及一面部界标集增量模块的一框图。
[0021]图14是以图解说明根据本公开的一实施例的在图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，其特征在于：包括：进行一推理阶段的方法，其中所述推理阶段的方法包括：接收第一面部图像；使用所述第一面部图像获得一第一面部形状；使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集，其中所述级联回归方法的每个阶段包括：使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，其中：所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。2.如权利要求1所述的计算机实现的方法，其特征在于：所述多个分开考虑面部组分根据多个面部特征被分开。3.如权利要求2所述的计算机实现的方法，其特征在于：所述多个面部特征是功能性分组的。4.如权利要求2所述的计算机实现的方法，其特征在于：所述多个面部特征是非功能性分组的。5.如权利要求1所述的计算机实现的方法，其特征在于：所述定义的步骤包括：通过裁剪以定义所述多个面部组分特定局部区域中的每一者，使得除了所述多个分开考虑面部组分中的所述相应分开考虑面部组分以外的多个分开考虑面部组分至少部分地被去除，其中所述多个第二面部界标集相应地位于被分开的所述多个面部组分特定局部区域上。6.如权利要求5所述的计算机实现的方法，其特征在于：所述第一面部形状还包括来自所述第一面部图像的一面部轮廓相应的一第三面部界标集；及所述推理阶段的方法还包括：
将相应地位于被分开的所述多个面部组分特定局部区域上的所述多个第二面部界标集及所述第三面部界标集合并为一第二面部形状。7.如权利要求1所述的计算机实现的方法，其特征在于：所述所述第一面部形状使用一联合检测方法被获得。8.如权利要求1所述的计算机实现的方法，其特征在于：所述提取所述多个局部特征中的每一者的步骤包括依据多个面部界标特定局部特征映射函数中的一相应面部界标特定局部特征映射函数，将所述多个先前阶段面部界标集中的所述相应面部界标集的所述相应面部界标周围的所述面部界标特定局部区域映射到所述多个局部特征中的每一者中。9.如权利要求8所述的计算机实现的方法，其特征在于：还包括：进行一训练阶段的方法，其中所述训练阶段的方法包括：彼此独立地训练所述多个面部界标特定局部特征映射函数中的每一者。10.如权利要求9所述的计算机实现的方法，其特征在于：所述组织的步骤包括：将所述多个局部特征串接成一面部组分特定特征；及根据所述多个面部组分特定投影矩阵中的一相应面部组分特定投影矩阵，对所述多个面部组分特定局部区域中的每一者相应的所述面部组分特定特征进行一面部组分特定投影；及所述训练阶段的方法还包括：使用所述多个面部组分特定局部区域中的每一者相应的所述多个面部界标特定局部特征映射函数以训练所述多个面部组分特定投影矩阵中的所述相应面部组分特定投影矩阵，而非使用除了所...

【专利技术属性】
技术研发人员：徐润生，孟子博，何朝文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：