用于姿态不变面部对准的系统和方法技术方案

计算系统包括具有至少一个处理单元的处理系统。处理系统被配置为在接收到具有面部图像的图像数据后执行面部对准方法。处理系统被配置为将神经网络应用于面部图像。神经网络被配置为基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。

A system and method for pose invariant face alignment

【技术实现步骤摘要】
【国外来华专利技术】用于姿态不变面部对准的系统和方法
本公开涉及用于面部对准的系统和方法。
技术介绍
一般而言，使用卷积神经网络（CNN）级联实现的面部对准技术至少经历以下缺点：缺乏端到端训练、手工制作特征提取和慢的训练速度。例如，在没有端到端训练的情况下，CNN不能联合优化，从而导致次优的解决方案。此外，这些类型的面部对准技术通常实现简单的手工制作特征提取方法，所述方法并不将诸如姿态、表情等各种面部因素考虑在内。此外，这些CNN级联典型地具有浅框架，所述浅框架不能够通过依赖早期CNN的提取特征来提取更深的特征。此外，对这些CNN的训练通常是耗时的，这是因为每一个CNN是独立并依次训练的，并且还因为在两个接续的CNN之间要求手工制作特征提取。
技术实现思路
以下是下面详细描述的某些实施例的概述。呈现所描述的方面仅仅是为了向读者提供这某些实施例的简要概述，并且这些方面的描述没有限制本公开的范围的意图。实际上，本公开可以涵盖下面可能没有明确阐述的各种方面。在示例实施例中，一种计算系统包括具有至少一个处理单元的处理系统。处理系统被配置为在接收到具有面部图像的图像数据后执行面部对准方法。处理系统被配置为将神经网络应用于面部图像。神经网络被配置为基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。在示例实施例中，一种计算机实现的方法包括接收具有面部图像的图像数据。所述计算机实现的方法包括实现神经网络，以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。在示例实施例中，一种非暂时性计算机可读介质至少包括计算机可读数据，所述计算机可读数据当由具有至少一个处理单元的处理系统执行时，执行包括接收具有面部图像的图像数据的方法。所述方法包括实现神经网络，以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。通过以下鉴于附图对某些示例性实施例的详细描述，进一步阐明本专利技术的这些和其他特征、方面和优点，贯穿附图，同样的字符表示同样的部分。附图说明图1是根据本公开的示例实施例的系统的框图。图2图示了根据本公开的示例实施例的图1的系统的姿态不变面部对准模块。图3是根据本公开的示例实施例的图2的CNN的架构的框图。图4是根据本公开的示例实施例的可视化块的概念图。图5是根据本公开的示例实施例的可视化块的架构的示例图。图6图示了根据本公开的示例实施例的掩模的示例。图7图示了根据本公开的可替换示例实施例的掩模的示例。图8图示了根据本公开的示例实施例的基于3D对象的表面法向量在投影期间选择期望表面点的示例。图9A是根据本公开的示例实施例的图像数据的示例。图9B是根据本公开的示例实施例的可视化层的初始化的示例。图9C是根据本公开的示例实施例的与CNN的第一可视化块相关联的可视化层的可视化数据的示例。图9D是根据本公开的示例实施例的与CNN的第二可视化块相关联的可视化层的可视化数据的示例。图9E是根据本公开的示例实施例的与CNN的第三可视化块相关联的可视化层的可视化数据的示例。图9F是根据本公开的示例实施例的与CNN的第四可视化块相关联的可视化层的可视化数据的示例。图9G是根据本公开的示例实施例的与CNN的第五可视化块相关联的可视化层的可视化数据的示例。图9H是根据本公开的示例实施例的与CNN的第六可视化块相关联的可视化层的可视化数据的示例。图10A是根据本公开的示例实施例的图像数据的示例。图10B是根据本公开的示例实施例的可视化层的初始化的示例。图10C是根据本公开的示例实施例的与CNN的第一可视化块相关联的可视化层的可视化数据的示例。图10D是根据本公开的示例实施例的与CNN的第二可视化块相关联的可视化层的可视化数据的示例。图10E是根据本公开的示例实施例的与CNN的第三可视化块相关联的可视化层的可视化数据的示例。图10F是根据本公开的示例实施例的与CNN的第四可视化块相关联的可视化层的可视化数据的示例。图10G是根据本公开的示例实施例的与CNN的第五可视化块相关联的可视化层的可视化数据的示例。图10H是根据本公开的示例实施例的与CNN的第六可视化块相关联的可视化层的可视化数据的示例。图11A是根据本公开的示例实施例的图像数据的示例。图11B是根据本公开的示例实施例的可视化层的初始化的示例。图11C是根据本公开的示例实施例的与CNN的第一可视化块相关联的可视化层的可视化数据的示例。图11D是根据本公开的示例实施例的与CNN的第二可视化块相关联的可视化层的可视化数据的示例。图11E是根据本公开的示例实施例的与CNN的第三可视化块相关联的可视化层的可视化数据的示例。图11F是根据本公开的示例实施例的与CNN的第四可视化块相关联的可视化层的可视化数据的示例。图11G是根据本公开的示例实施例的与CNN的第五可视化块相关联的可视化层的可视化数据的示例。图11H是根据本公开的示例实施例的与CNN的第六可视化块相关联的可视化层的可视化数据的示例。具体实施方式已经作为举例示出和描述的上述实施例及其许多优点将通过前面的描述来理解，并且将清楚，在不脱离所公开的主题或者不牺牲其一个或多个优点的情况下，可以在组件的形式、构造和布置方面做出各种改变。实际上，这些实施例的所描述形式仅仅是解释性的。这些实施例容许各种修改和可替换形式，并且所附权利要求意图涵盖和包括这类改变，并且不限于所公开的特定形式，而是要覆盖落入本公开的精神和范围内的所有修改、等同物和替换物。图1是被配置为实现姿态不变面部对准的计算机系统100的框图。在这方面，计算机系统100包括各种软件和硬件组件。例如，计算机系统100至少包括存储器系统110、面部检测模块120、姿态不变面部对准模块130、处理系统140、通信系统150和其他功能模块160。在示例实施例中，计算机系统100被配置为实现和执行如本文所公开的并且如姿态不变面部对准模块130所提供的姿态不变面部对准方法。此外，在示例实施例中，计算机系统100还被配置为在实现和执行姿态不变面部对准方法之前，实现和执行如本文所公开的并且如面部检测模块120所提供的面部检测。在示例实施例中，存储器系统110包括各种数据，所述数据包括训练数据和与姿态不变面部对准模块130相关联的其他数据。在示例实施例中，存储器系统110是计算机或电子本文档来自技高网...

【技术保护点】
1.一种计算系统，包括具有至少一个处理单元的处理系统，处理系统被配置为执行面部对准方法，所述面部对准方法包括：/n接收具有面部图像的图像数据；以及/n实现神经网络以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计，神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计来生成特征图，/n其中参数数据包括头部姿态数据和面部形状数据。/n

【技术特征摘要】
【国外来华专利技术】20170713 US 15/6492301.一种计算系统，包括具有至少一个处理单元的处理系统，处理系统被配置为执行面部对准方法，所述面部对准方法包括：
接收具有面部图像的图像数据；以及
实现神经网络以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计，神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计来生成特征图，
其中参数数据包括头部姿态数据和面部形状数据。


2.根据权利要求1所述的计算系统，进一步包括：
面部检测模块，被配置为至少（i）接收图像，（ii）标识图像内的面部图像，以及（iii）向处理系统提供与面部图像相关的图像数据，
其中面部图像提供在正面视图到剖面视图的范围内的面部视图。


3.根据权利要求1所述的计算系统，其中面部形状数据包括面部身份参数和面部表情参数。


4.根据权利要求1所述的计算系统，其中神经网络是具有用于模型拟合的端到端训练的单个卷积神经网络。


5.根据权利要求1所述的计算系统，其中：
神经网络是具有连接的多个可视化块的单个卷积神经网络；并且
每个可视化块至少包括可视化层、卷积层和完全连接层。


6.根据权利要求1所述的计算系统，其中每个可视化层基于3D面部模型的表面法线，并且对面部与相机之间的相对头部姿态进行编码。


7.根据权利要求1所述的计算系统，其中每个可视化层利用掩模来在面部图像的不同部分中的像素之间进行区分，并且使得经可视化的图像的像素值跨不同头部姿态是相似的。


8.一种用于面部对准的计算机实现的方法，包括：
接收具有面部图像的图像数据；以及
实现神经网络以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计，神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计来生成特征图，
其中参数数据包括头部姿态数据和面部形状数据。


9.根据权利要求8所述的计算机实现的方法，进一步包括：
对图像执行面部检测，所述面部检测包括（i）接收图像，（ii）标识图像内的面部图像，以及（iii）向处理系统提供与面部图像相关的图像数据，
其中面部图像提供在正面视图到剖面视图的...

【专利技术属性】
技术研发人员：叶茂，A约拉布，任骝，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE