基于学习的嵌入的面部重建制造技术

本公开提供了一种基于面部图像执行面部重建的系统和方法。特别地，本公开的一个示例系统将机器学习的图像识别模型与使用人的面部外观的可变形模型的面部建模器相结合。图像识别模型可以是深度学习模型，其响应于接收到图像(例如，面部的非受控图像)而生成嵌入。示例系统还可以包括结构上位于图像识别模型和面部建模器之间的小型、轻量级翻译模型。翻译模型可以是机器学习模型，其被训练成接收由图像识别模型生成的嵌入，并且作为响应，输出可由面部建模器使用的多个面部建模参数值以生成面部模型。

【技术实现步骤摘要】
【国外来华专利技术】基于学习的嵌入的面部重建
本公开一般涉及面部重建和面部图像分析。更具体地，本公开涉及基于从机器学习的面部识别模型获取的嵌入来重建面部。
技术介绍
在某些情况下，可以期望知道一个或多个面部属性(例如，面部形状、眼睛颜色、头发长度等)的值。例如，可以使用特定面部的一个或多个面部属性的值来生成这样的面部的艺术渲染。在一个轻松的示例中，艺术渲染可以是包括面部的卡通版本(例如，与幽默短语一起的)的个性化表情。在某些现有产品中，为了获取诸如个性化表情的艺术渲染，可能需要用户手动输入或选择一个或多个面部属性的特定值。由于要求用户手动选择正确的值和/或从有限数量的可用选项中选择正确的值，所以该过程可能是耗时的，并且易于降低质量结果。因此，存在技术问题，其可概括为不能基于描绘面部的输入图像自动生成面部属性的精确值。特别地，一个特别具有挑战性的场景是：当只有面部的非受控图像可用时，自动生成这样的面部属性的值。特别地，非受控图像可以是不满足所有期望因素的图像。例如，非受控图像可以是图像和/或对象未能呈现中性面部表情、正面姿势(例如，看着相机)、甚至照明和/或其他因素的图像。例如，在糟糕的照明条件的情况下，人不看相机的照片可以是非受控图像。因此，存在技术问题，其可概括为不能基于面部的非受控图像自动生成面部属性的精确值。此外，存在许多用于计算机辅助的人面部重建的技术。例如，某些现有的计算机实现的面部建模技术可以从面部的照片图像中生成纹理化的面部三维模型。可以基于该三维模型来渲染面部的二维图像。然而，许多这样的计算机辅助重建技术需要迭代优化(例如，所生成的模型相对于照片图像的迭代优化)或者需要大的面部建模参数的训练集。依赖于迭代优化的重建技术可能是缓慢且计算昂贵的。此外，优化有时可能无法收敛或产生极低质量的结果。因此，存在技术问题，其可以概括为：不期望的面部重建技术对迭代优化的依赖和/或不期望地使用大的图像和面部建模参数的训练集。
技术实现思路
本公开的实施例的方面和优点将在下面的描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。本公开的一个示例方面针对一种获取面部的面部属性数据的计算机实现方法。该方法包括由一个或多个计算设备获取面部图像。该方法包括由一个或多个计算设备获取由机器学习的图像识别模型提供的嵌入。该嵌入是通过机器学习图像识别模型响应于图像识别模型接收面部图像而提供的。该方法包括由一个或多个计算设备将嵌入输入到机器学习的翻译模型中。该方法包括由一个或多个计算设备接收作为翻译模型的输出的多个面部建模参数值。多个面部建模参数值描述面部的多个面部属性。本公开的另一示例方面针对一种被配置为从面部图像获取面部属性数据的计算系统。计算系统包括至少一个处理器。该计算系统包括机器学习的翻译模型，能够将其操作为接收从机器学习图像识别模型获取的嵌入，并且响应于接收到嵌入，输出描述面部的多个面部属性的多个面部建模参数值。所述计算系统包括至少一个非暂时性计算机可读介质，其存储指令，所述指令在由所述至少一个处理器执行时使得所述计算系统：从图像识别模型获取嵌入，该嵌入由所述图像识别模型响应于所述图像识别模型接收到面部图像而产生；将嵌入输入到翻译模型中；以及接收作为所述翻译模型的输出的多个面部建模参数值。本公开的另一示例方面针对一个或多个非暂时性计算机可读介质，其共同存储机器学习的面部重建模型和指令。可以操作机器学习的面部重建模型以接收面部的嵌入，并且响应于接收到嵌入，输出重建的面部表示。当由一个或多个计算设备执行时，所述指令使得一个或多个计算设备：从机器学习的图像识别模型获取嵌入，该嵌入由图像识别模型响应于图像识别模型接收到面部图像而产生；将嵌入输入到机器学习的面部重建模型中；并且接收作为面部重建模型的输出的重建的面部表示。本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。参考以下描述和所附权利要求书，将更好地理解本公开的各种实施例的这些和其它特征、方面和优点。并入本说明书并构成本说明书一部分的附图示出了本公开的示例性实施例，并与描述一起用于解释相关原理。附图说明针对本领域技术人员的实施例的详细讨论在参考附图的说明书中阐述，其中：图1A描绘了根据本公开的示例实施例的从示例图像生成示例艺术渲染的面部重建系统的示例使用。图1B描绘了根据本公开的示例实施例的示例计算系统的框图。图2描绘了根据本公开的示例实施例的示例面部重建流水线(pipeline)的框图。图3描绘了根据本公开的示例实施例的示例面部重建模型的框图。图4描绘了根据本公开的示例实施例的示例面部重建模型的框图。图5描绘了根据本公开的示例实施例的示例艺术渲染流水线的框图。图6描绘了根据本公开的示例实施例的示例面部重建模型的框图。图7描绘了根据本公开的示例实施例的从面部图像生成面部的艺术渲染的示例方法的流程图。图8描绘了根据本公开的示例实施例的从嵌入生成面部的艺术渲染的示例方法的流程图。图9描绘了根据本公开的示例实施例的训练翻译模型的示例方法的流程图。图10描绘了根据本公开的示例实施例的生成可变形面部模型的示例方法的流程图。在复数的图中重复的附图标记旨在标识各种实现中的相同特征。具体实施方式概览通常，本公开针对基于面部图像执行面部重建的系统和方法。面部的图像可以是面部的受控图像或非受控图像。特别地，本公开的一个示例系统将机器学习的图像识别模型与使用人的面部外观的变形模型的面部建模器相结合。图像识别模型可以是深度学习模型，其响应于接收到图像(例如，面部的非受控图像)而生成嵌入。示例系统还可以包括结构上位于图像识别模型和面部建模器之间的小型、轻量级翻译模型。翻译模型可以是机器学习模型，其被训练以接收由图像识别模型生成的嵌入，并且作为响应，输出可由面部建模器使用的多个面部建模参数值以生成面部模型(例如，面部的三维模型)。在一些实现中，所生成的面部模型可用于合成面部的受控图像或渲染(例如，具有中性表情的面部的正面、均匀照亮的图像)。在一些实现中，可以从面部模型和/或所渲染的面部的受控图像中断定面部的一个或多个面部属性(例如，面部形状、眼睛颜色、头发长度等)的值。可以从所断定的面部属性值中生成面部的艺术渲染，诸如，例如个性化表情。因此，在一些实现中，本公开的系统和方法可以实现为一种有用的特征：如果用户选择，则提供用户面部的艺术渲染。例如，本公开的系统和方法可以接收用户上传的输入图像，并且作为响应，提供艺术渲染。更具体地，本公开提供了可以在给定面部的受控图像或非受控图像作为输入的情况下重建面部的系统和方法。受控图像可以是满足多个期望因素中的每一个的图像。例如，受控图像可以是图像和/或对象呈现出中性面部表情、正面姿势(例如，看着相机)、甚至照明和/或其他因素的图像。该期望因素列表仅作为一个示例提供。另一方面，非受控图像可以是不满足所有数量的期望因素的图像。例如，非受控图像可以是图像和/或对象未能呈现中性面部表情、正面姿势、甚至照明和/或其他因素的图像。例如，在糟糕的照明条件的情况下，人不看相机的照片可以是非受控照片。上述期望因素列表仅作为一个示例提供。根据本公开的一个方面，本公开的系统和方法可以利用高能力图像识别模型的可用性。在一些示例中，图像识别模型可本文档来自技高网...

【技术保护点】
1.一种用于获取面部的面部属性数据的计算机实现的方法，该方法包括：由一个或多个计算设备获取面部图像；由一个或多个计算设备获取由机器学习的图像识别模型提供的嵌入，所述嵌入是由机器学习的图像识别模型响应于图像识别模型接收到面部图像而提供的；由一个或多个计算设备将嵌入输入到机器学习的翻译模型中；并且由一个或多个计算设备接收作为翻译模型的输出的多个面部建模参数值，所述多个面部建模参数值描述面部的多个面部属性。

【技术特征摘要】
【国外来华专利技术】2016.10.31 US 62/414,9441.一种用于获取面部的面部属性数据的计算机实现的方法，该方法包括：由一个或多个计算设备获取面部图像；由一个或多个计算设备获取由机器学习的图像识别模型提供的嵌入，所述嵌入是由机器学习的图像识别模型响应于图像识别模型接收到面部图像而提供的；由一个或多个计算设备将嵌入输入到机器学习的翻译模型中；并且由一个或多个计算设备接收作为翻译模型的输出的多个面部建模参数值，所述多个面部建模参数值描述面部的多个面部属性。2.如权利要求1所述的计算机实现的方法，其中：由一个或多个计算设备获取面部图像包括由一个或多个计算设备获取面部的非受控图像；并且由一个或多个计算设备获取嵌入包括由一个或多个计算设备获取由机器学习的图像识别模型响应于图像识别模型接收到面部的非受控图像而提供的嵌入。3.如权利要求1或2所述的计算机实现的方法，还包括:由一个或多个计算设备将多个面部建模参数值输入到面部建模器中；并且由一个或多个计算设备接收作为面部建模器的输出的面部模型。4.如权利要求3所述的计算机实现的方法，还包括：由一个或多个计算设备至少部分地基于面部模型来生成面部的艺术渲染。5.如权利要求4所述的计算机实现的方法，其中，由一个或多个计算设备生成面部的艺术渲染包括：由一个或多个计算设备将模型输入到面部渲染器中；并且由一个或多个计算设备接收作为面部渲染器的输出的面部的受控渲染。6.如权利要求5所述的计算机实现的方法，还包括：由一个或多个计算设备根据面部的受控渲染直接断定多个面部属性中的一个或多个面部属性的值。7.如前述权利要求中任一项所述的计算机实现的方法，其中，由一个或多个计算设备获取由机器学习的图像识别模型提供的嵌入包括由一个或多个计算设备获取由机器学习的图像识别模型在机器学习的图像识别模型的隐藏层处提供的嵌入。8.如前述权利要求中任一项所述的计算机实现的方法，其中，由一个或多个计算设备获取由机器学习的图像识别模型提供的嵌入包括：由一个或多个计算设备将面部图像输入到机器学习的图像识别模型中；并且由一个或多个计算设备从机器学习的图像识别模型接收嵌入。9.如前述权利要求中任一项所述的计算机实现的方法，还包括：由一个或多个计算设备基于训练数据集训练翻译模型，所述训练数据集包括分别用多个示例面部建模参数值标记的多个示例嵌入。10.如权利要求9所述的计算机实现的方法，还包括：由一个或多个计算设备生成训练数据集，其中生成训练数据集包括：由一个或多个计算设备生成多个示例面部建模参数值，所述多个示例面部建模参数值彼此不同；由一个或多个计算设备至少部分地基于多个示例面部建模参数值分别生成多个面部变形；由一个或多个计算设备将多个面部变形输入到机器学习的图像识别模型中，以分别获取多个示例嵌入；由一个或多个计算设备分别用多个示例面部建模参数值来标记所述多个示例嵌入。11.一种被配置为从面部图像获取面部属性数据的计算系统，所述计算系统包括：至少一个处理器；机器学习的翻译模型，可被操作为接收从机器学习的图像识别模型获取的嵌入，并且响应...

【专利技术属性】
技术研发人员：FH科尔，D克里什南，WT弗里曼，DB贝朗格，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US