一种基于人脸解析图的人脸遮挡移除和三维模型生成方法技术

本公开的实施例公开了一种基于人脸解析图的人脸遮挡移除和三维模型生成方法。该方法的一具体实施方式包括：将遮挡人脸图输入至预先训练的深度学习网络，得到遮挡人脸解析图；将遮挡人脸图输入至预先训练的特征点抽取网络，得到人脸面部特征点组；对人脸面部特征点组中的各个人脸面部特征点进行连接处理，以生成特征点人脸解析图；将遮挡人脸解析图和特征点人脸解析图进行组合处理，得到无遮挡人脸解析图；将无遮挡人脸解析图和遮挡人脸图输入至预先训练的人脸合成网络，得到无遮挡人脸渲染图；将无遮挡人脸渲染图输入至预先训练的三维人脸合成模型，得到三维人脸模型。该实施方式有效去除了人脸图像中的遮挡。有效去除了人脸图像中的遮挡。有效去除了人脸图像中的遮挡。

【技术实现步骤摘要】
一种基于人脸解析图的人脸遮挡移除和三维模型生成方法


[0001]本公开的实施例涉及计算机视觉领域，具体涉及一种基于人脸解析图的人脸遮挡移除和三维模型生成方法。

技术介绍

[0002]随着计算机信息技术的发展，如何根据二维人脸照片生成三维人脸模型成为一项重要的研究课题。目前，在根据二维人脸照片生成三维人脸模型时，通常采用的方式为：使用深度学习方法根据二维图获得三维人脸图。
[0003]然而，当采用上述方式根据二维人脸照片生成三维人脸模型时，经常会存在如下技术问题：
[0004]使用深度学习方法根据二维图获得三维人脸图时，无法有效去除人脸图像中的遮挡。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]本公开的一些实施例提出了人脸遮挡移除和三维模型生成方法、装置、设备和介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0007]第一方面，本公开的一些实施例提供了一种人脸遮挡移除和三维模型生成方法，该方法包括：将遮挡人脸图输入至预先训练的深度学习网络，得到遮挡人脸解析图；将上述遮挡人脸图输入至预先训练的特征点抽取网络，得到人脸面部特征点组；对上述人脸面部特征点组中的各个人脸面部特征点进行连接处理，以生成特征点人脸解析图；将上述遮挡人脸解析图和上述特征点人脸解析图进行组合处理，得到无遮挡人脸解析图；将上述无遮挡人脸解析图和上述遮挡人脸图输入至预先训练的人脸合成网络，得到无遮挡人脸渲染图；将上述无遮挡人脸渲染图输入至预先训练的三维人脸合成模型，得到三维人脸模型。
[0008]第二方面，本公开的一些实施例提供了一种人脸遮挡移除和三维模型生成装置，装置包括：第一输入单元，被配置成将遮挡人脸图输入至预先训练的深度学习网络，得到遮挡人脸解析图；第二输入单元，被配置成将上述遮挡人脸图输入至预先训练的特征点抽取网络，得到人脸面部特征点组；连接处理单元，被配置成对上述人脸面部特征点组中的各个人脸面部特征点进行连接处理，以生成特征点人脸解析图；组合处理单元，被配置成将上述遮挡人脸解析图和上述特征点人脸解析图进行组合处理，得到无遮挡人脸解析图；第三输入单元，被配置成将上述无遮挡人脸解析图和上述遮挡人脸图输入至预先训练的人脸合成网络，得到无遮挡人脸渲染图；第四输入单元，被配置成将上述无遮挡人脸渲染图输入至预先训练的三维人脸合成模型，得到三维人脸模型。
[0009]第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；
存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
[0010]第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
[0011]本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的人脸遮挡移除和三维模型生成方法，可以有效去除人脸图像中的遮挡。具体来说，造成无法有效去除人脸图像中的遮挡的原因在于：使用深度学习方法根据二维图获得三维人脸图时，无法有效去除人脸图像中的遮挡。基于此，本公开的一些实施例的人脸遮挡移除和三维模型生成方法，首先，将遮挡人脸图输入至预先训练的深度学习网络，得到遮挡人脸解析图。由此，可以为得到无遮挡人脸解析图提供数据支持。其次，将上述遮挡人脸图输入至预先训练的特征点抽取网络，得到人脸面部特征点组；对上述人脸面部特征点组中的各个人脸面部特征点进行连接处理，以生成特征点人脸解析图。由此，可以为得到无遮挡人脸解析图提供数据支持。并且，因为提取了人脸面部特征点，可以将人脸面部特征点与深度学习的方法进行结合，生成三维人脸模型，从而可以有效去除人脸图像中的遮挡。然后，将上述遮挡人脸解析图和上述特征点人脸解析图进行组合处理，得到无遮挡人脸解析图。由此，便于生成无遮挡人脸渲染图。之后，将上述无遮挡人脸解析图和上述遮挡人脸图输入至预先训练的人脸合成网络，得到无遮挡人脸渲染图。由此，可以得到三维人脸模型。最后，将上述无遮挡人脸渲染图输入至预先训练的三维人脸合成模型，得到三维人脸模型。由此，完成了三维人脸模型的生成。有效去除了人脸图像中的遮挡。
附图说明
[0012]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0013]图1是本公开的一些实施例的人脸遮挡移除和三维模型生成方法的一个应用场景的示意图；
[0014]图2是根据本公开的人脸遮挡移除和三维模型生成方法的一些实施例的流程图；
[0015]图3是根据本公开的人脸遮挡移除和三维模型生成装置的一些实施例的结构示意图；
[0016]图4是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
[0017]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0018]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0019]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单
元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0020]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0021]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0022]下面将参考附图并结合实施例来详细说明本公开。
[0023]图1是本公开的一些实施例的人脸遮挡移除和三维模型生成方法的一个应用场景的示意图。
[0024]在图1的应用场景中，首先，计算设备101可以将遮挡人脸图102输入至预先训练的深度学习网络，得到遮挡人脸解析图103。其次，计算设备101可以将上述遮挡人脸图102输入至预先训练的特征点抽取网络，得到人脸面部特征点组104。然后，计算设备101可以对上述人脸面部特征点组104中的各个人脸面部特征点进行连接处理，以生成特征点人脸解析图105。之后，计算设备101可以将上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸遮挡移除和三维模型生成方法，包括：将遮挡人脸图输入至预先训练的深度学习网络，得到遮挡人脸解析图；将所述遮挡人脸图输入至预先训练的特征点抽取网络，得到人脸面部特征点组；对所述人脸面部特征点组中的各个人脸面部特征点进行连接处理，以生成特征点人脸解析图；将所述遮挡人脸解析图和所述特征点人脸解析图进行组合处理，得到无遮挡人脸解析图；将所述无遮挡人脸解析图和所述遮挡人脸图输入至预先训练的人脸合成网络，得到无遮挡人脸渲染图；将所述无遮挡人脸渲染图输入至预先训练的三维人脸合成模型，得到三维人脸模型。2.根据权利要求1所述的方法，其中，在所述将所述遮挡人脸图输入至预先训练的特征点抽取网络，得到人脸面部特征点组之前，所述方法还包括：将无遮挡人脸图样本输入至轻量级神经网络以对所述轻量级神经网络进行训练，得到训练后的轻量级神经网络作为特征点抽取网络。3.根据权利要求1所述的方法，其中，所述将所述遮挡人脸解析图和所述特征点人脸解析图进行组合处理，得到无遮挡人脸解析图，包括：对所述遮挡人脸解析图进行备份处理，得到备份遮挡人脸解析图作为目标解析图；对于所述特征点人脸解析图中的每个特征像素，执行如下处理步骤：确定所述特征像素对应的灰度值是否在第一预设范围内；响应于确定所述特征像素对应的灰度值在所述第一预设范围内，确定所述遮挡人脸解析图中对应所述特征像素的遮挡像素对应的灰度值是否在所述第一预设范围内；响应于确定所述遮挡人脸解析图中对应所述特征像素的遮挡像素对应的灰度值不在所述第一预设范围内，将所述目标解析图中对应所述遮挡像素的目标像素替换为所述特征像素，以对所述目标解析图进行更新；将更新后的目标解析图确定为更新目标解析图。4.根据权利要求3所述的方法，其中，所述方法还包括：对于所述特征点人脸解析图中的每个特征像素，执行如下替换步骤：确定所述特征像素对应的灰度值是否在第二预设范围内；响应于确定所述特征像素对应的灰度值在所述第二预设范围内，确定所述遮挡人脸解析图中对应所述特征像素的遮挡像素对应的灰度值是否在所述第二预设范围内；响应于确定所...

【专利技术属性】
技术研发人员：赵大鹏，蔡锦康，齐越，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：