中性表情正向人脸图片方法及装置制造方法及图纸

本发明专利技术公开了一种中性表情正向人脸图片方法及装置，其中，该方法包括：通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何与人脸的反射属性；训练输入为人脸图片，且输出为中性人脸几何及其完整反射属性的深度神经网络；预训练生成最终正向中性人脸图片的网络，且在预训练时，使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入，并将图片作为目标输出；将深度神经网络和生成最终正向中性人脸图片的网络协同并同时进行训练，以减小生成对抗误差。该方法可以生成具有真实感的中性正向人脸图片，仅需输入单张人脸图片，并且不受人脸图片的表情、面部角度和朝向的限制。

【技术实现步骤摘要】
中性表情正向人脸图片方法及装置
本专利技术涉及图片处理
，特别涉及一种中性表情正向人脸图片方法及装置。
技术介绍
深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。中性表情正向人脸图片是正式的文件和场合需要使用的人脸肖像照片。在一些应用场景中，人们仅有一张带有表情，非正向的人脸图片时，需要获得其具有真实感的中性表情的正向人脸图片。相关技术中，输入人脸的表情会受到限制，输入的面部表情角度和朝向也会受到限制，同时还需要输入多张图片才可以输出，分辨率差。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种中性表情正向人脸图片方法，该方法仅需输入单张人脸图片，就可以生成具有真实感的中性正向人脸图片，且不受输入人脸图片的表情、面部角度和朝向的限制。本专利技术的另一个目的在于提出一种中性表情正向人脸图片装置。为达到上述目的，本专利技术一方面实施例提出了一种中性表情正向人脸图片方法，包括以下步骤：通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何与人脸的反射属性；训练输入为人脸图片，且输出为中性人脸几何及其完整反射属性的深度神经网络，其中，预先训练所述深度神经网络输出为图片提取出的人脸几何和反射属性，且人脸几何及其反射属性用向量表示，以该预训练的结果作为生成对抗网络的初始化生成网络，将其输出作为负样本，中性正向人脸提取出的中性人脸几何与完整反射属性作为正样本，作为鉴别网络的输入；预训练生成最终正向中性人脸图片的网络，且在预训练时，使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入，并将所述图片作为目标输出，其中，将所述生成最终正向中性人脸图片的网络作为生成所述对抗网络的生成网络，其输出作为鉴别网络的负样本，且所述训练集中的中性正向人脸图片作为正样本，进一步训练该网络；将所述深度神经网络和所述生成最终正向中性人脸图片的网络协同并同时进行训练，以减小生成对抗误差。本专利技术实施例的中性表情正向人脸图片方法，通过利用深度学习网络补完人脸的几何和人脸反射属性，再利用人脸三维重建技术得到人脸的中性正向图片，可生成具有真实感的中性正向人脸图片，仅需输入单张人脸图片，并且不受人脸图片的表情、面部角度和朝向的限制。另外，根据本专利技术上述实施例的中性表情正向人脸图片方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述人脸图片包括非中性或非正向人脸与中性正向人脸。为达到上述目的，本专利技术另一方面实施例提出了一种中性表情正向人脸图片装置，包括：处理模块，用于通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何与人脸的反射属性；第一预训练模块，用于训练输入为人脸图片，且输出为中性人脸几何及其完整反射属性的深度神经网络，其中，预先训练所述深度神经网络输出为图片提取出的人脸几何和反射属性，且人脸几何及其反射属性用向量表示，以该预训练的结果作为生成对抗网络的初始化生成网络，将其输出作为负样本，中性正向人脸提取出的中性人脸几何与完整反射属性作为正样本，作为鉴别网络的输入；第二预训练模块，用于预训练生成最终正向中性人脸图片的网络，且在预训练时，使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入，并将所述图片作为目标输出，其中，将所述生成最终正向中性人脸图片的网络作为生成所述对抗网络的生成网络，其输出作为鉴别网络的负样本，且所述训练集中的中性正向人脸图片作为正样本，进一步训练该网络；训练模块，用于将所述深度神经网络和所述生成最终正向中性人脸图片的网络协同并同时进行训练，以减小生成对抗误差。本专利技术实施例的中性表情正向人脸图片装置，通过利用深度学习网络补完人脸的几何和人脸反射属性，再利用人脸三维重建技术得到人脸的中性正向图片，可以生成具有真实感的中性正向人脸图片，仅需输入单张人脸图片，并且不受输入人脸图片的表情、面部角度和朝向的限制。另外，根据本专利技术上述实施例的中性表情正向人脸图片装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述人脸图片包括非中性或非正向人脸与中性正向人脸。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的中性表情正向人脸图片方法流程图；图2为根据本专利技术具体实施例的中性表情正向人脸图片方法流程图；图3为根据本专利技术一个实施例的中性表情正向人脸图片装置结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的中性表情正向人脸图片方法及装置，首先将参照附图描述根据本专利技术实施例提出的中性表情正向人脸图片方法。图1是本专利技术一个实施例的中性表情正向人脸图片方法流程图。如图1所示，该中性表情正向人脸图片方法包括以下步骤：在步骤S101中，通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何与人脸的反射属性。其中，人脸图片包括非中性或非正向人脸与中性正向人脸。在步骤S102中，训练输入为人脸图片，且输出为中性人脸几何及其完整反射属性的深度神经网络，其中，预先训练深度神经网络输出为图片提取出的人脸几何和反射属性，且人脸几何及其反射属性用向量表示，以该预训练的结果作为生成对抗网络的初始化生成网络，将其输出作为负样本，中性正向人脸提取出的中性人脸几何与完整反射属性作为正样本，作为鉴别网络的输入。在步骤S103中，预训练生成最终正向中性人脸图片的网络，且在预训练时，使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入，并将图片作为目标输出，其中，将生成最终正向中性人脸图片的网络作为生成对抗网络的生成网络，其输出作为鉴别网络的负样本，且训练集中的中性正向人脸图片作为正样本，进一步训练该网络。在步骤S104中，将深度神经网络和生成最终正向中性人脸图片的网络协同并同时进行训练，以减小生成对抗误差。中性表情的正向人脸图片，包含一个人的面部基本特征。在一些应用场景下，人们需要将一张非中性或非正向的人脸图片，转化为一张中性正向的人脸图片。这种转化的过程中，需要补充原本缺失的一些信息。其中，深度学习的方法，是利用已有的中性正向人脸数据集，将图片中原本缺失的信息补充完整，再利用人脸三维重建技术结合已有的信息，可以获得人脸的中性正向图片。下面通过具体实施例对本专利技术的中性表情正向人脸图片方法进行详细说明。需要说明的是，本实施例使用分辨率为256×256的RGB图像。如图2所示，本专利技术实施例主要包括4个步骤：步骤1：利用人脸三维重建技术对数据集中的人脸图片进行处理，得到其对应的人脸几何与人脸的反射属性。需要注意的是，人脸图片包括非中性或非正向人脸与中性正向人脸，前者的人脸几何并非中性人本文档来自技高网...

【技术保护点】
1.一种中性表情正向人脸图片方法，其特征在于，包括以下步骤：通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何与人脸的反射属性；训练输入为人脸图片，且输出为中性人脸几何及其完整反射属性的深度神经网络，其中，预先训练所述深度神经网络输出为图片提取出的人脸几何和反射属性，且人脸几何及其反射属性用向量表示，以该预训练的结果作为生成对抗网络的初始化生成网络，将其输出作为负样本，中性正向人脸提取出的中性人脸几何与完整反射属性作为正样本，作为鉴别网络的输入；以及预训练生成最终正向中性人脸图片的网络，且在预训练时，使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入，并将所述图片作为目标输出，其中，将所述生成最终正向中性人脸图片的网络作为生成所述对抗网络的生成网络，其输出作为鉴别网络的负样本，且所述训练集中的中性正向人脸图片作为正样本，进一步训练该网络；以及将所述深度神经网络和所述生成最终正向中性人脸图片的网络协同并同时进行训练，以减小生成对抗误差。

【技术特征摘要】
1.一种中性表情正向人脸图片方法，其特征在于，包括以下步骤：通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何与人脸的反射属性；训练输入为人脸图片，且输出为中性人脸几何及其完整反射属性的深度神经网络，其中，预先训练所述深度神经网络输出为图片提取出的人脸几何和反射属性，且人脸几何及其反射属性用向量表示，以该预训练的结果作为生成对抗网络的初始化生成网络，将其输出作为负样本，中性正向人脸提取出的中性人脸几何与完整反射属性作为正样本，作为鉴别网络的输入；以及预训练生成最终正向中性人脸图片的网络，且在预训练时，使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入，并将所述图片作为目标输出，其中，将所述生成最终正向中性人脸图片的网络作为生成所述对抗网络的生成网络，其输出作为鉴别网络的负样本，且所述训练集中的中性正向人脸图片作为正样本，进一步训练该网络；以及将所述深度神经网络和所述生成最终正向中性人脸图片的网络协同并同时进行训练，以减小生成对抗误差。2.根据权利要求1任一项所述的中性表情正向人脸图片方法，其特征在于，所述人脸图片包括非中性或非正向人脸与中性正向人脸。3.一种中性表情正向人脸图片装...

【专利技术属性】
技术研发人员：徐枫，王至博，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11