图像生成、图像处理模型的训练、图像处理方法和装置制造方法及图纸

本公开关于一种图像生成、图像处理模型的训练、图像处理方法和装置，涉及图像处理技术领域。方法包括：确定用于生成人脸图像的第一隐变量；将第一隐变量输入至编码器，得到第一隐变量的面部特征；获取目标表情参数；将第一隐变量的面部特征和目标表情参数输入至解码器中，通过解码器将第一隐变量对应的表情参数调整为目标表情参数，得到第二隐变量；基于第二隐变量，生成目标表情参数对应的面部表情图像。通过上述方案，实现了通过表情参数控制面部图像中的表情，而不对面部表情图像中的其他因素产生影响，从而提高了获取的面部表情图像的准确率，进而降低了获取面部表情图像的难度。度。度。

【技术实现步骤摘要】
图像生成、图像处理模型的训练、图像处理方法和装置


[0001]本公开涉及图像处理
，特别涉及一种图像生成、图像处理模型的训练、图像处理方法和装置。

技术介绍

[0002]随着图像处理技术的发展，进行图像处理的方式越来越多。例如，通过图像处理模型进行图像处理。在使用图像处理模型执行图像处理任务之前，通常需要通过模型训练获取图像处理模型。在模型训练的过程中，需要用到大量的样本图像。例如，在进行表情控制的图像处理任务中，训练图像处理模型需要获取多个人脸表情图像。
[0003]相关技术中，通过拍摄图像的方法，采集多个人脸图像。这个过程中，为了保证采集到的多个人脸图像能够符合图像处理模型的训练需求，通过控制图像采集过程中除人脸表情外的其他图像因素不发生变化来采集多个人脸表情图像。
[0004]上述相关技术中，控制图像采集过程中除人脸表情外的其他图像因素不发生变化的难度较高，导致采集到的图像中符合要求的图像的准确率较低，造成获取样本图像的难度较高。

技术实现思路

[0005]本公开提供了一种图像生成、图像处理模型的训练、图像处理方法和装置，以至解决相关技术中获取样本图像的难度较高的问题。本公开的技术方案如下。
[0006]根据本公开实施例的第一方面，提供了一种图像生成方法，所述方法包括：
[0007]确定用于生成人脸图像的第一隐变量；
[0008]将所述第一隐变量输入至编码器，得到所述第一隐变量的面部特征；
[0009]获取目标表情参数；
[0010]将所述第一隐变量的面部特征和所述目标表情参数输入至解码器中，通过所述解码器将所述第一隐变量对应的表情参数调整为所述目标表情参数，得到第二隐变量；
[0011]基于所述第二隐变量，生成所述目标表情参数对应的面部表情图像。
[0012]在一些实施例中，所述编码器和所述解码器的训练方法包括：
[0013]获取待训练的编码器、待训练的解码器、样本图像和第一样本隐变量；
[0014]通过所述待训练的编码器和所述待训练的解码器，将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到第二样本隐变量；
[0015]根据第一虚拟人脸图像对应的表情参数和所述样本图像对应的表情参数之间的差值，确定表情信息损失参数，所述第一虚拟人脸图像为根据所述第二样本隐变量生成的虚拟人脸图像；
[0016]通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，所述第二虚拟人脸图像为根据所述第一样本隐变量生成的虚拟人脸图像；
[0017]根据所述第二虚拟人脸图像和第三虚拟人脸图像之间的差值，确定面部信息损失参数，所述第三虚拟人脸图像为根据所述第三样本隐变量生成的虚拟人脸图像；
[0018]基于所述表情信息损失参数和所述面部信息损失参数，对所述待训练的编码器和所述待训练的解码器进行模型训练，得到训练完成的编码器和解码器。
[0019]在一些实施例中，所述通过所述待训练的编码器和所述待训练的解码器，将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到第二样本隐变量，包括：
[0020]将所述样本图像输入至三维重建网络，得到所述样本图像对应的表情参数；
[0021]将所述第一样本隐变量输入至所述待训练的编码器中，得到所述第一样本隐变量的面部特征；
[0022]将所述第一样本隐变量的面部特征和所述样本图像对应的表情参数输入至解码器中，通过所述解码器将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到所述第二样本隐变量。
[0023]在一些实施例中，所述通过所述待训练的编码器和所述待训练的解码器，
[0024]将所述第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，包括：
[0025]将所述第一样本隐变量输入至图像生成网络，得到所述第二虚拟人脸图像；
[0026]将所述第二虚拟人脸图像输入至三维重建网络，得到所述第二虚拟人脸图像的表情参数；
[0027]通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为所述第二虚拟人脸图像对应的表情参数，得到所述第三样本隐变量。
[0028]在一些实施例中，所述获取目标表情参数，包括：
[0029]获取第一目标图像；
[0030]将所述第一目标图像输入至三维重建网络，得到所述目标表情参数。
[0031]根据本公开实施例的第二方面，提供了一种图像处理模型的训练方法，所述方法包括：
[0032]获取第二目标图像；
[0033]基于所述第二目标图像生成多个面部图像，所述多个面部图像的面部表情与所述第二目标图像的面部表情相同，所述多个面部图像基于本公开实施例的第一方面所述的图像生成方法生成；
[0034]将所述第二目标图像和所述多个面部图像确定为样本集合；
[0035]将第三目标图像输入至待训练的图像处理模型，通过所述待训练的图像处理模型对所述第三目标图像的面部特征进行更改，得到第四目标图像，所述第三目标图像为所述样本集合中的任一图像；
[0036]根据所述第四目标图像与所述第三图像的差值，确定所述图像处理模型的模型损失参数；
[0037]根据所述模型损失参数对所述待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。
[0038]根据本公开实施例的第三方面，提供了一种图像处理方法，所述方法应用于本公
开实施例的第二方面所述图像处理模型，所述方法包括：
[0039]获取待更改面部表情的图像和目标表情图像；
[0040]将所述目标表情图像输入至三维重建网络，得到目标表情参数，所述目标表情参数为所述目标表情图像的表情参数；
[0041]将所述待更改面部表情的图像和所述目标表情参数输入至图像处理模型，得到更改面部表情后的图像，所述更改面部表情后的图像的面部表情与所述目标表情图像的面部表情相同。
[0042]根据本公开实施例的第四方面，提供了一种图像生成装置，所述装置包括：
[0043]第一确定单元，被配置为执行确定用于生成人脸图像的第一隐变量；
[0044]编码单元，被配置为执行将所述第一隐变量输入至编码器，得到所述第一隐变量的面部特征；
[0045]第一获取单元，被配置为执行获取目标表情参数；
[0046]解码单元，被配置为执行将所述第一隐变量的面部特征和所述目标表情参数输入至解码器中，通过所述解码器将所述第一隐变量对应的表情参数调整为所述目标表情参数，得到第二隐变量；
[0047]第一生成单元，被配置执行基于所述第二隐变量，生成所述目标表情参数对应的面部表情图像。
[0048]在一些实施例中，所述编码器和所述解码器的训练装置包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：确定用于生成人脸图像的第一隐变量；将所述第一隐变量输入至编码器，得到所述第一隐变量的面部特征；获取目标表情参数；将所述第一隐变量的面部特征和所述目标表情参数输入至解码器中，通过所述解码器将所述第一隐变量对应的表情参数调整为所述目标表情参数，得到第二隐变量；基于所述第二隐变量，生成所述目标表情参数对应的面部表情图像。2.根据权利要求1所述的方法，其特征在于，所述编码器和所述解码器的训练方法包括：获取待训练的编码器、待训练的解码器、样本图像和第一样本隐变量；通过所述待训练的编码器和所述待训练的解码器，将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到第二样本隐变量；根据第一虚拟人脸图像对应的表情参数和所述样本图像对应的表情参数之间的差值，确定表情信息损失参数，所述第一虚拟人脸图像为根据所述第二样本隐变量生成的虚拟人脸图像；通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，所述第二虚拟人脸图像为根据所述第一样本隐变量生成的虚拟人脸图像；根据所述第二虚拟人脸图像和第三虚拟人脸图像之间的差值，确定面部信息损失参数，所述第三虚拟人脸图像为根据所述第三样本隐变量生成的虚拟人脸图像；基于所述表情信息损失参数和所述面部信息损失参数，对所述待训练的编码器和所述待训练的解码器进行模型训练，得到训练完成的编码器和解码器。3.根据权利要求1所述的方法，其特征在于，所述获取目标表情参数，包括：获取第一目标图像；将所述第一目标图像输入至三维重建网络，得到所述目标表情参数。4.一种图像处理模型的训练方法，其特征在于，所述方法包括：获取第二目标图像；基于所述第二目标图像生成多个面部图像，所述多个面部图像的面部表情与所述第二目标图像的面部表情相同，所述多个面部图像基于权利要求1
‑
5任一项所述的图像生成方法生成；将所述第二目标图像和所述多个面部图像确定为样本集合；将第三目标图像输入至待训练的图像处理模型，通过所述待训练的图像处理模型对所述第三目标图像的面部特征进行更改，得到第四目标图像，所述第三目标图像为所述样本集合中的任一图像；根据所述第四目标图像与所述第三图像的差值，确定所述图像处理模型的模型损失参数；根据所述模型损失参数对所述待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。5.一种图像处理方法，其特征在于，所述方法应用于权利要求4所述图像处理模型，所
述方法包括：获取待更改面部表情的图像和目标表情图像；将所述目标表情图像输入至三维重建网络，得到目标表情参数，所述目标表情参数为所述目标表情图像的表情参数；将所述待更改面部表情的图像和所述目标表情参数输入至图像处理模型，得到更改面部表情后的图像，所述更改面部表情后的图像的面部表情与所述目标表情图像的面部表情相同。6.一种图像生成装置，其特征在于，所述装置包括...

【专利技术属性】
技术研发人员：张知行，郭益林，宋丛礼，万鹏飞，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：