图像生成方法、图像生成装置及相关设备制造方法及图纸

本发明专利技术实施例提供了一种图像生成方法、图像生成装置及相关设备，其中，方法包括：利用具有目标人脸风格的目标数据集，对预先训练的StyleGAN模型进行训练和模型参数调整，得到风格化模型，风格化模型用于生成具有目标人脸风格的人脸图像；将随机噪声分别输入至StyleGAN模型和风格化模型，以使StyleGAN模型基于随机噪声输入得到第一人脸图像，风格化模型基于随机噪声输入和第一人脸图像得到第二人脸图像，第二人脸图像是将第一人脸图像进行风格迁移后，得到的具有目标人脸风格的人脸图像。本发明专利技术实施例提供的方法可以降低获取风格迁移模型所使用的训练样本的成本和难度。型所使用的训练样本的成本和难度。型所使用的训练样本的成本和难度。

【技术实现步骤摘要】
图像生成方法、图像生成装置及相关设备


[0001]本专利技术涉及
，特别是涉及一种图像生成方法、图像生成装置及相关设备。

技术介绍

[0002]人脸风格化指的是将视频或图片中真实的人脸图像转换成不同风格的人脸图像。在进行人脸风格化的过程中通常需要将真实的人脸图像输入至风格迁移模型中进行风格迁移，从而得到不同风格的该人脸的图像。
[0003]在对风格迁移模型进行训练的过程中，需要的训练样本至少为几千个图像组或几万个图像组，每一个图像组中均需要包括真实人脸图像和与其对应的风格化人脸图像。由于风格迁移模型训练所需的图像组数量较大，在网络上难以直接获取，通常需要人工绘制。因此，现有技术中存在获得风格迁移模型所使用的训练样本的成本和难度较大的问题。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种图像生成方法、图像生成装置及相关设备，以降低获取风格迁移模型所使用的训练样本的成本和难度。具体技术方案如下：
[0005]在本专利技术实施的第一方面，首先提供了一种图像生成方法，包括：
[0006]利用具有目标人脸风格的目标数据集，对预先训练的StyleGAN模型进行训练和模型参数调整，得到风格化模型，所述风格化模型用于生成具有所述目标人脸风格的人脸图像；
[0007]将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，以使所述StyleGAN模型基于所述随机噪声输入得到第一人脸图像，所述风格化模型基于所述随机噪声输入和所述第一人脸图像得到第二人脸图像，所述第二人脸图像是将所述第一人脸图像进行风格迁移后，得到的具有所述目标人脸风格的人脸图像。
[0008]可选地，所述StyleGAN模型基于所述随机噪声输入得到所述第一人脸图像，包括：
[0009]所述StyleGAN模型的第一映射层基于所述随机噪声输入进行特征提取，得到第一隐藏特征；所述第一隐藏特征用于表征所述第一人脸图像中人脸区域的属性；
[0010]将所述第一隐藏特征与预设的第一平均特征进行加权处理，得到第一目标特征；所述第一平均特征基于所述StyleGAN模型每一次训练时所述第一映射层输出的结果确定；
[0011]所述StyleGAN模型的第一综合模块基于所述第一目标特征输入进行图像生成，得到所述第一人脸图像。
[0012]可选地，所述将所述第一隐藏特征与预设的第一平均特征进行加权处理，得到第一目标特征，包括：
[0013]将所述第一隐藏特征与预设的第一平均特征进行加权处理，得到第一中间特征；
[0014]对所述第一中间特征对应的参数进行调整，得到所述第一目标特征。
[0015]可选地，所述风格化模型基于所述随机噪声输入和所述第一人脸图像得到所述第二人脸图像，包括：
[0016]所述风格化模型的第二映射层基于所述随机噪声输入进行特征提取，得到第二隐藏特征，所述第二隐藏特征用于表征所述第二人脸图像中人脸区域的属性；
[0017]将所述第二隐藏特征与预设的第二平均特征进行加权处理，得到第二目标特征；所述第二平均特征基于所述风格化模型每一次训练时所述第二映射层输出的结果确定；
[0018]所述风格化模型的第二综合模块基于所述第二目标特征输入和所述第一人脸图像输入进行图像生成，得到所述第二人脸图像。
[0019]可选地，所述将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，获得第一人脸图像以及第二人脸图像，包括：
[0020]将所述StyleGAN模型和所述风格化模型进行混合，得到混合模型；其中，所述混合模型包括所述StyleGAN模型和所述风格化模型，且所述StyleGAN模型的第一综合模块的输出端与所述风格化模型的第二综合模块的输入端连接；
[0021]将所述随机噪声输入至所述StyleGAN模型和所述混合模型进行图像生成，得到第一人脸图像以及第二人脸图像。
[0022]可选地，所述利用具有目标人脸风格的目标数据集，对预先训练的StyleGAN模型进行训练和模型参数调整得到风格化模型之后，所述方法还包括：
[0023]获取样本真实图像的第三隐藏特征，所述第三隐藏特征用于表征所述样本真实图像中人脸区域的属性；
[0024]将所述第三隐藏特征与预设的所述第二平均特征进行加权处理，得到第三目标特征；
[0025]所述StyleGAN模型的第一综合模块基于所述第三隐藏特征输入进行图像生成，得到第一真实图像；
[0026]所述风格化模型的第二综合模块基于所述第三目标特征输入和所述第一真实图像输入进行图像生成，得到第二真实图像；所述第二真实图像是将所述第一真实图像进行风格迁移后，具有所述目标人脸风格的人脸图像。
[0027]可选地，所述将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，获得第一人脸图像以及第二人脸图像之后，所述方法还包括：
[0028]确定所述样本真实图像中背景区域的属性，以及确定所述第二真实图像中背景区域的属性；
[0029]使用所述样本真实图像中背景区域的属性替换所述第二真实图像中背景区域的属性。
[0030]在本专利技术实施的第二方面，提供了一种图像生成装置，包括：
[0031]处理模块，用于利用具有目标人脸风格的目标数据集，对预先训练的StyleGAN模型进行训练和模型参数调整，得到风格化模型，所述风格化模型用于生成具有所述目标人脸风格的人脸图像；
[0032]输入模块，用于将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，以使所述StyleGAN模型基于所述随机噪声输入得到第一人脸图像，所述风格化模型基于所述随机噪声输入和所述第一人脸图像得到第二人脸图像，所述第二人脸图像是将所述第一人脸图像进行风格迁移后，得到的具有所述目标人脸风格的人脸图像。
[0033]在本专利技术实施的第三方面，提供了一种电子设备，包括处理器、通信接口、存储器
和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0034]存储器，用于存放程序；
[0035]处理器，用于执行存储器上所存放的程序时，实现如第一方面所述的方法步骤。
[0036]在本专利技术实施的第三方面，提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现如第一方面所述的方法。
[0037]在本专利技术实施例中，通过将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，以获得第一人脸图像以及第二人脸图像。一方面，所述StyleGAN模型基于所述随机噪声输入得到所述第一人脸图像，所述第一人脸图像为真实人脸图像。另一方面，所述风格化模型基于所述随机噪声输入和所述第一人脸图像得到所述第二人脸图像，所述第二人脸图像为所述第一人脸图像对应的风格化图像。这样，通过本专利技术实施例提供的方法即可大量地稳定地生成用于对风格迁移模型进行训练的样本数据，降低了获得风格迁移模型所使用的训练样本的成本和难度。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：利用具有目标人脸风格的目标数据集，对预先训练的风格生成对抗网络StyleGAN模型进行训练和模型参数调整，得到风格化模型，所述风格化模型用于生成具有所述目标人脸风格的人脸图像；将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，以使所述StyleGAN模型基于所述随机噪声输入得到第一人脸图像，所述风格化模型基于所述随机噪声输入和所述第一人脸图像得到第二人脸图像，所述第二人脸图像是将所述第一人脸图像进行风格迁移后，得到的具有所述目标人脸风格的人脸图像。2.根据权利要求1所述的方法，其特征在于，所述StyleGAN模型基于所述随机噪声输入得到所述第一人脸图像，包括：所述StyleGAN模型的第一映射层基于所述随机噪声输入进行特征提取，得到第一隐藏特征；所述第一隐藏特征用于表征所述第一人脸图像中人脸区域的属性；将所述第一隐藏特征与预设的第一平均特征进行加权处理，得到第一目标特征；所述第一平均特征基于所述StyleGAN模型每一次训练时所述第一映射层输出的结果确定；所述StyleGAN模型的第一综合模块基于所述第一目标特征输入进行图像生成，得到所述第一人脸图像。3.根据权利要求2所述的方法，其特征在于，所述将所述第一隐藏特征与预设的第一平均特征进行加权处理，得到第一目标特征，包括：将所述第一隐藏特征与预设的第一平均特征进行加权处理，得到第一中间特征；对所述第一中间特征对应的参数进行调整，得到所述第一目标特征。4.根据权利要求2所述的方法，其特征在于，所述风格化模型基于所述随机噪声输入和所述第一人脸图像得到所述第二人脸图像，包括：所述风格化模型的第二映射层基于所述随机噪声输入进行特征提取，得到第二隐藏特征，所述第二隐藏特征用于表征所述第二人脸图像中人脸区域的属性；将所述第二隐藏特征与预设的第二平均特征进行加权处理，得到第二目标特征；所述第二平均特征基于所述风格化模型每一次训练时所述第二映射层输出的结果确定；所述风格化模型的第二综合模块基于所述第二目标特征输入和所述第一人脸图像输入进行图像生成，得到所述第二人脸图像。5.根据权利要求4所述的方法，其特征在于，所述将随机噪声分别输入至所述StyleGAN模型和所述风格化模型，获得第一人脸图像以及第二人脸图像，包括：将所述StyleGAN模型和所述风格化模型进行混合，得到混合模型；其中，所述混合模型包括所述StyleGAN模型和所述风格化模型，且所述Sty...

【专利技术属性】
技术研发人员：邢晨，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：