本公开涉及一种图像生成模型的训练方法、图像生成方法、装置、电子设备及计算机可读介质，属于计算机技术领域。该图像生成模型的训练方法包括：根据样本图像和样本描述文本得到图像生成模型的输入样本数据，其中，图像生成模型由低频去噪分支模型、中频去噪分支模型和高频去噪分支模型构成；通过低频去噪分支模型得到样本图像的低频样本去噪结果，通过中频去噪分支模型得到中频样本去噪结果，通过高频去噪分支模型得到高频样本去噪结果；根据低频、中频和高频样本去噪结果得到低频、中频和高频信息损失；根据整体损失对图像生成模型中的模型参数进行迭代训练。本公开通过对图像的低频、中频和高频信息分别进行处理，可以提高模型的图像生成质量。
【技术实现步骤摘要】
本公开涉及计算机，具体而言，涉及一种图像生成模型的训练方法、图像生成方法、图像生成模型的训练装置、图像生成装置、电子设备及计算机可读介质。
技术介绍
1、近年来，深度学习技术在图像分类、文本生成等多种任务中都取得了显著的成功，其中，生成模型在图像生成、超分辨率、样式迁移等领域都取得了令人瞩目的成果，已被用于艺术创作、影视前期设计、虚拟现实内容生成等领域。
2、对于图像生成模型来说，尽管已经取得了一些成果，但是大多数情况下仍然面临图像细节质量不佳等问题。
3、鉴于此，本领域亟需一种图像生成模型的训练方法以及图像生成方法，能够提高模型的图像生成质量，提升图像主体内容的完整性和细节效果。
4、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种图像生成模型的训练方法、图像生成方法、图像生成模型的训练装置、图像生成装置、电子设备及计算机可读介质，进而至少在一定程度上能够提高模型的图像生成质量，提升图像主体内容的完整性和细节效果。
2、根据本公开的第一个方面，提供一种图像生成模型的训练方法，包括：
3、获取样本图像以及所述样本图像对应的样本描述文本，并根据所述样本图像和所述样本描述文本得到图像生成模型的输入样本数据，其中，所述图像生成模型由低频去噪分支模型、中频去噪分支模型和高频去噪分支模型构成；
>4、通过所述低频去噪分支模型得到所述样本图像的低频样本去噪结果，通过所述中频去噪分支模型得到所述样本图像的中频样本去噪结果，通过所述高频去噪分支模型得到所述样本图像的高频样本去噪结果；5、根据所述低频样本去噪结果、所述中频样本去噪结果和所述高频样本去噪结果分别得到低频信息损失、中频信息损失和高频信息损失，并根据所述低频信息损失、中频信息损失和高频信息损失得到整体损失；
6、根据所述整体损失对所述图像生成模型中的模型参数进行迭代训练，以获得训练后的所述图像生成模型。
7、在本公开的一种示例性实施例中，所述根据所述样本图像和所述样本描述文本得到图像生成模型的输入样本数据，包括：
8、根据所述样本图像得到对应的频域样本信息，并根据所述频域样本信息得到所述样本图像的低频样本信息和高频样本信息；
9、根据所述样本图像的低频样本信息和高频样本信息以及所述样本描述文本，得到图像生成模型的输入样本数据。
10、在本公开的一种示例性实施例中，所述根据所述频域样本信息得到所述样本图像的低频样本信息和高频样本信息，包括：
11、通过预设的高通滤波器对所述频域样本信息进行分离，得到所述样本图像的低频样本信息和高频样本信息。
12、在本公开的一种示例性实施例中，所述通过所述低频去噪分支模型得到所述样本图像的低频样本去噪结果，通过所述中频去噪分支模型得到所述样本图像的中频样本去噪结果，通过所述高频去噪分支模型得到所述样本图像的高频样本去噪结果，包括：
13、在第一时间预测区间内，通过所述低频去噪分支模型对所述样本图像的低频样本信息进行去噪，以重建所述样本图像的全局特征和低频特征，得到所述样本图像的低频样本去噪结果；
14、在第二时间预测区间内，通过所述中频去噪分支模型对所述样本图像的低频样本信息和高频样本信息进行去噪，以重建所述样本图像的高频特征，得到所述样本图像的中频样本去噪结果；
15、在第三时间预测区间内，通过所述高频去噪分支模型对所述样本图像的高频样本信息进行去噪，以加强所述样本图像的高频特征，得到所述样本图像的高频样本去噪结果。
16、在本公开的一种示例性实施例中，所述根据所述低频样本去噪结果、所述中频样本去噪结果和所述高频样本去噪结果分别得到低频信息损失、中频信息损失和高频信息损失，包括：
17、根据所述低频样本去噪结果以及预设噪声，通过预设损失函数计算得到所述低频信息损失；
18、根据所述中频样本去噪结果以及所述预设噪声，通过所述预设损失函数计算得到所述中频信息损失；
19、根据所述高频样本去噪结果以及所述预设噪声，通过所述预设损失函数计算得到所述高频信息损失。
20、根据本公开的第二个方面，提供一种图像生成方法，包括：
21、将目标图像的描述文本以及随机噪声输入图像生成模型中，其中，所述图像生成模型由低频去噪分支模型、中频去噪分支模型和高频去噪分支模型构成，所述图像生成模型是通过上述图像生成模型的训练方法得到的；
22、通过所述低频去噪分支模型得到所述随机噪声的低频去噪结果，通过所述中频去噪分支模型得到所述随机噪声的中频去噪结果，通过所述高频去噪分支模型得到所述随机噪声的高频去噪结果；
23、根据所述随机噪声的低频去噪结果、中频去噪结果和高频去噪结果得到融合去噪结果，并根据所述融合去噪结果得到所述目标图像的图像生成结果。
24、根据本公开的第三方面，提供一种图像生成模型的训练装置，包括：
25、样本图像获取模块，被配置为执行获取样本图像以及所述样本图像对应的样本描述文本，并根据所述样本图像和所述样本描述文本得到图像生成模型的输入样本数据，其中，所述图像生成模型由低频去噪分支模型、中频去噪分支模型和高频去噪分支模型构成；
26、样本图像去噪模块，被配置为执行通过所述低频去噪分支模型得到所述样本图像的低频样本去噪结果，通过所述中频去噪分支模型得到所述样本图像的中频样本去噪结果，通过所述高频去噪分支模型得到所述样本图像的高频样本去噪结果；
27、模型损失确定模块，被配置为执行根据所述低频样本去噪结果、所述中频样本去噪结果和所述高频样本去噪结果分别得到低频信息损失、中频信息损失和高频信息损失，并根据所述低频信息损失、中频信息损失和高频信息损失得到整体损失；
28、模型参数训练模块，被配置为执行根据所述整体损失对所述图像生成模型中的模型参数进行迭代训练，以获得训练后的所述图像生成模型。
29、在本公开的一种示例性实施例中，所述样本图像获取模块包括：
30、样本信息获取单元，被配置为执行根据所述样本图像得到对应的频域样本信息，并根据所述频域样本信息得到所述样本图像的低频样本信息和高频样本信息；
31、输入样本确定单元，被配置为执行根据所述样本图像的低频样本信息和高频样本信息以及所述样本描述文本，得到图像生成模型的输入样本数据。
32、在本公开的一种示例性实施例中，所述样本信息获取单元包括：
33、频域样本信息分离单元，被配置为执行通过预设的高通滤波器对所述频域样本信息进行分离，得到所述样本图像的低频样本信息和高频样本信息。
34、在本公开的一种示例性实施例中，所述样本图像去噪模块包括：
本文档来自技高网...
【技术保护点】
1.一种图像生成模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述根据所述样本图像和所述样本描述文本得到图像生成模型的输入样本数据，包括：
3.根据权利要求2所述的图像生成模型的训练方法，其特征在于，所述根据所述频域样本信息得到所述样本图像的低频样本信息和高频样本信息，包括：
4.根据权利要求2所述的图像生成模型的训练方法，其特征在于，所述通过所述低频去噪分支模型得到所述样本图像的低频样本去噪结果，通过所述中频去噪分支模型得到所述样本图像的中频样本去噪结果，通过所述高频去噪分支模型得到所述样本图像的高频样本去噪结果，包括：
5.根据权利要求4所述的图像生成模型的训练方法，其特征在于，所述根据所述低频样本去噪结果、所述中频样本去噪结果和所述高频样本去噪结果分别得到低频信息损失、中频信息损失和高频信息损失，包括：
6.一种图像生成方法，其特征在于，包括：
7.一种图像生成模型的训练装置，其特征在于，包括：
8.一种图像生成装置，其特征在于，包括：
>
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的图像生成模型的训练方法或者权利要求6所述的图像生成方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像生成模型的训练方法或者权利要求6所述的图像生成方法。
...
【技术特征摘要】
1.一种图像生成模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述根据所述样本图像和所述样本描述文本得到图像生成模型的输入样本数据，包括：
3.根据权利要求2所述的图像生成模型的训练方法，其特征在于，所述根据所述频域样本信息得到所述样本图像的低频样本信息和高频样本信息，包括：
4.根据权利要求2所述的图像生成模型的训练方法，其特征在于，所述通过所述低频去噪分支模型得到所述样本图像的低频样本去噪结果，通过所述中频去噪分支模型得到所述样本图像的中频样本去噪结果，通过所述高频去噪分支模型得到所述样本图像的高频样本去噪结果，包括：
5.根据权利要求4所述的图像生成模型的训练方法，其特征在于，所述根据所述低频样本去噪结果、所述...
【专利技术属性】
技术研发人员：朱雄威，高婷婷，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。