图像生成及模型训练方法、装置、设备和存储介质制造方法及图纸

技术编号：40025735 阅读：16 留言：0更新日期：2024-01-16 17:27

本公开提供了一种图像生成及模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体为计算机视觉、深度学习、大模型等技术领域，可应用于图像处理等场景。图像生成模型的训练方法包括：获取教师模型的第一生成结果；获取学生模型的第二生成结果；所述学生模型为待训练的图像生成模型；基于第一生成结果和第二生成结果，构建损失函数；基于所述损失函数更新所述第一参数矩阵和所述第二参数矩阵，并根据更新后的第一参数矩阵和更新后的第二参数矩阵获得更新后的目标参数矩阵；所述第一参数矩阵的秩和所述第二参数矩阵的秩均小于所述目标参数矩阵的秩。本公开可以降低计算资源开销。

全部详细技术资料下载

【技术实现步骤摘要】

本公开涉及人工智能，具体为计算机视觉、深度学习、大模型等，可应用于图像处理等场景，尤其涉及一种图像生成及模型训练方法、装置、设备和存储介质。

技术介绍

1、扩散模型(diffusion model)是一类生成模型，可用于生成高分辨率图像。扩散模型将图像生成过程分解成多个去噪步骤，也就是生成模型的采样过程。由于采样次数较多，且单次采样需要两次前向去噪(denoise)过程，为此，采样速度较慢。

技术实现思路

1、本公开提供了一种图像生成及模型训练方法、装置、设备和存储介质。

2、根据本公开的一方面，提供了一种图像生成模型的训练方法，包括：获取教师模型的第一生成结果；获取学生模型的第二生成结果；其中，所述学生模型为待训练的图像生成模型，所述学生模型的目标参数矩阵是基于第一参数矩阵和第二参数矩阵确定的，且所述第一参数矩阵的秩和所述第二参数矩阵的秩均小于所述目标参数矩阵的秩；基于所述第一生成结果和所述第二生成结果，构建损失函数；基于所述损失函数更新所述第一参数矩阵和所述第二参数矩阵，并根据更新后的第一参数矩阵和更新后的第二参数矩阵获得更新后的目标参数矩阵。

3、根据本公开的另一方面，提供了一种图像生成方法，包括：获取输入特征，所述输入特征用于生成图像；采用图像生成模型，对所述输入特征进行生成处理，以生成所述输入特征对应的输出图像；其中，所述图像生成模型是采用如上述任一方面的任一项所述的训练方法训练的。

4、根据本公开的另一方面，提供了一种图像生成模型的训

5、根据本公开的另一方面，提供了一种图像生成装置，包括：获取模块，用于获取输入特征，所述输入特征用于生成图像；生成模块，用于采用图像生成模型，对所述输入特征进行生成处理，以生成所述输入特征对应的输出图像；其中，所述图像生成模型是采用如上述任一方面的任一项所述的训练方法训练的。

6、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

7、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

8、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

9、根据本公开的技术方案，可以降低计算资源开销。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种图像生成模型的训练方法，包括：

2.根据权利要求1所述的方法，其中，所述根据更新后的第一参数矩阵和更新后的第二参数矩阵获得更新后的所述目标参数矩阵，包括：

3.根据权利要求1所述的方法，其中，所述根据更新后的第一参数矩阵和更新后的第二参数矩阵获得更新后的所述目标参数矩阵，包括：

4.根据权利要求1所述的方法，其中，所述学生模型包括多个网络层，所述目标参数矩阵是所述多个网络层中部分网络层的参数矩阵。

5.根据权利要求4所述的方法，其中，所述多个网络层包括注意力网络层，所述目标参数矩阵是所述注意力网络层的注意力权重矩阵。

6.根据权利要求1-5任一项所述的方法，其中，所述获取教师模型的第一生成结果，包括：

7.根据权利要求1-5任一项所述的方法，其中，所述获取学生模型的第二生成结果，包括：

8.一种图像生成方法，包括：

9.根据权利要求8所述的方法，其中，所述输入特征包括：噪声图像的图像特征和提示文本的文本特征；相应地，所述输出图像是对所述噪声图像进行去噪处理后的图像。