【技术实现步骤摘要】
本公开涉及图像处理的，尤其涉及一种图像生成方法、装置、电子设备、存储介质及程序产品。
技术介绍
1、生成式人工智能（artificial intelligence generated content，aigc）是指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。
2、目前，基于大型预训练模型（或称大模型）的aigc算法可以生成许多精美的图像，但是其本身为通用模型，只能绘出名人图像或者随机人像。因此，当普通用户想生成其自身的图像时，则需要使用较多该用户的图像对通用的大模型进行微调，使得模型学习到该用户的ip概念，即用户的特征。然而，这种方法在对模型进行微调时，需要进行全量参数的微调，因此需要消耗较多的计算资源。
技术实现思路
1、本公开提供一种图像生成方法、装置、电子设备、存储介质及程序产品，以至少解决相关技术中对模型进行微调时，需要消耗较多的计算资源的问题。本公开的技术方案如下：
2、根据本公开实施例的第一方面，提供一种图像生成方法，包括：
3、获取对象的原始图像和针对所述原始图像的描述信息；
4、将所述原始图像和所述原始图像的描述信息，输入至训练好的与所述对象对应的图像生成模型中，得到所述对象的新的图像；所述新的图像具有与所述原始图像的描述信息相同的内容，且所述新的图像与所述原始图像在除所述描述信息之外的其他图像信息上存在不同；
5、其中，所述图像生成模
6、所述图像生成模型，还用于通过所述基座网络和所述原始图像的描述信息，对所述原始图像进行变换处理，得到第一变换图像信息，以及通过所述调整网络和所述原始图像的描述信息，对所述原始图像进行变换处理，得到第二变换图像信息；根据所述第一变换图像信息和所述第二变换图像信息，生成所述对象的新的图像。
7、在一示例性实施例中，所述获取针对所述原始图像的描述信息，包括：
8、对所述原始图像进行特征提取，得到针对所述原始图像的第一描述信息；
9、以及，根据所述原始图像中的所述对象的标识信息和类别信息，得到所述针对所述原始图像的第二描述信息；
10、对所述第一描述信息和所述第二描述信息进行组合处理，得到针对所述原始图像的描述信息。
11、在一示例性实施例中，所述图像生成模型通过下述方式训练得到：
12、获取所述对象的样本图像和所述样本图像的描述信息；
13、将所述样本图像和所述样本图像的描述信息，输入待训练的图像生成模型，得到针对所述对象预测的新的图像；
14、保持所述图像生成模型中的所述基座网络的参数不变，基于针对所述对象预测的新的图像和所述样本图像，对所述图像生成模型中的所述调整网络进行训练，得到训练好的图像生成模型。
15、在一示例性实施例中，所述获取所述对象的样本图像，包括：
16、获取所述对象的第一样本图像，以及获取与所述对象的类别相同的其他对象的第二样本图像；所述第二样本图像从与所述对象的类别相同的其他对象的图像数据库中获取，或者通过所述图像生成模型中的基座网络生成；
17、将所述第一样本图像和所述第二样本图像，组成所述对象的样本图像。
18、在一示例性实施例中，所述基于所述预测图像和所述样本图像，对所述图像生成模型中的所述调整网络进行训练，得到训练好的图像生成模型，包括：
19、通过预设的损失函数，确定所述预测图像与所述样本图像之间的损失值；
20、根据所述损失值，对所述图像生成模型中的所述调整网络进行训练，得到训练好的图像生成模型。
21、在一示例性实施例中，所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于确定所述预测图像的图像特征与所述样本图像的图像特征之间的差异；所述第二损失函数用于确定所述预测图像的类别与所述样本图像的类别之间的差异；
22、所述通过预设的损失函数，确定所述预测图像与所述样本图像之间的损失值，包括：
23、通过所述第一损失函数，确定所述预测图像与所述样本图像之间的第一损失值；
24、以及，通过所述第二损失函数，确定所述预测图像与所述样本图像之间的第二损失值；
25、基于所述第一损失值和所述第二损失值，得到所述预测图像与所述样本图像之间的损失值。
26、在一示例性实施例中，所述图像生成模型，还用于对所述第一变换图像信息和所述第二变换图像信息进行融合处理，得到所述对象的新的图像。
27、根据本公开实施例的第二方面，提供一种图像生成装置，包括：
28、数据获取单元，被配置为执行获取对象的原始图像和针对所述原始图像的描述信息；
29、图像生成单元，被配置为执行将所述原始图像和所述原始图像的描述信息，输入至训练好的与所述对象对应的图像生成模型中，得到所述对象的新的图像；所述新的图像具有与所述原始图像的描述信息相同的内容，且所述新的图像与所述原始图像在除所述描述信息之外的其他图像信息上存在不同；
30、其中，所述图像生成模型包括基座网络和调整网络，所述调整网络用于调整所述基座网络的输出内容；所述图像生成模型通过所述对象的样本图像和针对所述样本图像的描述信息，对所述调整网络进行训练得到；
31、所述图像生成模型，还用于通过所述基座网络和所述原始图像的描述信息，对所述原始图像进行变换处理，得到第一变换图像信息，以及通过所述调整网络和所述原始图像的描述信息，对所述原始图像进行变换处理，得到第二变换图像信息；根据所述第一变换图像信息和所述第二变换图像信息，生成所述对象的新的图像。
32、在一示例性实施例中，所述数据获取单元，还被配置为执行对所述原始图像进行特征提取，得到针对所述原始图像的第一描述信息；以及，根据所述原始图像中的所述对象的标识信息和类别信息，得到所述针对所述原始图像的第二描述信息；对所述第一描述信息和所述第二描述信息进行组合处理，得到针对所述原始图像的描述信息。
33、在一示例性实施例中，所述装置还包括模型训练网络，被配置为执行获取所述对象的样本图像和所述样本图像的描述信息；将所述样本图像和所述样本图像的描述信息，输入待训练的图像生成模型，得到针对所述对象预测的新的图像；保持所述图像生成模型中的所述基座网络的参数不变，基于针对所述对象预测的新的图像和所述样本图像，对所述图像生成模型中的所述调整网络进行训练，得到训练好的图像生成模型。
34、在一示例性实施例中，模型训练网络，还被配置为执行获取所述对象的第一样本图像，以及获取与所述对象的类别相同的其他对象的第二样本图像；所述第二样本图像从与所述对象的类本文档来自技高网...
【技术保护点】
1.一种图像生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取针对所述原始图像的描述信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述图像生成模型通过下述方式训练得到：
4.根据权利要求3所述的方法，其特征在于，所述获取所述对象的样本图像，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述预测图像和所述样本图像，对所述图像生成模型中的所述调整网络进行训练，得到训练好的图像生成模型，包括：
6.根据权利要求5所述的方法，其特征在于，所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于确定所述预测图像的图像特征与所述样本图像的图像特征之间的差异；所述第二损失函数用于确定所述预测图像的类别与所述样本图像的类别之间的差异；
7.根据权利要求1所述的方法，其特征在于，所述图像生成模型，还用于对所述第一变换图像信息和所述第二变换图像信息进行融合处理，得到所述对象的新的图像。
8.一种图像生成装置，其特征在于，包括：
9.一种电子设备，其特
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像生成方法。
...【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取针对所述原始图像的描述信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述图像生成模型通过下述方式训练得到：
4.根据权利要求3所述的方法，其特征在于，所述获取所述对象的样本图像，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述预测图像和所述样本图像，对所述图像生成模型中的所述调整网络进行训练，得到训练好的图像生成模型，包括：
6.根据权利要求5所述的方法，其特征在于，所述损失函数包括第一损失函数和第二损失函数；所述第一损...
【专利技术属性】
技术研发人员：诸丰彦，李岩，高婷婷，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。