图像生成、模型训练方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种图像生成、模型训练方法、装置、设备及存储介质。本公开通过多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值。由于图像生成元素的个数是大量的，且不同图像生成元素之间的组合方式也是灵活多样的，因此，通过组合不同的多个图像生成元素，可以生成大量的不同的目标图像，极大的提高了目标图像的多样性。的提高了目标图像的多样性。的提高了目标图像的多样性。

【技术实现步骤摘要】
图像生成、模型训练方法、装置、设备及存储介质


[0001]本公开涉及信息
，尤其涉及一种图像生成、模型训练方法、装置、设备及存储介质。

技术介绍

[0002]随着图像被广泛的应用，图像生成技术也在不断的发展。例如，在目前的人工智能自动内容生成(AI generated content，AIGC)方案中，图像生成模型可以自动的生成图像。
[0003]但是，目前的图像生成模型所生成的图像不够多样，导致图像生成模型生成的图像无法被广泛应用。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像生成、模型训练方法、装置、设备及存储介质，通过组合不同的多个图像生成元素，可以生成大量的不同的目标图像，极大的提高了目标图像的多样性。
[0005]第一方面，本公开实施例提供一种图像生成方法，包括：
[0006]获取多个图像生成元素；
[0007]根据所述多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值。
[0008]第二方面，本公开实施例提供一种图像生成方法，包括：
[0009]接收终端发送的多个图像生成元素；
[0010]根据所述多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值；
[0011]将所述目标图像反馈给所述终端。
[0012]第三方面，本公开实施例提供一种图像生成方法，所述方法包括：
[0013]响应于用户选择的多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值；
[0014]显示所述目标图像。
[0015]第四方面，本公开实施例提供一种图像生成方法，所述方法包括：
[0016]将至少一个样本图像分别拆解为多个图像元素；
[0017]根据所述至少一个样本图像分别对应的多个图像元素、以及所述图像元素的标识，构建数据库；
[0018]接收终端发送的多个标识；
[0019]根据所述多个标识，从所述数据库中获取与所述多个标识对应的多个图像元素；
[0020]根据与所述多个标识对应的多个图像元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个标识对应的多个图像元素和所述多个目标元素一一对应，且存在对应关系的目标元素和图像元素的相似度大于或等于预设值。
[0021]第五方面，本公开实施例提供一种模型训练方法，所述方法包括：
[0022]获取样本图像和所述样本图像对应的加噪图像；
[0023]将样本图像拆解为多个图像元素；
[0024]将所述加噪图像、以及所述多个图像元素中的至少部分图像元素输入到待训练的机器学习模型中，使得所述待训练的机器学习模型根据所述至少部分图像元素对所述加噪图像进行去噪处理，得到去噪图像；
[0025]根据所述样本图像和所述去噪图像，对所述待训练的机器学习模型进行训练，得到训练完成的机器学习模型，所述训练完成的机器学习模型用于实现如上所述的图像生成方法。
[0026]第六方面，本公开实施例提供一种图像生成装置，包括：
[0027]获取模块，用于获取多个图像生成元素；
[0028]生成模块，用于根据所述多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值。
[0029]第七方面，本公开实施例提供一种电子设备，包括：
[0030]存储器；
[0031]处理器；以及
[0032]计算机程序；
[0033]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面到第五方面所述的方法。
[0034]第八方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面到第五方面所述的方法。
[0035]本公开实施例提供的图像生成、模型训练方法、装置、设备及存储介质，通过多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值。由于图像生成元素的个数是大量的，且不同图像生成元素之间的组合方式也是灵活多样的，因此，通过组合不同的多个图像生成元素，可以生成大量的不同的目标图像，极大的提高了目标图像的多样性。
附图说明
[0036]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0037]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本公开实施例提供的模型训练方法流程图；
[0039]图2为本公开实施例提供的应用场景的示意图；
[0040]图3为本公开实施例提供的图像元素的示意图；
[0041]图4为本公开实施例提供的图像生成方法流程图；
[0042]图5为本公开另一实施例提供的迭代去噪流程图；
[0043]图6为本公开另一实施例提供的图像元素组合的示意图；
[0044]图7为本公开另一实施例提供的在UNet中引入全局向量的示意图；
[0045]图8为本公开另一实施例提供的UNet内部的处理过程示意图；
[0046]图9为本公开另一实施例提供的UNet中引入局部向量的示意图；
[0047]图10为本公开实施例提供的图像生成条件和图像对应关系的示意图；
[0048]图11为本公开另一实施例提供的加噪图像和去噪图像的示意图；
[0049]图12为本公开另一实施例提供的图像生成方法流程图；
[0050]图13为本公开另一实施例提供的应用场景的示意图；
[0051]图14为本公开另一实施例提供的图像生成方法流程图；
[0052]图15为本公开实施例提供的应用场景的示意图；
[0053]图16为本公开另一实施例提供的图像生成方法流程图；
[0054]图17为本公开实施例提供的应用场景的示意图；
[0055]图18为本公开实施例提供的图像生成装置的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其中，所述方法包括：获取多个图像生成元素；根据所述多个图像生成元素，生成目标图像，使得所述目标图像的多个图像元素包括多个目标元素，所述多个目标元素和所述多个图像生成元素一一对应，且存在对应关系的目标元素和图像生成元素的相似度大于或等于预设值。2.根据权利要求1所述的方法，其中，根据所述多个图像生成元素，生成目标图像，包括：将所述多个图像生成元素输入预先训练完成的机器学习模型中，使得所述机器学习模型根据所述多个图像生成元素对带噪图像进行迭代去噪后生成所述目标图像，并在生成所述目标图像的过程中，补全所述目标图像的多个图像元素中除所述多个目标元素之外的其他图像元素。3.根据权利要求2所述的方法，其中，所述机器学习模型包括第一中间层、第二中间层、第三中间层和第四中间层，所述第二中间层是所述第一中间层的下一层，所述第四中间层是所述第三中间层的下一层，所述第四中间层位于所述第一中间层之上；所述多个图像生成元素包括至少一个全局性的图像生成元素，所述全局性的图像生成元素对应有全局向量；所述机器学习模型根据所述多个图像生成元素对带噪图像进行迭代去噪，包括：将至少一个全局向量、以及本次迭代对应的向量进行相加，得到第一相加结果；将所述第一相加结果输入所述第一中间层，所述第一中间层用于将所述第一相加结果映射为第一向量和第二向量，所述第一中间层的输出信息是根据所述第一向量、所述第二中间层的输出信息和所述第二向量确定的，所述第二中间层的输出信息与所述带噪图像相关；将所述至少一个全局向量分别映射为多个向量，得到向量序列；将所述向量序列输入所述第三中间层，所述第三中间层用于将所述向量序列和所述第四中间层的输出信息进行交互，使得所述第三中间层的输出信息包括所述向量序列的信息；根据所述第三中间层的输出信息，完成本次迭代去噪。4.根据权利要求2所述的方法，其中，所述多个图像生成元素包括至少一个局部性的图像生成元素，所述局部性的图像生成元素对应有局部向量；将所述多个图像生成元素输入预先训练完成的机器学习模型中，包括：将至少一个局部向量进行相加，得到第二相加结果；将所述第二相加结果和所述带噪图像的表示向量进行拼接，得到拼接结果；将所述拼接结果输入到所述预先训练完成的机器学习模型中。5.根据权利要求1所述的方法，其中，获取多个图像生成元素之前，所述方法还包括：将至少一个样本图像分别拆解为多个图像元素，所述至少一个样本图像分别对应的多个图像元素构成集合。6.根据权利要求5所述的方法，其中，获取多个图像生成元素，包括：将所述集合中的至少两个图像元素作为所述多个图像生成元素；或者将新的图像元素和所述集合中的至少一个图像元素作为所述多个图像生成元素，所述
新的图像元素是用户输入的图像元素或用户对所述集合中的所述图像元素进行修改后的图像元素；或者将至少两个新的图像元素作为所述多个图像生成元素。7.根据权利要求5所述的方法，其中，所述方法还...

【专利技术属性】
技术研发人员：黄梁华，陈狄，刘宇，沈宇军，赵德丽，周靖人，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：