图像生成模型的训练方法、图像生成方法、装置及设备制造方法及图纸

本申请提供了一种图像生成模型的训练方法、图像生成方法、装置及设备，属于计算机技术领域。所述方法包括：获取多个对象的单对象图文对，每个对象的单对象图文对包括单对象图像和单对象文本，每个对象的单对象图像中包括所述对象，每个对象的单对象文本包括所述对象的名称和类别；基于所述多个对象的单对象图文对，生成至少一个组合图文对，每个组合图文对包括组合图像和组合文本，每个组合图像包含所述多个对象中的至少两个对象，每个组合文本包括对应的组合图像中各个对象的名称、类别和位置；基于所述多个对象的单对象图文对和至少一个组合图文对，对图像生成模型进行训练。上述技术方案利于图像生成模型生成高质量的组合图像。

【技术实现步骤摘要】

本申请涉及计算机领域，特别涉及一种图像生成模型的训练方法、图像生成方法、装置及设备。

技术介绍

1、随着计算机技术的发展，利用计算机设备自动生成图像的方式被广泛应用。其中，较为典型是将处于不同图像的对象合成到一张图像中。例如，将一个图像中的猫和另一个图像中的狗合成到组合图像中，以使组合图像同时显示该猫和该狗。如何高质量地生成组合图像是本领域研究的重点。

2、目前，通常采用的方式是采用图像生成模型，分别学习计划合成到一个图像中各个对象的信息。也即是，通过第一对象所在的第一图像和第一图像对应的对象描述文本，对图像生成模型进行训练；然后，再通过第二对象所在的第二图像和第二图像对应的对象描述文本，对图像生成模型进行训练。然后，通过向图像生成模型提供包含第一对象和第二对象的对象描述文本，以使图像生成模型生成包含第一对象和第二对象的组合图像。

3、但是，上述技术方案中，在通过第二对象所在的第二图像对图像生成模型进行训练之后，图像生成模型往往会遗忘之前学习到的第一对象的信息，使得通过训练后的图像生成模型生成的组合图像中常常会出现两个第二对象，而没本文档来自技高网...

【技术保护点】

1.一种图像生成模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述多个对象的单对象图文对，生成至少一个组合图文对，包括：

3.根据权利要求2所述的方法，其特征在于，所述采用贴图的方式，将所述预设数量个对象的单对象图像合成为一个图像，得到一个组合图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述多个对象的单对象图文对和至少一个组合图文对，对图像生成模型进行训练，包括：

5.根据权利要求4所述的方法，其特征在于，所述对于首轮训练，基于所述多个对象中任一对象的单对象图文对，对所述图...

【技术特征摘要】

1.一种图像生成模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述多个对象的单对象图文对，生成至少一个组合图文对，包括：

3.根据权利要求2所述的方法，其特征在于，所述采用贴图的方式，将所述预设数量个对象的单对象图像合成为一个图像，得到一个组合图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述多个对象的单对象图文对和至少一个组合图文对，对图像生成模型进行训练，包括：

5.根据权利要求4所述的方法，其特征在于，所述对于首轮训练，基于所述多个对象中任一对象的单对象图文对，对所述图像生成模型进行训练，包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述图像特征向量和所述文本嵌入向量进行处理，得到生成图像，包括：

7.根据权利要求4所述的方法，其特征在于，所述至少一个历史对象的历史图文对的获取过程，包括：

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.根据权利要求4所述的方法，其特征在于，所述对于非首轮训练，基于增量对象的单对象图文对、至少一个历史对象的历史图文对以及包含所述至少一个历史对象和所述增量对象的组合图文对，对所述图像生成模型进行训练，包括：

10.根据权利要求9所述的方法，其特征在于，所述基于包含所述至少一个历史对象和所述增量对象的组合图文对，确...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：