图像生成模型的训练方法、相关装置和介质制造方法及图纸

本公开提供了一种图像生成模型的训练方法、相关装置和介质。方法包括：获取多个图文样本对，图文样本对包括背景模板图像、噪声基准图像、噪声基准图像的图像描述信息和样本对象的样本对象图像；基于噪声基准图像、背景模板图像和模板掩码图像，确定样本拼接图像特征；基于背景模板图像中参考对象的轮廓特征、图像描述信息和样本对象图像确定去噪网络控制信息；基于样本拼接图像特征和去噪网络控制信息，通过图像生成模型进行噪声预测，得到噪声基准图像的噪声预测结果；基于多个图文样本对的噪声基准图像与噪声预测结果的比对，训练图像生成模型。本公开能提高生成目标图像的准确性。

【技术实现步骤摘要】

本公开涉及大数据，特别是涉及一种图像生成模型的训练方法、相关装置和介质。

技术介绍

1、目前，在视频制作、虚拟展示等多种业务场景中，常常需要替换背景图像和对象图像来创建个性化的图像。例如，在制作物品a的物品图像时，要将一个背景图中的物品b替换成物品a。对此，相关技术中常常采用的是基于神经网络模型在指定的背景图像中对背景图像中的第一对象进行抠除，并制作与背景图像中的第一对象具备相同朝向和拍摄角度等特点的第二对象，并以贴图的形式将第二对象嵌入到背景图像，以使第二对象在指定背景图像中展示。

2、但是，上述方式往往会受限于目标对象与背景图像在角度、光照滤镜等多种因素的限制，而在实际的模型训练中，常常难以收集到足够的符合预期的训练数据，会影响模型训练效果，出现模型生成的目标图像不符合要求的情况（例如，无法使图像中的目标对象的光照、滤镜与背景图一致），从而导致模型生成的目标图像的准确性不高。

技术实现思路

1、本公开实施例提供了一种图像生成模型的训练方法、相关装置和介质，它能够提高图像生成模型生成目标图像的准本文档来自技高网...

【技术保护点】

1.一种图像生成模型的训练方法，其特征在于，所述训练方法包括：

2.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述基于多个所述图文样本对的所述噪声基准图像与所述噪声预测结果的比对，训练所述图像生成模型，包括：

3.根据权利要求2所述的图像生成模型的训练方法，其特征在于，所述噪声预测结果是通过多个预测时间步的预测得到的；

4.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述基于所述噪声基准图像、所述背景模板图像、和模板掩码图像，确定样本拼接图像特征，包括：

5.根据权利要求1所述的图像生成模型的训练方法，其特征在于，...

【技术特征摘要】

1.一种图像生成模型的训练方法，其特征在于，所述训练方法包括：

2.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述基于多个所述图文样本对的所述噪声基准图像与所述噪声预测结果的比对，训练所述图像生成模型，包括：

3.根据权利要求2所述的图像生成模型的训练方法，其特征在于，所述噪声预测结果是通过多个预测时间步的预测得到的；

4.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述基于所述噪声基准图像、所述背景模板图像、和模板掩码图像，确定样本拼接图像特征，包括：

5.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述基于所述背景模板图像中的所述参考对象的轮廓特征、所述图像描述信息、和所述样本对象图像，确定所述图像生成模型的去噪网络控制信息，包括：

6.根据权利要求5所述的图像生成模型的训练方法，其特征在于，所述对所述图像描述信息进行编码处理，得到图像描述嵌入向量，包括：

7.根据权利要求5所述的图像生成模型的训练方法，其特征在于，所述控制网络包括第一控制子网络、和第二控制子网络；所述样本对象特征数据包括第一样本对象特征、第二样本对象特征、第三样本对象特征、和第四样本对象特征，其中，所述第一样本对象特征、所述第二样本对象特征、所述第三样本对象特征、和所述第四样本对象特征通过对所述样本对象图像进行分别的特征提取得到；

8.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述噪声基准图像通过以下方式生成：

9.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述图像生成模型包括扩散网络、和去噪网络；

10.根据权利要求9所述的图像生成模型的训练方法，其特征在于，所述去...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：