图像生成模型的训练方法及装置制造方法及图纸

本说明书实施例涉及一种图像生成模型的训练方法及装置，图像生成模型包含人脸一致性模块和训练好的扩散模型，扩散模型包括加噪模块和第一去噪网络，所述方法包括：将原始人脸图像输入加噪模块，得到第一噪声图像，然后将第一噪声图像输入第一去噪网络，得到具有第一风格的第一人脸图像，接着将第一噪声图像输入由第一去噪网络和人脸一致性模块融合形成的第一融合模块中进行融合处理，得到第二人脸图像，接下来根据原始人脸图像与第二人脸图像之间的人脸相似度，确定第一损失，根据第一人脸图像与第二人脸图像之间的风格相似度，确定第二损失，最后基于第一损失与第二损失的总损失，调整人脸一致性模块的参数。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及人工智能领域，尤其涉及一种图像生成模型的训练方法及装置。

技术介绍

1、随着aigc(artificial intelligence generated content，人工智能生成内容)技术的兴起，利用人工智能实现内容的生成和加工的需求变得越发迫切。在面向用户的娱乐内容生产中，利用人工智能模型对用户上传的照片进行风格化重绘，生成美感高、趣味性强、同时与原始图像具有一定相关度的图像，能够提升产品的用户体验。

2、然而，目前的风格化重绘模型普遍存在训练所需数据量大、生成的图像风格单一、生成的结果与原始图像相关性差等问题。因此，需要一种新的模型来克服上述问题。

技术实现思路

1、本说明书一个或多个实施例描述了一种图像生成模型的训练方法及装置，训练完成的模型在对用户上传的照片进行风格化重绘的同时，最大程度保留原图中的关键特征，得到与原始图像强相关的风格图像，提升生产内容的专属性与独特性。

2、第一方面，提供了一种图像生成模型的训练方法，所述图像生成模型包含人脸一致本文档来自技高网...

【技术保护点】

1.一种图像生成模型的训练方法，所述图像生成模型包含人脸一致性模块和训练好的扩散模型，所述扩散模型包括加噪模块和第一去噪网络，所述方法包括：

2.根据权利要求1所述的方法，其中，所述扩散模型通过以下方法完成训练：

3.根据权利要求1所述的方法，其中，所述第一去噪网络由第一风格模块和去噪模块融合形成；所述去噪模块和所述加噪模块在所述扩散模型的预训练阶段联合训练，所述第一风格模块在所述扩散模型的微调阶段利用具有第一风格的人脸图像样本进行训练得到。

4.根据权利要求3所述的方法，所述扩散模型还包括第二去噪网络，所述第二去噪网络由所述去噪模块和第二风格模块融合...

【技术特征摘要】

1.一种图像生成模型的训练方法，所述图像生成模型包含人脸一致性模块和训练好的扩散模型，所述扩散模型包括加噪模块和第一去噪网络，所述方法包括：

2.根据权利要求1所述的方法，其中，所述扩散模型通过以下方法完成训练：

3.根据权利要求1所述的方法，其中，所述第一去噪网络由第一风格模块和去噪模块融合形成；所述去噪模块和所述加噪模块在所述扩散模型的预训练阶段联合训练，所述第一风格模块在所述扩散模型的微调阶段利用具有第一风格的人脸图像样本进行训练得到。

4.根据权利要求3所述的方法，所述扩散模型还包括第二去噪网络，所述第二去噪网络由所述去噪模块和第二风格模块融合形成，用于生成第二风格的人脸图像；所述方法还包括：

5.根据权利要求1所述的方法，其中，所述第一去噪网络与人脸一致性模块为具有相同结构的多层神经网络；所述融合处理包括：将所述第一去噪网络与人脸一致性模块的每一个中间层的输出结果求和，作为各自的下一层的输入。

6.根据权利要求3所述的方法，其中，所述第一风格模块和去噪模块为具有相同结构的多层神经网络，并通过以下方法进行融合：

7.根据权利要求1所述的方法，其中，根据所述原始人脸图像与第二人脸图像之间的人脸相似度，确定第一损失，包括：

8.根据权利要求1所述的方法，其中，根据所...

【专利技术属性】
技术研发人员：李文，王萌，陈景东，杨铭，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：