内容生成模型训练方法、内容生成方法及相关装置制造方法及图纸

本说明书一个或多个实施例提供了一种内容生成模型训练方法、内容生成方法及相关装置。该方法及相关装置中，内容生成模型被设计为多个功能模块的组合，不同模块从不同角度对生成内容进行精准控制，不同模块可以通过不同的训练过程分别进行训练。其中，第一生成模块可采用基础生成模型或者通过蒸馏训练得到；基于第一生成模块和匹配分析模块，对第二生成模块进行训练，使第二生成模块对第一生成模块输出的内容进行调整；另外，还可以基于细节定位模块训练得到质量增强模块，使其对第二生成模块输出的内容进行细节优化，得到质量更高的内容。基于上述内容生成模型，其第一生成模块、第二生成模块和质量增强模块可以分别生成不同质量等级的内容。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及人工智能，尤其涉及一种内容生成模型训练方法、内容生成方法及相关装置。

技术介绍

1、随着人工智能技术的发展，工业界出现了多种基于人工智能技术的应用。其中，利用基于人工智能技术的内容生成模型，即生成式人工智能(ai-generated content，aigc)模型，可以自动生成高质量且富有创意的图像内容，受到大量关注。

2、aigc模型可以根据输入的提示信息(prompt)生成相应的内容，但在精准度上仍存在较大问题，导致实际生成的内容与提示信息所表征的预期内容存在一定差异。

技术实现思路

1、为了精准控制内容生成结果，本说明书一个或多个实施例提供了一种内容生成模型训练方法、内容生成方法及相关装置。

2、第一方面，本说明书一个或多个实施例提供了一种内容生成模型训练方法，包括：

3、获取第一训练样本集；所述第一训练样本集包括多个第一样本提示信息和与所述第一样本提示信息一一对应的第一样本生成内容；

4、将所述第一样本提示信息输入待训练的内容本文档来自技高网...

【技术保护点】

1.一种内容生成模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一生成内容对所述第一样本提示信息的匹配程度信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述匹配分析模块为根据分割一切模型SAM、对比语言图像预训练模型CLIP中的至少一种训练得到。

4.根据权利要求1所述的方法，其特征在于，还包括：通过蒸馏训练得到所述第一生成模块；

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述第三训练样本集对所述内容生成模型的质量增强...

【技术特征摘要】

1.一种内容生成模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一生成内容对所述第一样本提示信息的匹配程度信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述匹配分析模块为根据分割一切模型sam、对比语言图像预训练模型clip中的至少一种训练得到。

4.根据权利要求1所述的方法，其特征在于，还包括：通过蒸馏训练得到所述第一生成模块；

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述第三训练样本集对所述内容生成模型的质量增强模块进行训练，包括：

7.根据权利要求6所述的方法，其特征在于，所述质量增强模块的结构采用unet结构。

8.一种内容生成方法，其特征在于，包括：

9.根据权利要求8所述的方法，其特征在于，所述内容生成模型包括第一生成模块、匹配分析模块和第二生成模块；

10.根据权利要求9所述的方法，其特征在于，所述内容生成模型还包括细节定位模块和质量增强模块；

11.一种内容生成模型训练装置，其特征在于，包括：第一获取单元和第一训练单元；

12.根据权利要求11所述的装置，其特征在于，所述第一训练单元用于执行获取所述第一生成...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：