基于大模型的图像生成方法、模型训练方法、装置及设备制造方法及图纸

本公开提供了基于大模型的图像生成方法、模型训练方法、装置及设备，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、大模型技术领域，可应用于AIGC基于人工智能的内容生成场景。具体实现方案为：响应于图像生成请求，分别对图像生成请求包括的初始图像和描述文本进行特征编码，得到第一图像特征和第一文本特征，初始图像和描述文本均与目标对象相关；对第一图像特征和第一文本特征进行特征融合，得到融合特征；以及基于第一图像特征、第一文本特征和融合特征，对初始图像进行补全，生成目标图像。

【技术实现步骤摘要】

本公开涉及人工智能，尤其涉及计算机视觉、深度学习、大模型，可应用于aigc基于人工智能的内容生成场景，更具体地，涉及一种基于大模型的图像生成方法、模型训练方法、装置及设备。

技术介绍

1、随着人工智能技术的发展，人工智能已向着认知智能的方向发展。作为认知智能的标志性产物，生成式人工智能可以基于生成对抗网络、大型预训练模型等，通过已有数据的学习和识别，以适当的泛化能力生成相关内容。

技术实现思路

1、本公开提供了一种基于大模型的图像生成方法、模型训练方法、装置及设备。

2、根据本公开的一方面，提供了一种基于大模型的图像生成方法，包括：响应于图像生成请求，分别对所述图像生成请求包括的初始图像和描述文本进行特征编码，得到第一图像特征和第一文本特征，所述初始图像和所述描述文本均与目标对象相关；对所述第一图像特征和所述第一文本特征进行特征融合，得到融合特征；以及基于所述第一图像特征、所述第一文本特征和所述融合特征，对所述初始图像进行补全，生成目标图像。

3、根据本公开的另一方面，提供了一种模型训本文档来自技高网...

【技术保护点】

1.一种基于大模型的图像生成方法，包括：

2.根据权利要求1所述的方法，其中，所述对所述第一图像特征和所述第一文本特征进行特征融合，得到融合特征，包括：

3.根据权利要求2所述的方法，其中，所述对所述第一图像特征和所述第一子特征进行特征融合，得到第二子特征，包括：

4.根据权利要求2所述的方法，其中，所述对所述第一图像特征和所述第一子特征进行特征融合，得到第二子特征，包括：

5.根据权利要求2所述的方法，其中，所述图像生成请求还包括与所述目标对象相关的主体名称文本；

6.根据权利要求1所述的方法，其中，所述基于所述第一图像特征、...

【技术特征摘要】

1.一种基于大模型的图像生成方法，包括：

2.根据权利要求1所述的方法，其中，所述对所述第一图像特征和所述第一文本特征进行特征融合，得到融合特征，包括：

3.根据权利要求2所述的方法，其中，所述对所述第一图像特征和所述第一子特征进行特征融合，得到第二子特征，包括：

4.根据权利要求2所述的方法，其中，所述对所述第一图像特征和所述第一子特征进行特征融合，得到第二子特征，包括：

5.根据权利要求2所述的方法，其中，所述图像生成请求还包括与所述目标对象相关的主体名称文本；

6.根据权利要求1所述的方法，其中，所述基于所述第一图像特征、所述第一文本特征和所述融合特征，对所述初始图像进行补全，生成目标图像，包括：

7.一种模型训练方法，包括：

8.一种基于大模型的图像生成装置，包括...

【专利技术属性】
技术研发人员：刘芳龙，戎康，张琦，宋雨鑫，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：