【技术实现步骤摘要】
本公开涉及人工智能，具体涉及计算机视觉、深度学习、大模型等，尤其涉及一种多模态图像生成模型的训练方法、图像生成方法和装置。
技术介绍
1、近几年来文本到图像模型的迅速进步极大推动了图像个性化生成领域的发展，无论是针对给定的图片进行文本指令形式的编辑，还是参考一张或多张图像中的主体进行图片定制化生成，都是热门且富有挑战性的研究方向。
技术实现思路
1、本公开提供了一种用于多模态图像生成模型的训练方法、图像生成方法和装置。
2、根据本公开的一方面，提供了一种多模态图像生成模型的训练方法，包括：从样本视频中抽取第一图像对；从所述第一图像对中，确定至少两类图像生成任务通用的第二图像对；根据所述第二图像对，确定不同图像生成任务的训练样本，所述训练样本包括参考图像、加噪图像和描述信息；根据所述不同图像生成任务的训练样本，对预训练的多模态图像生成模型进行微调，生成目标多模态图像生成模型。
3、根据本公开的另一方面，提供了一种图像生成方法，包括：获取目标图像生成任务对应的提示信息，...
【技术保护点】
1.一种多模态图像生成模型的训练方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，所述从所述第一图像对中，确定至少两类图像生成任务通用的第二图像对，包括：
3.根据权利要求2所述的方法，其中，所述根据所述背景相似度，从所述第一图像对中，确定所述第二图像对，包括：
4.根据权利要求1所述的方法，其中，所述根据所述第二图像对，确定不同图像生成任务的训练样本，包括：
5.根据权利要求1所述的方法，其中，所述根据所述第二图像对，确定不同图像生成任务的训练样本，包括：
6.根据权利要求1所述的方法，其中，...
【技术特征摘要】
1.一种多模态图像生成模型的训练方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，所述从所述第一图像对中，确定至少两类图像生成任务通用的第二图像对，包括：
3.根据权利要求2所述的方法，其中，所述根据所述背景相似度，从所述第一图像对中，确定所述第二图像对，包括：
4.根据权利要求1所述的方法，其中，所述根据所述第二图像对，确定不同图像生成任务的训练样本，包括：
5.根据权利要求1所述的方法，其中，所述根据所述第二图像对，确定不同图像生成任务的训练样本，包括：
6.根据权利要求1所述的方法，其中，所述根据所述不同图像生成任务的训练样本，对预训练的多模态图像生成模型进行微调，生成目标多模态图像生成模型，包括：
7.根据权利要求6所述的方法，其中，所述获取与所述第一训练样本关联的其他图像生成任务的第二训练样本，包括：
8.根据权利要求6所述的方法，其中，所述获取所述第一训练样本和第二...
【专利技术属性】
技术研发人员：顾涛，杨杰，徐薛，刘家辰，肖欣延，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。