【技术实现步骤摘要】
本公开涉及图像处理领域,尤其涉及人工智能领域,具体涉及图像生成模型的训练方法、图像生成方法及其装置。
技术介绍
1、随着图像处理技术的发展,预训练的图像生成模型在图像生成任务中取得了显著的成果。这些模型通过大规模的数据集进行预训练,能够生成高质量的图像。然而,用户在实际应用中往往希望能够生成具有特定风格的图像,例如特定的写真风格、摄影风格等。
2、为了满足这一需求,需要对预训练的基底大模型进行进一步的优化和定制。传统的解决方案为重新训练整个模型,但这不仅耗时耗力,而且可能导致模型在其他任务上的性能下降。
技术实现思路
1、本公开提供了一种图像生成模型的训练方法、图像生成方法及其装置。
2、根据本公开的一方面,提供了一种图像生成模型的训练方法,通过获取风格参照图像集合,风格参照图像集合包括风格参照图像;获取风格参照图像对应的第一提示词;基于风格参照图像集合和第一提示词,对预训练的基底大模型进行低秩自适应lora微调训练,得到目标lora适配器;确定目标lora适配器和
...【技术保护点】
1.一种图像生成模型的训练方法,其中,所述方法包括:
2.根据权利要求1所述的方法,其中,所述方法还包括:
3.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:
4.根据权利要求3所述的方法,其中,所述对第一样本图像集合按照人物垂类进行划分,获取每个所述人物垂类对应的第二样本图像集合,包括:
5.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:
6.根据权利要求5所述的方法,其中,所述对所述风格参照图像进行图像增广,获取增广后得到的风格参照图像集合,包括:
7.根据
...【技术特征摘要】
1.一种图像生成模型的训练方法,其中,所述方法包括:
2.根据权利要求1所述的方法,其中,所述方法还包括:
3.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:
4.根据权利要求3所述的方法,其中,所述对第一样本图像集合按照人物垂类进行划分,获取每个所述人物垂类对应的第二样本图像集合,包括:
5.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:
6.根据权利要求5所述的方法,其中,所述对所述风格参照图像进行图像增广,获取增广后得到的风格参照图像集合,包括:
7.根据权利要求1所述的方法,其中,所述获取所述风格参照图像对应的第一提示词,包括:
8.根据权利要求1所述的方法,其中,所述获取所述风格参照图像对应的第一提示词,包括:
9.根据权利要求4或6所述的方法,其中,获取所述风格参照图像对应的第一提示词之后,还包括:
10.一种图像生成方法,其中,所述方法包括:
11.根据权利要求10所述的方法,其中,所述方法还包括:
12.一种图像生成模型的训练装置,其中,所述装置包括:
13.根据权利要求12所述的装置,其中,所述ip-adapter模块,用于提取图像特征和文本特...
【专利技术属性】
技术研发人员:张宁,黄秀林,李金玲,唐海浩,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。