图像生成模型的训练方法、图像生成方法及其装置制造方法及图纸

技术编号:44598103 阅读:15 留言:0更新日期:2025-03-14 12:54
本公开提供了一种图像生成模型的训练方法、图像生成方法及其装置,涉及图像处理领域,尤其涉及人工智能领域。具体实现方案为:获取风格参照图像集合,风格参照图像集合包括风格参照图像;获取风格参照图像对应的第一提示词;基于风格参照图像集合和第一提示词,对预训练的基底大模型进行低秩自适应LoRA微调训练,得到目标LoRA适配器;确定目标LoRA适配器和预训练的图像处理适配器IP‑Adapter模块为辅助模型结构,与基底大模型进行耦合,得到目标图像生成模型。

【技术实现步骤摘要】

本公开涉及图像处理领域,尤其涉及人工智能领域,具体涉及图像生成模型的训练方法、图像生成方法及其装置


技术介绍

1、随着图像处理技术的发展,预训练的图像生成模型在图像生成任务中取得了显著的成果。这些模型通过大规模的数据集进行预训练,能够生成高质量的图像。然而,用户在实际应用中往往希望能够生成具有特定风格的图像,例如特定的写真风格、摄影风格等。

2、为了满足这一需求,需要对预训练的基底大模型进行进一步的优化和定制。传统的解决方案为重新训练整个模型,但这不仅耗时耗力,而且可能导致模型在其他任务上的性能下降。


技术实现思路

1、本公开提供了一种图像生成模型的训练方法、图像生成方法及其装置。

2、根据本公开的一方面,提供了一种图像生成模型的训练方法,通过获取风格参照图像集合,风格参照图像集合包括风格参照图像;获取风格参照图像对应的第一提示词;基于风格参照图像集合和第一提示词,对预训练的基底大模型进行低秩自适应lora微调训练,得到目标lora适配器;确定目标lora适配器和预训练的图像处理适配本文档来自技高网...

【技术保护点】

1.一种图像生成模型的训练方法,其中,所述方法包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:

3.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:

4.根据权利要求3所述的方法,其中,所述对第一样本图像集合按照人物垂类进行划分,获取每个所述人物垂类对应的第二样本图像集合,包括:

5.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:

6.根据权利要求5所述的方法,其中,所述对所述风格参照图像进行图像增广,获取增广后得到的风格参照图像集合,包括:

7.根据权利要求1所述的方法...

【技术特征摘要】

1.一种图像生成模型的训练方法,其中,所述方法包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:

3.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:

4.根据权利要求3所述的方法,其中,所述对第一样本图像集合按照人物垂类进行划分,获取每个所述人物垂类对应的第二样本图像集合,包括:

5.根据权利要求2所述的方法,其中,所述获取风格参照图像集合,包括:

6.根据权利要求5所述的方法,其中,所述对所述风格参照图像进行图像增广,获取增广后得到的风格参照图像集合,包括:

7.根据权利要求1所述的方法,其中,所述获取所述风格参照图像对应的第一提示词,包括:

8.根据权利要求1所述的方法,其中,所述获取所述风格参照图像对应的第一提示词,包括:

9.根据权利要求4或6所述的方法,其中,获取所述风格参照图像对应的第一提示词之后,还包括:

10.一种图像生成方法,其中,所述方法包括:

11.根据权利要求10所述的方法,其中,所述方法还包括:

12.一种图像生成模型的训练装置,其中,所述装置包括:

13.根据权利要求12所述的装置,其中,所述ip-adapter模块,用于提取图像特征和文本特...

【专利技术属性】
技术研发人员:张宁黄秀林李金玲唐海浩
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1