基于正则化约束防止灾难性遗忘的小样本微调方法技术

本发明专利技术提供一种基于正则化约束防止灾难性遗忘的小样本微调方法。通过小样本数据对基础Stable Diffusion模型进行标准LoRA训练，获得初步定制化模型；在继续训练过程中，融合小样本数据与辅助数据，训练时在损失函数中引入防止灾难性遗忘正则化损失项，该正则化损失项通过约束当前模型输出与前一阶段模型输出的一致性，减少模型在新样本学习过程中对已学习特征的破坏，从而提升模型在目标风格下的泛化能力与稳定性。该方法兼顾模型对新样本快速适应与原有能力保留，避免风格漂移、细节缺失等问题。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体涉及一种基于正则化约束防止灾难性遗忘的小样本微调方法。

技术介绍

1、stable diffusion等扩散模型已广泛应用于文字生成图像（text-to-image）任务中。lora（low-rank adaptation）算法是一种主流的小样本微调方法，能够在仅需十几张样本的条件下实现模型的高效定制化。然而，在部分复杂应用场景中（如游戏角色、二次元风格ip定制等），模型在学习目标任务时，容易在风格一致性、细节保留等方面表现不足，生成结果不稳定或缺乏一致性。

2、基于此，本专利技术提出一种基于正则化约束防止灾难性遗忘的小样本微调方法。

技术实现思路

1、本专利技术为解决上述技术问题，提供了一种基于正则化约束防止灾难性遗忘的小样本微调方法。

2、本专利技术采用的技术方案如下：

3、一种基于正则化约束防止灾难性遗忘的小样本微调方法，包括以下步骤：

4、s1：获取基础stable diffusion模型和小样本训练集；其中，所述小样本训练集本文档来自技高网...

【技术保护点】

1.一种基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，所述S2中，所述低秩适配器为LoRA适配器，其由一对低秩矩阵构成，所述低秩矩阵的秩r满足：4≤r≤64；其参数更新仅作用于所述基础Stable Diffusion模型的交叉注意力层的权重矩阵。

3.根据权利要求2所述的基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，所述S2中，所述基础Stable Diffusion模型的原始权重的冻结操作包括：

4.根据权利要求3所述的基于正则化...

【技术特征摘要】

1.一种基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，所述s2中，所述低秩适配器为lora适配器，其由一对低秩矩阵构成，所述低秩矩阵的秩r满足：4≤r≤64；其参数更新仅作用于所述基础stable diffusion模型的交叉注意力层的权重矩阵。

3.根据权利要求2所述的基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，所述s2中，所述基础stable diffusion模型的原始权重的冻结操作包括：

4.根据权利要求3所述的基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，所述s3中，所述辅助数据集的构建包括：

5.根据权利要求4所述的基于正则化约束防止灾难性遗忘的小样本微调方法，其特征在于，所述s5中，所述参考输出特征和所述当前输出特征均为图像潜空间特征向量，通过所述参考模型和所述当前微调模型的解码器输出层提取。

6.根据权利要求5所述的基于正则化约束防止灾难性遗忘的小样本...

【专利技术属性】
技术研发人员：陈嘉欣，沈为汉，
申请(专利权)人：深圳市奇迹小山科技有限公司，
类型：发明
国别省市：