【技术实现步骤摘要】
本专利技术涉及文本到图像扩散模型概念擦除，尤其涉及一种文本到图像扩散模型概念擦除方法、系统、设备及介质。
技术介绍
1、近年来生成模型，尤其是文本到图像扩散模型技术快速发展，由于其具有生成高质量图像的能力，此类模型已经在艺术创作、内容生成、广告设计等多个领域得到了广泛应用。这些模型可以通过自然语言提示（prompts）生成高质量且细致入微的图像。
2、然而，由于这些模型通常基于大规模数据集进行训练，训练数据的质量和来源往往难以控制，导致模型在生成过程中可能包含不良或敏感等不适合公开传播的内容（后统称为不良内容）。
3、现有一些方法通过过滤训练数据来实现对不良内容的防控，然而不良数据的过滤是有限的，尤其是在面对大规模未经处理的网络数据时，很难确保所有不良内容均被剔除。此外，数据过滤方法无法有效应对模型已经学习到的深层次视觉概念。因此，又有研究者提出使用更简单高效的概念擦除技术，通过微调预训练模型实现对已学习概念的擦除或编辑。但是，现有概念擦除方法往往依赖于特定的提示词，只能擦除特定提示词对应的视觉内容，而未从模型中真正擦除视觉概念，如果用户使用对抗性或转述的提示词，仍可能诱导模型生成不良内容。
4、有鉴于此，特提出本专利技术。
技术实现思路
1、本专利技术的目的是提供一种文本到图像扩散模型概念擦除方法、系统、设备及介质，通过模型微调的方式将目标概念从模型中擦除，得到一个更加安全、可靠的扩散模型。
2、本专利技术的目的是通过以下技术方案实
3、一种文本到图像扩散模型概念擦除方法，包括：
4、获取给定的文本到图像扩散模型，以及目标概念图像集合；
5、对所述目标概念图像集合进行加噪处理，并输入至文本到图像扩散模型；通过调整目标概念生成概率获得目标函数，以及通过生成目标概念分割掩码对相应目标概念图像进行局部化处理，结合所述目标函数构建概念局部化擦除损失函数；结合文本到图像扩散模型生成的自注意力图构建自注意力失真损失函数，以调整自注意力响应；结合所述概念局部化擦除损失函数与自注意力失真损失函数对文本到图像扩散模型进行微调训练，获得擦除目标概念的文本到图像扩散模型。
6、一种文本到图像扩散模型概念擦除系统，用于实现前述的方法，该系统包括：
7、模型与图像集合获取单元，用于获取给定的文本到图像扩散模型，以及目标概念图像集合；
8、微调训练单元，用于对所述目标概念图像集合进行加噪处理，并输入至文本到图像扩散模型；通过调整目标概念生成概率获得目标函数，以及通过生成目标概念分割掩码对相应目标概念图像进行局部化处理，结合所述目标函数构建概念局部化擦除损失函数；结合文本到图像扩散模型生成的自注意力图构建自注意力失真损失函数，以调整自注意力响应；结合所述概念局部化擦除损失函数与自注意力失真损失函数对文本到图像扩散模型进行微调训练，获得擦除目标概念的文本到图像扩散模型。
9、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
10、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
11、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
12、由上述本专利技术提供的技术方案可以看出，一方面，从概念生成概率的角度出发，整体性地降低目标概念的生成概率，真正实现对目标概念的遗忘，同时，为了避免图像中无关概念带来的影响，提出概念局部化方法，引入目标概念分割掩码，防止无关视觉信息的引入，保证了概念擦除的精准和高效；另一方面，从模型本身机制出发，通过扰乱模型的自注意力响应，从模型层面进一步破坏目标概念的生成，提高了概念擦除的鲁棒性。总体而言，本专利技术同时从概率分布层面和模型层面考虑，真正意义上实现了鲁棒且高效的概念擦除。
本文档来自技高网...【技术保护点】
1.一种文本到图像扩散模型概念擦除方法，其特征在于，包括：
2.根据权利要求1所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述通过调整目标概念生成概率获得目标函数包括：
3.根据权利要求1或2所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述通过生成目标概念分割掩码对相应目标概念图像进行局部化处理包括：
4.根据权利要求2所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述概念局部化擦除损失函数表示为：
5.根据权利要求1所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述结合文本到图像扩散模型生成的自注意力图构建自注意力失真损失函数包括：
6.根据权利要求5所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述聚合所有自注意力图，并通过奇异值分解，选出最大奇异值对应的向量包括：
7.根据权利要求1所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述结合所述概念局部化擦除损失函数与自注意力失真损失函数对文本到图像扩散模型进行微调训练包括：
8.一种文本到图像
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。
...【技术特征摘要】
1.一种文本到图像扩散模型概念擦除方法，其特征在于，包括：
2.根据权利要求1所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述通过调整目标概念生成概率获得目标函数包括：
3.根据权利要求1或2所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述通过生成目标概念分割掩码对相应目标概念图像进行局部化处理包括：
4.根据权利要求2所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述概念局部化擦除损失函数表示为：
5.根据权利要求1所述的一种文本到图像扩散模型概念擦除方法，其特征在于，所述结合文本到图像扩散模型生成的自注意力图构建自注意力失真损失函数包括：
6.根据权利要求5...
【专利技术属性】
技术研发人员：谢洪涛，张勇东，孙雨豪，于灵云，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。