【技术实现步骤摘要】
本专利技术涉及计算机视觉与人工智能领域，更具体的，涉及一种基于扩散模型的零件表面缺陷生成与嵌入方法。
技术介绍
1、在工业缺陷检测中，检测模型的训练往往需要大量包含缺陷的样本。这些缺陷样本的收集存在很多问题。首先，某些场景中缺陷样本比较稀有，在数量上难以支持模型的训练。其次，样本中缺陷的类别往往呈现不均衡的分布，导致训练后的模型在稀有的缺陷类别上检出率较低；目前存在的缺陷数据扩充方法有直接缺陷粘贴和缺陷样本生成，前者抠出原样本的缺陷区域粘贴至新的样本中，缺陷无法与样本背景自然融合，降低了其有效性，后者利用生成模型直接生成带缺陷的样本，无法控制缺陷的类别与形态，无法达到可控地均衡数据的目的。
技术实现思路
1、为了解决上述至少一个技术问题，本专利技术提出了一种基于扩散模型的零件表面缺陷生成与嵌入方法。
2、本专利技术第一方面提供了一种基于扩散模型的零件表面缺陷生成与嵌入方法，包括：
3、收集包含多种产品与缺陷类型的数据集，并将数据集按照缺陷类型进行分类；
4、通过数据集获取缺陷图像、缺陷类别描述与缺陷区域掩膜标注；
5、使用stable diffusion模型在多缺陷类型的数据集上进行模型微调训练，建立缺陷生成模型；
6、在模型微调训练过程中施加两个约束，将两个约束与基准图像一同输入至缺陷生成模型，获得最终的有指定缺陷类型的图像。
7、本专利技术一个较佳实施例中，选取公开数据集mvtec、vision v1、da
8、本专利技术一个较佳实施例中，施加的两个约束包括缺陷种类约束与缺陷位置与形态约束；
9、其中缺陷种类约束包括：引入一个或多个语言描述提示词，约束缺陷种类的语言描述提示词p将缺陷物体的类别和缺损的种类结合，并提供给模型作为生成缺陷的指导；
10、缺陷位置与形态约束包括：约束位置形态信息的mask图像提示，用于指定生成缺陷的位置。
11、本专利技术一个较佳实施例中，正向过程为基于马尔可夫链逐渐向输入图像添加t步噪声的过程，通过逐渐增加噪声的程度，对输入图像进行多步迭代，生成逐渐模糊的图像序列；
12、逆向过程为将服从正态分布的随机变量不断去噪来生成数据,stable diffusion模型从最终模糊的图像开始，逐步还原图像的过程。
13、本专利技术一个较佳实施例中，正向过程包括：
14、将缺陷图像y被转换为其潜在表示z0＝e(y)，然后在t个步骤中注入高斯噪声：
15、
16、其中，时间变化的常数β1：t控制每个时间步骤t添加的噪声量，选择常数使得zt收敛到一个标准的高斯向量，正向过程不包含任何可训练的参数。
17、本专利技术一个较佳实施例中，反向过程中逐步去噪潜在变量zt：1，以恢复初始的潜在变量z0，逆向扩散过程表示为：
18、
19、其中，均值μθ使用神经网络进行参数化，方差为预先确定的常数；最终预测的潜在变量z0通过一个解码器d(z′0)将潜在变量转换回图像空间，从而生成恢复后的缺陷图像。
20、本专利技术一个较佳实施例中，对任意的图像x，与任意的图像x对应的缺陷位置形态掩码图像m和缺陷类型的语言描述提示p，通过神经网络获得对应种类和位置的缺陷图像y；模型的训练目标表示为：
21、
22、其中，∈表示一个标准正态分布的随机变量，∈θ表示用于预测噪声的深度神经网络，zt满足前向加噪过程。
23、本专利技术的上述技术方案相比现有技术具有以下优点：
24、(1)缺陷类型可控性：该模型可以生成不同类型的缺陷，包括常见和稀有的缺陷类别，可以有针对性地扩充缺陷数据集，并增加对于稀有缺陷类别的样本数量，通过控制输入的文本描述，可以指定所需的缺陷类型，从而满足特定应用场景的需求。
25、(2)位置形态可控性：该模型能够控制生成缺陷的位置和形态，通过在完整图像上绘制掩膜指定缺陷的位置，通过调整掩膜的形状和大小来控制缺陷的形态，可以根据实际情况生成符合要求的缺陷样本。
26、(3)扩充缺陷数据集：对于工业场景中缺陷稀少的情况，本方法可以有效地扩充缺陷数据集；通过生成多样且可控的缺陷样本，增加缺陷数据的多样性，提高数据集的覆盖范围，改善模型的泛化能力和鲁棒性，使其能够更好地应对实际工业场景中的缺陷检测任务。
27、(4)样本均衡性：本方法还可以针对稀有缺陷类别进行有针对性的样本增加，以达到样本的均衡状态；通过生成更多的稀有缺陷样本，平衡不同类别的样本分布，避免模型过于偏向于常见缺陷类别，从而提高模型在各类缺陷上的检测性能。
28、(5)通过该方法扩充的缺陷样本数据可以直接应用于下游检测模型的训练中，从而提升模型的检测表现，通过引入更多的缺陷样本，特别是针对稀有缺陷类别的样本，可以增加训练数据的多样性，使模型更好地学习不同类型的缺陷特征，有助于提高模型的泛化能力和准确性，使其能够更好地应对实际工业场景中的缺陷检测任务，扩充的缺陷样本数据可以作为训练集的一部分，与现有数据一起用于训练下游的检测模型，以提升模型的性能和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，包括：
2.根据权利要求1所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，选取公开数据集MVTEC、VISION V1、DAGM2007与Cotton-Fabric，分别分析每一个数据集的缺陷类型，并将不同数据集的相同类型的缺陷进行整合，生成新的缺陷数据集。
3.根据权利要求2所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于,施加的两个约束包括缺陷种类约束与缺陷位置与形态约束；
4.根据权利要求3所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，Stable Diffusion模型的训练过程包含正向过程和反向过程；正向过程为基于马尔可夫链逐渐向输入图像添加T步噪声的过程，通过逐渐增加噪声的程度，对输入图像进行多步迭代，生成逐渐模糊的图像序列；
5.根据权利要求1所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，正向过程包括：
6.根据权利要求1所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，反向过程中逐步去
7.根据权利要求1所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，对任意的图像x，与任意的图像x对应的缺陷位置形态掩码图像m和缺陷类型的语言描述提示p，通过神经网络获得对应种类和位置的缺陷图像y；模型的训练目标表示为：
...【技术特征摘要】
1.一种基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，包括：
2.根据权利要求1所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，选取公开数据集mvtec、vision v1、dagm2007与cotton-fabric，分别分析每一个数据集的缺陷类型，并将不同数据集的相同类型的缺陷进行整合，生成新的缺陷数据集。
3.根据权利要求2所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于,施加的两个约束包括缺陷种类约束与缺陷位置与形态约束；
4.根据权利要求3所述的基于扩散模型的零件表面缺陷生成与嵌入方法，其特征在于，stable diffusion模型的训练过程包含正向过程和反向过程；正...
【专利技术属性】
技术研发人员：林睿，姚思玥，王晓阳，王滔文，
申请(专利权)人：苏州元瞰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。