本发明专利技术提供一种基于缺陷描述的缺陷分类方法及系统，其中方法包括以下步骤：获得缺陷图像和对应的缺陷描述文本；将所述缺陷图像送入视觉编码器中进行编码，得到视觉特征；将所述缺陷描述文本送入语义编码器中进行编码，得到语义特征；将所述视觉特征送入多层感知机，经过激活函数，得到在每个候选标签上的概率预测p<subgt;1</subgt;，计算损失L<subgt;1</subgt;；将所述视觉特征和所述语义特征进行融合后，经过激活函数，得到在每个候选标签上的概率预测p<subgt;2</subgt;，计算损失L<subgt;2</subgt;；对所述损失L<subgt;1</subgt;和所述损失L<subgt;2</subgt;进行融合，得到最终损失；对所述概率预测p<subgt;1</subgt;和所述概率预测p<subgt;2</subgt;进行融合，取融合后最大概率值所属标签为缺陷预测结果。本发明专利技术能够更加准确地界定不同类别之间的区别，提高分类的准确率。
【技术实现步骤摘要】
本专利技术涉及图像分类，尤其涉及一种图像缺陷分类方法及系统。
技术介绍
1、缺陷检测是工业中常见的任务之一，其中经常会涉及到缺陷分类任务，尤其对不同的缺陷采取不同的修补措施时，准确地识别出缺陷的类别显得尤为重要。
2、在常见的缺陷分类任务算法中，缺陷的类别经常以数字或者0-1向量来表示，而很少有将缺陷的文本描述融合到算法中，以提升分类效果的模型。常见的缺陷分类任务算法中，在缺陷类别比较多且缺陷的视觉特征比较接近时容易引起错分，出现难以界定不同类别之间的区别的情况，分类的准确率非常低。
3、此外，常见的缺陷分类任务算法采用基于卷积的模型，提取有效视觉特征的效果差，运算时间长。
4、近年来随着大模型不断地发展，在视觉——语言上的特征表达也更加统一，使得增加文本的模态信息，更好地拟合出各个缺陷之间的潜在分界线成为可能。但现有的缺陷分类模型尚无法解决在缺陷类别比较多且缺陷的视觉特征比较接近时容易引起错分，出现难以界定不同类别之间的区别的情况，分类的准确率非常低；提取有效视觉特征的效果差，运算时间长等问题。
技术实现思路
1、针对上述现有缺陷分类模型存在的问题，本专利技术提出了一种基于缺陷描述的缺陷分类方法，其核心是将缺陷的文本描述融入到分类算法中，将缺陷以文本的形式描述出来，并且将文本进行编码，送入到网络模型中，更加准确地界定不同类别之间的区别，以增加分类的准确率；引入基于窗口的注意力机制模型作为视觉编码器，以保证有效视觉特征提取的前提下缩短运算时间。</p>2、第一方面，本专利技术提供一种基于缺陷描述的缺陷分类方法，包括以下步骤：
3、获得缺陷图像和对应的缺陷描述文本；
4、将所述缺陷图像送入视觉编码器中进行编码，得到视觉特征；
5、将所述缺陷描述文本送入语义编码器中进行编码，得到语义特征；
6、将所述视觉特征送入多层感知机，经过激活函数，得到在每个候选标签上的概率预测p1，计算损失l1；
7、将所述视觉特征和所述语义特征进行融合后，经过激活函数，得到在每个候选标签上的概率预测p2，计算损失l2；
8、对所述损失l1和所述损失l2进行融合，得到最终损失；
9、对所述概率预测p1和所述概率预测p2进行融合，取融合后最大概率值所属标签为缺陷预测结果。
10、作为本专利技术的进一步改进，所述缺陷描述文本的获得方法包括：
11、将所述缺陷图像送入预训练好的图像转文本模型中，得到描述文本；
12、基于所述描述文本，总结同一类标签内相似且与不同类标签间相区别的文本，获得所述缺陷描述文本。
13、作为本专利技术的进一步改进，所述将所述缺陷图像送入视觉编码器中进行编码，得到视觉特征，包括：
14、将所述缺陷图像送入卷积网络，得到块结构；
15、根据设置的窗口大小重新组合所述块结构，得到窗口结构；
16、将所述窗口结构送入窗口注意力模型中进行迭代后，送入降维网络中进行信息融合，得到编码视觉特征；
17、将所述编码视觉特征送入平均池化层，得到视觉特征。
18、作为本专利技术的进一步改进，所述窗口注意力模型的迭代操作包括：多头注意力机制、多层感知机、归一化、加和。
19、作为本专利技术的进一步改进，所述窗口注意力模型和所述降维网络的处理层级为一个或多个。
20、作为本专利技术的进一步改进，所述将所述缺陷描述文本送入语义编码器中进行编码，得到语义特征，包括：
21、将所述缺陷描述文本送入语义编码器，得到一个或多个维度特征；
22、将所述维度特征映射到与所述视觉特征统一的维度后进行语义编码，得到所述语义特征。
23、作为本专利技术的进一步改进，所述将所述视觉特征和所述语义特征进行融合后，经过激活函数，得到融合特征概率和损失l2，包括：
24、将视觉特征与语义特征相乘，得到一个或多个维度的融合结果；
25、将所述融合结果送入激活函数，对函数值进行映射，得到在每个候选标签上的概率预测p2；
26、对候选标签进行向量表示，采用损失函数计算损失l2。
27、作为本专利技术的进一步改进，所述最终损失为：l＝λl1+(1-λ)l2，其中λ∈[0,1]。
28、作为本专利技术的进一步改进，所述对所述概率预测p1和所述概率预测p2进行融合，即：p＝λp1+(1-λ)p2，其中λ∈[0,1]。
29、第二方面，本专利技术对应上述各方法还提供一种基于缺陷描述的缺陷分类系统，包括：
30、图像和描述获得模块，用于获得缺陷图像和对应的缺陷描述文本；
31、视觉特征获得模块，用于将所述缺陷图像送入视觉编码器中进行编码，得到视觉特征；
32、语义特征获得模块，用于将所述缺陷描述文本送入语义编码器中进行编码，得到语义特征；
33、第一函数计算模块，用于将所述视觉特征送入多层感知机，经过激活函数，得到在每个候选标签上的概率预测p1，计算损失l1；
34、第二函数计算模块，用于将所述视觉特征和所述语义特征进行融合后，经过激活函数，得到在每个候选标签上的概率预测p2，计算损失l2；
35、损失融合模块，用于对所述损失l1和所述损失l2进行融合，得到最终损失l；
36、缺陷结果预测模块，用于对所述概率预测p1和所述概率预测p2进行融合，取融合后最大概率值所属标签为缺陷预测结果。
37、与现有技术相比，本专利技术的有益效果在于：
38、本专利技术提出一种基于缺陷描述的缺陷分类方法及系统，将缺陷以文本的形式描述出来，并且将文本进行编码，送入到网络模型中，克服了在缺陷类别比较多且缺陷的视觉特征比较接近时容易引起错分的问题，能够更加准确地界定不同类别之间的区别，提高了分类的准确率。
39、本法明引入基于窗口的注意力机制模型作为视觉编码器，能够保证在有效视觉特征提取的前提下缩短运算时间。
本文档来自技高网...
【技术保护点】
1.一种基于缺陷描述的缺陷分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述缺陷描述文本的获得方法包括：
3.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述将所述缺陷图像送入视觉编码器中进行编码，得到视觉特征，包括：
4.根据权利要求3所述的基于缺陷描述的缺陷分类方法，其特征在于，所述窗口注意力模型的迭代操作包括：多头注意力机制、多层感知机、归一化、加和。
5.根据权利要求3所述的基于缺陷描述的缺陷分类方法，其特征在于，所述窗口注意力模型和所述降维网络的处理层级为一个或多个。
6.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述将所述缺陷描述文本送入语义编码器中进行编码，得到语义特征，包括：
7.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述将所述视觉特征和所述语义特征进行融合后，经过激活函数，得到融合特征概率和损失L2，包括：
8.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述最终损失为：L＝λL1+(1-λ)L2，其中λ∈[0,1]。
9.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述对所述概率预测p1和所述概率预测p2进行融合，即：p＝λp1+(1-λ)p2，其中λ∈[0,1]。
10.一种根据权利要求1-9中的任一项所述的基于缺陷描述的缺陷分类系统，其特征在于，包括：
...
【技术特征摘要】
1.一种基于缺陷描述的缺陷分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述缺陷描述文本的获得方法包括：
3.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特征在于，所述将所述缺陷图像送入视觉编码器中进行编码，得到视觉特征，包括：
4.根据权利要求3所述的基于缺陷描述的缺陷分类方法，其特征在于，所述窗口注意力模型的迭代操作包括：多头注意力机制、多层感知机、归一化、加和。
5.根据权利要求3所述的基于缺陷描述的缺陷分类方法，其特征在于，所述窗口注意力模型和所述降维网络的处理层级为一个或多个。
6.根据权利要求1所述的基于缺陷描述的缺陷分类方法，其特...
【专利技术属性】
技术研发人员：王晓梅，虞钉钉，沈旭立，曹培，徐清，张翰博，
申请(专利权)人：华院计算技术上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。