【技术实现步骤摘要】
本专利技术属于计算机视觉，更具体地，涉及一种基于多聚合度邻域聚合特征的新类别工业缺陷发现方法。
技术介绍
1、在工业生产过程中，同一批产品因不同原因会产生不同类型的缺陷，较为常见的如磕碰导致的局部破损、划痕，由于转配错误导致的错位或缺失，因机器内部混入的杂质导致的污染等。对于一批刚生产或返厂待修复的产品而言，需要检测存在缺陷的产品，并根据不同类型的缺陷，采取不同的修复策略，这些缺陷的类别未知，仅能提供少量的正常样本作为辅助，新缺陷类别发现便是该任务中的重要环节之一。新缺陷类别发现任务旨在具有少量正常样本作为参考，甚至无正常样本的情况下将测试集中的正常样本、不同类型的缺陷样本进行区分，目前新缺陷类别发现存在三大问题，一是与经典的自然场景新类别发现任务不同，工业场景中产品大部分区域为正常，缺陷仅存在局部区域中，对类别的定义也从整个物体的外观转为了物体上的缺陷部分；二是工业产品中的缺陷类型多样，且存在缺陷的样本以及缺陷所在的位置均不可知，这使得对新缺陷类别的发现需建立在定位缺陷的基础上，这仍旧是工业界的另一大挑战；三在实际工业场景中，由于光照、机器状态、产品外观等存在较大变化，不同批次生产的样本差异非常大，无法预先收集大量的参考正常样本，导致大部分新缺陷类别发现的方法在较多工业场景中的落地性并不好。
2、现有的新缺陷类别发现方法可分为以下几种类型。基于传统聚类的方法使用手工描述符来表示每张图像，然后使用k-means等聚类算法进行缺陷分类，然而由于缺陷仅存在于物体的局部较小区域，导致手工描述符表达的内容更倾向于物体而非缺陷
3、当前主流的新缺陷类别发现方法严重依赖于聚类算法本身，而未注意到工业场景下缺陷的特点，导致所设计的方法应用在工业场景中时会聚焦于物体表观上的差异，而非根据缺陷处的不同进行分类，严重影响了新缺陷类别划分的准确性，这在现有的方法中很少被讨论。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，从局部图像区域特征出发，充分考虑不同大小的缺陷，实现更准确的新缺陷类别发现。
2、为了实现上述目的，本专利技术提供了一种基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，包括以下步骤：
3、(1)使用深度神经网络提取所有测试集图像特征；
4、(2)将提取的局部图像区域级特征输入多聚合度邻域聚合模块中，获得在多个不同大小邻域范围内聚合的聚合区域级特征；
5、(3)将所有测试图像和参考图像的所有聚合区域级特征输入异常概率估计模块中，得到每个局部图像区域处的异常概率，异常概率越大，表明此处为缺陷的概率越大，然后将聚合区域级特征和每个局部图像区域对应的异常概率输入到图像级特征构建模块中，得到对每张图像的特征表达；
6、(4)使用图像级特征间的l2距离来近似表示两张图像在高维空间中的距离，使用层次聚类将测试集中的所有图像划分为k个聚类簇，计算calinski-harabasz指数自适应确定k的取值，为每个聚类簇定义一个聚类标签，属于该聚类簇的图像聚类标签相同，将其作为该图像的缺陷类别并输出。
7、本专利技术的一个实施例中，所述步骤(1)具体包括：
8、(1.1)准备一个在自然场景图像中预训练的vit网络作为特征提取器，可以采用任意现有的vit网络架构与预训练网络参数；
9、(1.2)输入一批待检测的工业场景测试图像dtest＝{i1,i2,…,in}和少量正常参考图像其中ii表示第i张图像，n为测试图像总数，其中包含未知数量的正常图像与异常图像，异常图像中存在缺陷，该专利技术需要将存在缺陷的异常图像检测出来，并将包含不同类型缺陷的异常图像进行分类，为用于参考的正常图像总数；
10、(1.3)固定特征提取器网络参数，将多层的vit主干网络按层均匀划分为4个块，分别提取每一个块输出的局部图像区域特征其中i表示图像ii，l为vit分块的序号，c为特征向量长度，m为局部图像区域序号，定义局部图像区域总数量为m。
11、本专利技术的一个实施例中，所述步骤(2)具体包括：
12、(2.1)对每张图像的每个局部图像区域，获取它在空间中的1×1、3×3、5×5三种不同邻域的局部图像区域级邻域特征，以识别不同大小的缺陷；
13、(2.2)采用自适应平均池操作对局部图像区域m的这三种不同聚合度的邻域特征进行分别聚合，得到该位置的聚合区域级特征其中r为聚合度，表示聚合了r×r大小的邻域特征。
14、本专利技术的一个实施例中，所述步骤(3)具体包括：
15、(3.1)使用欧几里得距离计算测试集图像ii每个位置的聚合区域级特征与{dtest,dref}中其余每张图像ij的聚合区域级特征的最小距离，公式如下：
16、
17、其中表示在相同r和l的情况下图像ii的第m个局部图像区域与图像ij计算所得的最小距离，且j≠i，使用如下公式对中所有ij的取值情况进行平均：
18、
19、其中表示在r和l确定的情况下图像ii的第m个局部图像区域的异常概率；
20、(3.2)将每个局部图像区域处的异常概率作为权重，对图像ii中的所有聚合区域级特征进行加权求和，得到在r和l固定取值下的表征该图像ii的图像级特征，为充分利用vit不同层特征的语义信息，以及不同聚合度下的特征，将不同r和l取值得到的图像级特征进行平均获得图像ii最终的图像级特征表达fi：
21、
22、本专利技术的一个实施例中，所述步骤(1.1)中使用在wit-400m数据集上通过clip方法预训练的large-vit。
23、本专利技术的一个实施例中，在所述large-vit中，局部图像区域大小为14×14，分辨率大小为336×336。
24、本专利技术的一个实施例中，所述步骤(1.2)中，为1。
25、本专利技术的一个实施例中，在所述步骤(4)中，k不超过20。
26、总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有如下有益效果：
27、本专利技术采用多聚合度邻域聚合模块能够有效表达工业场景中的不同大小的缺陷，确保之后构建图像级特征时能够充分利用完整缺陷区域的特征；采用异常概率估计模块估计异常概率作为权重，对聚合区域级特征进行加权平均，可使得形成的图像级特征更多地表达缺陷区域的语义信息，而非完整物体的语义信息；另外，本专利技术完全自动化工作，无需训练和人工调参，运行成本低，分类效果高于现有方法。
本文档来自技高网...【技术保护点】
1.一种基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(1)具体包括：
3.如权利要求1或2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(2)具体包括：
4.如权利要求1或2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(3)具体包括：
5.如权利要求2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(1.1)中使用在WIT-400M数据集上通过CLIP方法预训练的large-ViT。
6.如权利要求5所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，在所述large-ViT中，局部图像区域大小为14×14，分辨率大小为336×336。
7.如权利要求2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(1.2)中，为1。
8.如权利要求1或2
...【技术特征摘要】
1.一种基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(1)具体包括：
3.如权利要求1或2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(2)具体包括：
4.如权利要求1或2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特征在于，所述步骤(3)具体包括：
5.如权利要求2所述的基于多聚合度邻域聚合特征的新类别工业缺陷发现方法，其特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。