一种基于深度特征记忆库的无监督缺陷检测方法及终端技术

本发明专利技术公开了一种基于深度特征记忆库的无监督缺陷检测方法及终端，涉及无监督缺陷检测技术领域，输入待检图片至预训练模型，提取待检图片的矩阵特征；输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。其通过增加可训练的特征描述器其做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。常。常。

【技术实现步骤摘要】
一种基于深度特征记忆库的无监督缺陷检测方法及终端


[0001]本专利技术涉及无监督缺陷检测
，特别涉及一种基于深度特征记忆库的无监督缺陷检测方法及终端。

技术介绍

[0002]在工业检测行业，缺陷检测是一个非常重要的领域。其中有监督的缺陷检测是指通过人工标注缺陷位置和类别，让深度学习网络进行学习，从而获得判别缺陷位置和缺陷类型的能力；而无监督缺陷检测则是不需要人工标注，仅通过学习无缺陷的样本，让模型获得判别异常图像以及异常位置的能力，无监督的缺陷检测无法判别缺陷的类型。
[0003]在很多行业场景里，缺陷样本数据的获取非常困难，而正常样本则很容易获取，因此无监督缺陷检测也成为行业的研究热点之一。现有技术中，中国专利申请文献CN114862772A提出了一种基于深度学习特征相关性的无监督缺陷检测方法。通过使用深度学习预训练网络作为图像特征提取模块，对输入的图像进行抽象描述，由正常样本训练缺陷检测模型，得到特征模板库，检测时，对待检测图像提取特征，将待检测图像的特征和正常样本的特征对比，对待检测图像的特征在特征模板库中进行k近邻检索，两个向量之间的距离衡量方式为欧式距离，根据距离衡量待检测样本的异常得分，判断是否存在缺陷。其通过无监督特征相关性的方式来进行缺陷检测，无需繁琐的人工标注，仅需要采用少量正常样本就能完成缺陷的检测分割。其特征库的构建过程如图1所示，检测过程如图2所示。
[0004]但该专利文献的所用的方法是实际上是将图像深度特征和核心特征库进行一一比对，如果偏离所有的核心特征库，就将其判定为异常，这一做法的问题在于，当图像出现旋转、缩放等常见操作时，图像的本质没有发生变化，但是会和核心特征库发生偏差，导致其将正常图像判定为异常。

技术实现思路

[0005]本专利技术所要解决的技术问题是：提供一种基于深度特征记忆库的无监督缺陷检测方法及终端，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于深度特征记忆库的无监督缺陷检测方法，包括步骤：S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。
[0007]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
一种基于深度特征记忆库的无监督缺陷检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。
[0008]本专利技术的有益效果在于：一种基于深度特征记忆库的无监督缺陷检测方法及终端，其通过增加可训练的特征描述器做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。
附图说明
[0009]图1为现有技术特征库的构建的流程示意图；图2为现有技术检测的流程示意图；图3为本专利技术实施例的一种基于深度特征记忆库的无监督缺陷检测方法的流程示意图；图4为本专利技术实施例涉及的预训练模型的数据流向示意图；图5为本专利技术实施例涉及的特征描述器的流程示意图；图6为本专利技术实施例涉及的相似度计算的数据流向示意图；图7本专利技术实施例涉及的特征描述器的训练的流程示意图；图8为本专利技术实施例涉及的核心特征库的构建流程图；图9为本专利技术实施例涉及的特征压缩的流程示意图；图10为本专利技术实施例的一种基于深度特征记忆库的无监督缺陷检测终端的结构示意图。
[0010]标号说明：1、一种基于深度特征记忆库的无监督缺陷检测终端；2、处理器；3、存储器。
具体实施方式
[0011]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0012]请参照图3至图9，一种基于深度特征记忆库的无监督缺陷检测方法，包括步骤：S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。
[0013]由上述描述可知，本专利技术的有益效果在于：一种基于深度特征记忆库的无监督缺陷检测方法及终端，其通过增加可训练的特征描述器做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。
[0014]进一步地，所述核心特征库根据以下步骤获得：A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征。
[0015]A2、使用初始化的特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征。
[0016]A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。
[0017]由上述描述可知，通过特征压缩的方式，在不舍弃特征的情况下，把所有模板特征压缩到固定大小，使核心特征库维持固定的大小同时尽可能保留所有模板特征信息，使其在增加模板数量时既可以提升效果，也不会使检测速度变慢。
[0018]进一步地，所述预训练模型具体是执行以下步骤：B1、将输入图像缩放至预设尺寸；B2、提取输入图像的不同尺度的特征。
[0019]由上述描述可知，实现了预训练模型提取输入图像的特征。
[0020]进一步地，所述特征描述器具体是执行以下步骤：C1、将不同尺度的特征采样到同一尺度后进行合并，得到多尺度特征；C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。
[0021]由上述描述可知，实现了对于特征的泛化，使其能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。
[0022]进一步地，所述特征描述器根据以下方法进行训练：获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：D1、将图像集依次输入预训练模型和待训练的特征描述器，得到输入图像集的泛化特征；D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：；D3、分别选取核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，包括步骤：S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。2.根据权利要求1所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述核心特征库根据以下步骤获得：A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征；A2、使用特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征；A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。3.根据权利要求1或2所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述预训练模型具体是执行以下步骤：B1、将输入图像缩放至预设尺寸；B2、提取输入图像的不同尺度的特征。4.根据权利要求1或2所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述特征描述器具体是执行以下步骤：C1、将不同尺度的特征采样到同一尺度后进行合并，得到多尺度特征；C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。5.根据权利要求4所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述特征描述器根据以下方法进行训练：获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：D1、将图像集依次输入预训练模型和特征描述器，得到输入图像集的泛化特征；D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：;D3、分别选取核心特征库中和每个图像块泛化特征相似度最高的K+J个图像块特征，前K个计算损失函数L
att
，根据后J个计算损失函数L
rep
，根据损失函数L
att
和L
rep
反向传播更新特征描述器的参数；其中，L
att
的函数为：；L
rep
的函数为：
；式中，T表示每张输入图像的泛化特征数量，r是可训练的相似度距离参数，α是超参数。6.一种基于深度特征记忆库的无监督缺陷检测终端，包括存储器、处...

【专利技术属性】
技术研发人员：童同，詹文鹏，杨和，刘文哲，高钦泉，
申请(专利权)人：福建帝视科技集团有限公司，
类型：发明
国别省市：