基于显著目标检测的无监督纹理类缺陷检测方法及系统技术方案

本发明专利技术提供了一种基于显著目标检测的无监督纹理类缺陷检测方法及系统，包括步骤

【技术实现步骤摘要】
基于显著目标检测的无监督纹理类缺陷检测方法及系统


[0001]本专利技术涉及缺陷检测
，具体地，涉及一种基于显著目标检测的无监督纹理类缺陷检测方法及系统
。

技术介绍

[0002]工业缺陷检测是在工业生产中应用的一种技术，旨在检测和识别制造过程中的缺陷和异常
。
传统的工业缺陷检测主要分为三类：基于纹理特征的方法
、
基于颜色特征的方法
、
基于形状特征的方法
。
纹理特征反映了图像中的同质化现象，可以通过像素及其附近空间邻域的灰度分布来反映图像表面的组织结构和排列特性
。
其中，基于颜色特征的方法计算量小，对图像本身的大小
、
方向
、
视角等因素的依赖性小，鲁棒性高；基于形状的方法有效地利用了图像中感兴趣的目标进行检索；而基于纹理特征的方法通过描述对象的外边界特征来获得图像的形状参数，是主要采用的方法类型
。
[0003]目前，工业生产对产品质量的要求越来越高
。
然而，在产品制造的过程中往往会生产出部分有缺陷的产品，如钢板
、
铝箔
、
瓷砖等纹理类工业产品通常会出现划痕
、
斑点
、
孔洞等缺陷
。
这些缺陷不仅影响产品的美观，而且对产品的使用也会造成不良影响
。
因此，在纹理类工业产品的生产中，缺陷检测是至关重要的
。
[0004]深度学习的快速发展使其在缺陷检测领域得到越来越广泛的应用
。
[0005]基于深度学习的常见分类主要有三种：监督方法
、
无监督方法
、
弱监督方法
。
[0006]其中，监督方法要求训练集和测试集缺一不可，训练集中的样本必须被标记；训练集用于寻找样本的内在规律，然后将规律应用到测试集
。
无监督方法通过学习无标签数据的模式，得到数据的一些内在特征和联系并自动对数据进行分类
。
而弱监督方法结合了有监督方法和无监督方法的特点，能根据具体需求平衡标记成本与性能
。
[0007]显著目标检测旨在检测场景中视觉上最显著的物体，并提取其精确到像素级的轮廓
。
显著目标检测模型对类别不敏感，且其检测到的显著目标是通用的
、
与类别无关的
。
纹理类工业产品具备背景简单
、
结构重复等特点
。
[0008]然而，传统的显著目标检测需要依赖大规模的数据训练及大量的数据集训练模型，且其边界模糊，实用性及准确度等性能都差强人意
。
[0009]在公开号为
CN107622280B
的中国专利文献中，公开了一种基于特征建模显著性检测的皮革材料表面缺陷检测方法，包括步骤：
S01、
先采集皮革材料的视频信息，在视频中选取若干帧图像作为待检测图像；
S02、
然后采用自底向上的模型，进行显著性图像的初步获取，得到第一显著性图像；
S03、
利用等面积多直方图均衡算法对第一显著性图像进行增强，得到第二显著性图像；
S04、
基于超像素的再优化对第二显著性图像进行处理，得到第三显著性图像；
S05、
最后，根据第三显著性图像标出缺陷所在位置，运用全局阈值法对得到的第三显著性图像进行自适应阈值化
。
该专利文献虽然能够一次性对整张皮革的缺陷进行检测与定位，但仍然需要大规模的数据训练集，因此无法解决上述问题
。

技术实现思路

[0010]针对现有技术中的缺陷，本专利技术的目的是提供一种基于显著目标检测的无监督纹理类缺陷检测方法及系统
。
[0011]根据本专利技术提供的一种基于显著目标检测的无监督纹理类缺陷检测方法，包括：
[0012]步骤
S1
：将纹理类数据集中的缺陷图像中截取缺陷部分作为前景图像，将对应类别的正常图像作为背景图像，将前景图像和背景图像结合生成新的缺陷图像；
[0013]步骤
S2
：根据已知纹理数据，搭建显著目标检测网络框架并提取图像特征，生成纹理数据的特征图；
[0014]步骤
S3
：获取目标纹理类数据中正常图像的特征图；获取每个像素处的正常图像特征向量，形成正常图像特征字典；
[0015]步骤
S4
：根据含缺陷的目标纹理类数据及其标签训练网络，获取显著目标检测网络的预训练模型；
[0016]步骤
S5
：基于预训练模型得到的检测结果，将图像中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，得到伪正常图像特征图并使用正常图像特征图进行监督，生成最终的缺陷检测结果图
。
[0017]优选的，所述步骤
S1
包括以下子步骤：
[0018]步骤
S1.1
：将纹理类数据集的缺陷图像和正常图像划分为训练集和测试集；将带有标签的已知纹理类数据作为预训练模型时使用的数据集；
[0019]步骤
S1.2
：将训练集中的标签划分为边缘标签和中心区域标签，将无标签的纹理类数据集作为目标纹理类缺陷数据集；
[0020]步骤
S1.3
：从训练集的缺陷图像中截取缺陷部分作为前景图像；
[0021]步骤
S1.4
：收集前景图像对应类别的正常图像并作为背景图像；
[0022]步骤
S1.5
：结合前景图像与背景图像生成新的缺陷图像，扩充缺陷数据集
。
[0023]优选的，所述步骤
S2
包括以下子步骤：
[0024]步骤
S2.1
：将尺寸为
(b,c,w,h)
的图像输入到显著目标检测网络框架中；其中，
b
表示同时处理的样本数量，
c
表示每个样本的特征通道数量，
h
表示图像的高度，
w
表示图像的宽度；
[0025]步骤
S2.2
：将
ResNet
‑
50
网络作为骨干网络提取图像特征；所述
ResNet
‑
50
网络输出多层特征
F
，
F
＝
{F
i
|i
＝
1,2,3,4,5
····
}
；第
i
层的特征尺寸为其中，
c
i
表示第
i
层特征的通道数；所述多层特征
F
通过卷积层获取图像边缘特征图和图像中心区域特征图，第
i
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于显著目标检测的无监督纹理类缺陷检测方法，其特征在于，包括：步骤
S1
：将纹理类数据集中的缺陷图像中截取缺陷部分作为前景图像，将对应类别的正常图像作为背景图像，将前景图像和背景图像结合生成新的缺陷图像；步骤
S2
：根据已知纹理数据，搭建显著目标检测网络框架并提取图像特征，生成纹理数据的特征图；步骤
S3
：获取目标纹理类数据中正常图像的特征图；获取每个像素处的正常图像特征向量，形成正常图像特征字典；步骤
S4
：根据含缺陷的目标纹理类数据及其标签训练网络，获取显著目标检测网络的预训练模型；步骤
S5
：基于预训练模型得到的检测结果，将图像中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，得到伪正常图像特征图并使用正常图像特征图进行监督，生成最终的缺陷检测结果图
。2.
根据权利要求1所述的一种基于显著目标检测的无监督纹理类缺陷检测方法，其特征在于，所述步骤
S1
包括以下子步骤：步骤
S1.1
：将纹理类数据集的缺陷图像和正常图像划分为训练集和测试集；将带有标签的已知纹理类数据作为预训练模型时使用的数据集；步骤
S1.2
：将训练集中的标签划分为边缘标签和中心区域标签，将无标签的纹理类数据集作为目标纹理类缺陷数据集；步骤
S1.3
：从训练集的缺陷图像中截取缺陷部分作为前景图像；步骤
S1.4
：收集前景图像对应类别的正常图像并作为背景图像；步骤
S1.5
：结合前景图像与背景图像生成新的缺陷图像，扩充缺陷数据集
。3.
根据权利要求1所述的一种基于显著目标检测的无监督纹理类缺陷检测方法，其特征在于，所述步骤
S2
包括以下子步骤：步骤
S2.1
：将尺寸为
(b,c,w,h)
的图像输入到显著目标检测网络框架中；其中，
b
表示同时处理的样本数量，
c
表示每个样本的特征通道数量，
h
表示图像的高度，
w
表示图像的宽度；步骤
S2.2
：将
ResNet
‑
50
网络作为骨干网络提取图像特征；所述
ResNet
‑
50
网络输出多层特征
F
，
F
＝
{F
i
|i
＝
1,2,3,4,5
····
}
；第
i
层的特征尺寸为其中，
c
i
表示第
i
层特征的通道数；所述多层特征
F
通过卷积层获取图像边缘特征图和图像中心区域特征图，第
i
层的特征尺寸为其中，
c
为预先设定好的通道数，
i
＝
2,3,4,5
···
；步骤
S2.3
：将图像的边缘特征图以及中心区域特征图进行整合，经线性化处理后生成完整的特征图
。4.
根据权利要求1所述的一种基于显著目标检测的无监督纹理类缺陷检测方法，其特征在于，所述显著目标检测网络的预训练模型通过使用已知纹理类数据的缺陷图像及其标签训练网络获取，使用已知纹理类数据训练所述显著目标检测网络框架得到
。5.
根据权利要求1所述的一种基于显著目标检测的无监督纹理类缺陷检测方法，其特征在于，所述步骤
S5
包括以下子步骤：步骤
S5.1
：使用预训练模型处理目标纹理类缺陷数据样本，获取粗糙的缺陷检测结果图；
步骤
S5.2
：将结果中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，获取伪正常图像特征图；步骤
S5.3
：使用正常图像特征图监督伪正常图像特征图，调整网络参数生成最终的缺陷检测结果图
。6.

【专利技术属性】
技术研发人员：万婧妍，赵旭，
申请(专利权)人：上海交通大学内蒙古研究院，
类型：发明
国别省市：