基于深度卷积神经网络与视觉显著性的织物缺陷检测方法技术

本发明专利技术公开了一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，属于图像处理技术领域。包含缺陷区域定位模块与缺陷语义分割模块。缺陷区域定位模块利用局部卷积神经网络和全局卷积神经网络两个深度学习模型进行融合，自动提取织物缺陷的高级特征并将其作用于缺陷图像，获得缺陷区域的精确定位。缺陷语义分割模块利用缺陷区域的定位结果，结合基于视觉显著性的超像素图像分割方法，获取缺陷先验前景点并对缺陷目标进行精准分割，最终实现缺陷的检测。本发明专利技术利用多深度学习融合的织物缺陷定位网络与改进的视觉显著性的织物缺陷分割网络，对织物图像的适应能力好，精度高，可以有效地对复杂背景与噪声干扰下的织物图像中的缺陷进行检测。

Detection method of fabric defects based on deep convolution neural network and visual significance

The invention discloses a method for detecting fabric defects based on deep convolution neural network and visual significance, which belongs to the field of image processing technology. It includes the defect region location module and the defect semantic segmentation module. The defect location module integrates two deep learning models based on local convolution neural network and global convolution neural network, automatically extracts the advanced features of fabric defects and acts on defective images to get the precise location of defect regions. The defect semantic segmentation module utilizes the location results of the defect area, combines the visual saliency based super pixel image segmentation method, obtains the prior defect spots and segmenting the defect targets accurately, and ultimately realizes the defect detection. The invention uses multi network segmentation deep learning fusion fabric defect positioning network and improved visual saliency of fabric defects on fabric image adaptability, high precision and can effectively detect the fabric defects image with complex background noise in.

【技术实现步骤摘要】
基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
本专利技术涉及图像处理中的视觉检测领域，尤其涉及一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法。
技术介绍
随着纺织行业的飞速发展，人们对织物布匹质量的控制也越来越严格，而织物疵点通常是影响布匹质量的关键因素。传统的织物缺陷检测方法大多是基于手工测量和人眼观察来完成，在实际应用中有很大的局限性，如主观性强、检测结果的一致性差，不能很准确的实现对细小缺陷、色差不明显缺陷的完全检测等。目前，现有的自动化织物缺陷检测算法主要分为三类：(1)基于统计的方法、(2)基于谱分析的方法、(3)基于模型的方法。基于模型的方法利用缺陷图像构建分解模型，获得织物图像的纹理信息并重构无缺陷图像，通过比较输入图像与重构无缺陷图像之间的差别来定位缺陷。该类方法通常精确度不高，并且具有相当大的计算复杂度。基于统计的方法利用傅立叶变换、Gabor滤波器以及小波变换提取缺陷图像的频域特性，其算法性能很大程度上取决于算法所选用的滤波器种类以及织物图像的背景。基于统计的方法通过局部二值模式、灰度共生矩阵以及直方图统计等方法统计纹理与缺陷的不同特性，可以有效的检测织物缺陷，但织物背景图案及缺陷形状的不同对该类方法的影响较大。上述研究可以准确地对单一背景和纯色背景下的织物缺陷进行定位与分割，但对于背景复杂、图案不规则的织物图像中的缺陷检测效果不佳。
技术实现思路
本专利技术所要解决的技术问题是：提供一种织物缺陷检测方法，以实现对背景复杂、图案不规则的织物图像中的缺陷进行有效的检测。为了实现上述目的，本专利技术采取以下技术方案。一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，包括以下步骤：(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型不负责对每个像素点进行预测，而是对待测试图像进行缺陷区域的初始定位，获得一些缺陷区域的边界框，所述边界框是缺陷候选区域；(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；(6)由于先验显著图通常存在显著性区域的显著值不一致、背景区域不能很好抑制等问题，因此利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及一些散点，最终检测出织物图像中的缺陷。本专利技术所达到的增益效果：由上述本专利技术的实例提供的技术方案中可以看出，本专利技术针对复杂背景与噪声干扰下的织物图像，提出一种基于深度卷积神经网络与视觉显著性的织物缺陷定位与检测方法，利用全局神经网络对像素的分类及局部神经网络对缺陷的初步定位想融合以获得精准的缺陷定位窗口，然后基于改进的视觉显著性方法对定位窗口内的缺陷进行分割。该方法不需要人工设定参数以及构建参考图像，鲁棒性好，能够精确检测出织物图像中的缺陷，实时性强，可以满足实际工程需求，具有广泛的应用前景。附图说明图1为本专利技术的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法的流程图；图2为织物缺陷检测模型示意图；图3为全局卷积神经网络模型示意图；图4为局部卷积神经网络模型示意图；图5为基于改进视觉显著性的缺陷分割模型示意图。具体实施方式：下面结合附图对本专利技术的具体实施方式做进一步详细的描述。如图1和图2所示，本专利技术基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，包括缺陷区域定位网络模型与缺陷分割网络模型。缺陷定位网络模型利用全局神经网络模型与局部神经网络模型相融合，提供缺陷在织物图像中准确的位置信息。缺陷分割网络模型利用超像素与视觉显著性内容，对缺陷区域进行分割，提取缺陷目标。包括以下步骤：(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型不负责对每个像素点进行预测，而是对待测试图像进行缺陷区域的初始定位，获得一些缺陷区域的边界框，所述边界框是缺陷可能存在的区域；(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；(6)由于先验显著图通常存在显著性区域的显著值不一致、背景区域不能很好抑制等问题，因此利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及一些散点，最终检测出织物图像中的缺陷。步骤(1)中，利用RGB与YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的关系，即Y＝0.11B+0.59G+0.3R，对织物缺陷图像数据集进行灰度化，并利用双立方插值法将所述训练图像归一化至设定像素大小，如400×400像素大小。步骤(2)中，训练全局神经网络模型时，训练全局神经网络的输入为织物缺陷图像数据集和织物缺陷标注索引图，利用卷积操作提取织物图像的全局特征，其中卷积核尺寸均取3×3大小，如图3所示。全局神经网络的模型参数为：第一层为图像输入层，图像输入层大小与训练图片大小一致，此处取400×400大小；训练图片指的是步骤(1)中，织物缺陷训练数据集中的图片，其大小为400×400；中间有l层隐层，由卷积层与池化层交替连接构成；l可以是8层；最后是若干反卷积层，由于卷积层导致10×10ppi～200×200ppi分辨率大小的特征图恢复至原图400×400ppi大小，输出图像中每个像素点属于缺陷点的概率，得到一张heatmap图。ppi的含本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于，包括以下步骤：(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型对待测试图像进行缺陷区域的初始定位，获得缺陷区域的边界框，所述边界框是缺陷候选区域；(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；(6)利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及散点，最终检测出织物图像中的缺陷。...

【技术特征摘要】
1.一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于，包括以下步骤：(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型对待测试图像进行缺陷区域的初始定位，获得缺陷区域的边界框，所述边界框是缺陷候选区域；(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；(6)利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及散点，最终检测出织物图像中的缺陷。2.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(1)中，利用RGB与YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的关系，即Y＝0.11B+0.59G+0.3R，对织物缺陷图像数据集进行灰度化，并利用双立方插值法将所述训练图像归一化至设定像素大小。3.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(2)中，训练全局神经网络模型时，训练全局神经网络的输入为织物缺陷图像数据集和织物缺陷标注索引图，利用卷积操作提取织物图像的全局特征，全局神经网络模型参数为：第一层为图像输入层，图像输入层大小与训练图片大小一致；中间有l层隐层，由卷积层与池化层交替连接构成；最后是若干反卷积层，由于卷积层导致10×10ppi～200×200ppi分辨率大小的特征图恢复至原图大小，输出图像中每个像素点属于缺陷点的概率，得到一张heatmap图。4.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(2)中，训练局部神经网络模型时，局部神经网络的输入为织物缺陷数据集及织物缺陷在图像中的坐标，利用卷积操作提取织物图像的局部特征，其中卷积核大小与全局神经网络模型中的卷积核大小一致，局部神经网络的模型参数为：第一层为训练图像输入层，图像输入层的大小被归一化成设定大小；中间有k层隐层，由卷积层与池化层交替连接构成；最后是全连接层，输出缺陷位置与类别信息。5.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(2)中，利用n张织物缺陷图像分别对全局神经网络与局部神经网络模型进行训练，全局神经网络与局部神经网络模型分别训练k1次和k2次后，模型误差收敛，此时获得最优模型权重。6.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(3)中，利用训练好的最优模型权重设置网络模型，将测试织物图像分别输入至全局神经网络模型与局部神经网络模型中，分别输出heatmap图及缺陷的位置信息。7.根据权利要求6所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(3)中，全局神经网络模型输出的heatmap图是一种索引图，每个数值代表一种颜色，...

【专利技术属性】
技术研发人员：李庆武，邢俊，马云鹏，周亚琴，吴晨辉，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32