基于深度特征和NTV-RPCA的织物疵点检测方法技术

本发明专利技术提出一种基于深度特征和NTV‑RPCA的织物疵点检测方法，其步骤为：首先，采用深度网络VGG16对织物图像进行特征提取，得到织物图像的多层次深度特征图，并对多层次深度特征图进行均匀重叠分块；然后，构造NTV‑RPCA模型，并采用ADMM算法交替迭代搜索每一层次的特征矩阵对应的最优的稀疏矩阵；再根据最优的稀疏矩阵生成多个显著图，并利用低秩分解模型融合多个显著图获得最终显著图；最后，通过自适应阈值分割算法对最终显著图进行分割，定位出疵点位置。本发明专利技术采用深度网络和NTV‑RPCA模型相结合，有效地表征织物图像的复杂纹理特征和消除图像中的噪声影响，使得检测结果具有更高的自适应性和检测精度。

Fabric Defect Detection Method Based on Depth Characteristics and NTV-RPCA

【技术实现步骤摘要】
基于深度特征和NTV-RPCA的织物疵点检测方法
本专利技术涉及纺织品图像处理的
，特别是指一种基于深度特征和NTV-RPCA的织物疵点检测方法。
技术介绍
在纺织品生产制造过程中，疵点的出现会极大影响纺织品的质量和价值，因此织物疵点检测在纺织品生产制造过程中是不可或缺的环节。传统疵点检测工作主要由人工完成的，检测精度和可靠性易受视觉疲劳、主观意识影响的问题。随着图像处理技术的发展，基于机器视觉的自动织物疵点检测方法已经成为研究的热点。根据织物图像背景纹理的不同特点，现有的疵点检测方法可大致分为两种：针对纹理简单的非模式织物图像检测方法和针对纹理复杂的模式织物图像检测方法。针对非模式织物图像的检测方法包括：基于统计的方法、基于光谱分析的方法、基于模型的方法和基于字典学习的方法，这些方法对具有平纹和斜纹纹理的非模式织物图像有较好的检测性能，但由于模式织物的背景纹理复杂，上述方法对模式织物图像的检测性能不佳。针对模式织物图像的检测方法包括：黄金图像减法(GIS)、图像分解法和基于基元的方法等，然而这些复杂的模式织物疵点检测方法大多采用模板匹配技术对疵点进行定位，并且是在有监督下执行的，检测精度取决于精确的对准和选择合适的模板。随着深度学习技术的发展，已经有学者开始尝试将卷积神经网络CNN应用到织物疵点分类和疵点定位领域。Cui等提出了一种卷积神经网络MC-CNN来实现织物疵点的分类；Liu等提出了一种改进的SSD目标检测方法，可用于定位小尺寸织物疵点。由于基于CNN的分割任务需要大量具有像素级标注的图像样本，而目前尚未有包含充足数据量的公开织物图像数据库，这一问题制约着基于深度学习的织物疵点检测方法的发展。实际上，基于CNN的视觉任务取得较高的检测性能，这得益于CNN可以从织物图像数据中自动学习特征，此外，其提取的深度特征优于传统的手工特征描述子，具有很高的通用性和可迁移性。低秩分解模型又称为鲁棒主成分分析RPCA，可将数据矩阵分解为跨越多个低秩子空间的冗余部分和偏离低秩结构的稀疏部分。因此，该模型能够同时恢复矩阵的低维子空间并检测离群点，已成功应用于目标检测和分割等领域。尽管织物图像背景纹理多样，疵点类型复杂多变，但其整体上还是由特定图案重复叠加构成，具有高度的视觉冗余性，通常可以认为背景处于低秩子空间中，而其中的疵点打破了局部的低秩性，通常可以认为疵点是显著稀疏的，这一现象很好地符合了低秩分解显著性检测模型。目前，已有相关学者将低秩分解模型用于疵点检测。李春雷等提取织物图像的HOG特征矩阵，然后通过低秩分解模型进行背景和疵点的分离；Cao等提取织物图像的局部纹理特征矩阵，然后通过融合了局部先验信息的低秩分解模型来提升背景和疵点的分离效果。目前基于低秩分解模型的织物疵点检测方法虽然取得了一定的检测效果，但检测精度仍有提升的空间，仍有一些问题未得到解决：1)织物图像纹理复杂多样、疵点形态各异，但现有织物图像表征方法仍主要采用人工设计的提取方法，往往只能描述图像的某一方面特征，弱化甚至忽略了其它方面的特征；2)织物图像易受到噪声污染，现有模型极易将其中的稀疏噪声分解到稀疏矩阵(疵点显著图)中，影响检测效果。
技术实现思路
针对现有的织物疵点检测方法存在检测精度较低和易受噪声污染的技术问题，本专利技术提出了一种基于深度特征和NTV-RPCA的织物疵点检测方法，利用深度网络VGG16提取多层次深度特征来提升织物图像的表征能力，在低秩分解模型中引入一个非凸全变差正则项来进一步限定稀疏疵点部分，以提高疵点的检测精度。本专利技术的技术方案是这样实现的：一种基于深度特征和NTV-RPCA的织物疵点检测方法，其步骤如下：步骤一：特征提取：将织物图像输入深度网络VGG16中，利用深度网络VGG16中的各个卷积层分别提取织物图像对应的多层次深度特征，根据每一层次深度特征建立织物图像对应的深度特征图；步骤二：图像分块：对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；步骤三：模型构建及求解：根据非凸全变差正则项和低秩分解模型构建NTV-RPCA模型，并采用ADMM算法对包含特征矩阵的NTV-RPCA模型进行交替迭代搜索获得最优的稀疏矩阵；步骤四：显著图生成及融合：根据步骤三中求得的稀疏矩阵生成多个显著图，再采用低秩分解模型对多个显著图进行融合，获得织物图像的最终显著图；步骤五：阈值分割：采用自适应阈值分割方法对最终显著图进行阈值分割，定位出织物图像的疵点位置。所述步骤一中利用深度网络VGG16获得织物图像的多层深度特征图的方法为：深度网络VGG16包含13个卷积层，织物图像通过深度网络VGG16生成对应的13组深度特征图，每组深度特征图包含H维特征图，特征图的大小为M×M；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xiH,l]，其中，l＝1,2，…，13，h＝1,2,…,H，i＝1,2,…,M,M+1,…,M×M。所述步骤二中的均匀重叠分块的方法为：将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块图像块重叠的步长为n，其中，H为每组深度特征图包含的特征图的数目，N为图像块的数目，且m为图像块的大小。所述第l组深度特征图对应的特征矩阵的计算方法为：其中，为图像块RjH,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。所述步骤三中建立NTV-RPCA模型的方法为：其中，Fl为第l组深度特征图的特征矩阵，Ll为特征矩阵Fl分解后的低秩矩阵，Sl为特征矩阵Fl分解后的稀疏矩阵，||Ll||*为低秩矩阵Ll的核范数，||Sl||1为稀疏矩阵Sl的l1范数，||Sl||NTV为稀疏矩阵Sl的非凸全变差正则项，β、γ均为特征矩阵的平衡系数；所述NTV-RPCA模型是凸优化问题，引入辅助变量Jl＝Sl，则公式(1)可转化为公式(2)：通过最小化下面的增广拉格朗日函数对公式(2)进行求解：其中，Y1和Y2均为拉格朗日乘子，表示两向量的内积，表示Frobenius范数，μ>0为一个惩罚项。所述采用ADMM算法交替迭代搜索获得最优的稀疏矩阵的求解方法为：S1：初始化：低秩矩阵稀疏矩阵非凸全变差正则项μmax＝μ0107，ρ＝1.5，tol＝3e-4，迭代次数k＝0；S2：更新低秩矩阵Ll：保持其他变量不变，则第k+1次迭代中矩阵为：S3：更新稀疏矩阵Sl：保持其他变量不变，则第k+1次迭代中矩阵为：S4：更新非凸全变差正则项Jl：保持其他变量不变，则第k+1次迭代中矩阵为：S5：更新拉格朗日乘子项Y1、Y2和惩罚项μ：S6：迭代次数k＝k+1，循环步骤S2-S5，直到满足收敛条件或达到最大迭代次数停止；求得的矩阵为第l组深度特征图的最优的稀疏矩阵所述采用RPCA模型对多个显著图进行融合，获得织物图像的显著图的方法为：对于第l组深度特征图的最优的稀疏矩阵图像块RjH,l的显著度为：根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图ml；将13个本文档来自技高网...

【技术保护点】
1.一种基于深度特征和NTV‑RPCA的织物疵点检测方法，其特征在于，其步骤如下：步骤一：特征提取：将织物图像输入深度网络VGG16中，利用深度网络VGG16中的各个卷积层分别提取织物图像对应的多层次深度特征，根据每一层次深度特征建立织物图像对应的深度特征图；步骤二：图像分块：对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；步骤三：模型构建及求解：根据非凸全变差正则项和低秩分解模型构建NTV‑RPCA模型，并采用ADMM算法对包含特征矩阵的NTV‑RPCA模型进行交替迭代搜索获得最优的稀疏矩阵；步骤四：显著图生成及融合：根据步骤三中求得的稀疏矩阵生成多个显著图，再采用低秩分解模型对多个显著图进行融合，获得织物图像的最终显著图；步骤五：阈值分割：采用自适应阈值分割方法对最终显著图进行阈值分割，定位出织物图像的疵点位置。

【技术特征摘要】
1.一种基于深度特征和NTV-RPCA的织物疵点检测方法，其特征在于，其步骤如下：步骤一：特征提取：将织物图像输入深度网络VGG16中，利用深度网络VGG16中的各个卷积层分别提取织物图像对应的多层次深度特征，根据每一层次深度特征建立织物图像对应的深度特征图；步骤二：图像分块：对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；步骤三：模型构建及求解：根据非凸全变差正则项和低秩分解模型构建NTV-RPCA模型，并采用ADMM算法对包含特征矩阵的NTV-RPCA模型进行交替迭代搜索获得最优的稀疏矩阵；步骤四：显著图生成及融合：根据步骤三中求得的稀疏矩阵生成多个显著图，再采用低秩分解模型对多个显著图进行融合，获得织物图像的最终显著图；步骤五：阈值分割：采用自适应阈值分割方法对最终显著图进行阈值分割，定位出织物图像的疵点位置。2.根据权利要求1所述的基于深度特征和NTV-RPCA的织物疵点检测方法，其特征在于，所述步骤一中利用深度网络VGG16获得织物图像的多层深度特征图的方法为：深度网络VGG16包含13个卷积层，织物图像通过深度网络VGG16生成对应的13组深度特征图，每组深度特征图包含H维特征图，特征图的大小为M×M；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xiH,l]，其中，l＝1,2，…，13，h＝1,2,…,H，i＝1,2,…,M,M+1,…,M×M。3.根据权利要求1或2所述的基于深度特征和NTV-RPCA的织物疵点检测方法，其特征在于，所述步骤二中的均匀重叠分块的方法为：将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块{RjH,l}j＝1,2,…,N，图像块重叠的步长为n，其中，H为每组深度特征图包含的特征图的数目，N为图像块的数目，且m为图像块的大小。4.根据权利要求3所述的基于深度特征和NTV-RPCA的织物疵点检测方法，其特征在于，所述第l组深度特征图对应的特征矩阵的计算方法为：其中，为图像块RjH,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。5.根据权利要求4所述的基于深度特征和NTV-RPCA的织物疵点检测方法，其特征在于，所述步骤三中建立N...

【专利技术属性】
技术研发人员：李春雷，刘洲峰，王珺璞，朱永胜，杨艳，李碧草，
申请(专利权)人：中原工学院，
类型：发明
国别省市：河南,41