基于深度可分离卷积神经网络的织物疵点检测方法技术

本发明专利技术提出了一种基于深度可分离卷积神经网络的织物疵点检测方法，其步骤为：首先，通过标注工具对采集的织物疵点图像进行标注作为织物图像数据集，并将织物图像数据集分成训练集和测试集；其次，构建深度可分离卷积模块，利用深度可分离卷积模块搭建DefectNet网络；再将训练集输入DefectNet网络中进行训练，利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；最后，将测试集中的织物图像输入DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。本发明专利技术将深度可分离卷积和多尺度特征提取相结合搭建卷积神经网络模型，具有很高检测精度，极大提高了检测速度，达到实时检测的要求。

Fabric defect detection method based on depth separable convolutional neural network

【技术实现步骤摘要】
基于深度可分离卷积神经网络的织物疵点检测方法
本专利技术涉及图像处理
，特别是指一种基于深度可分离卷积神经网络的织物疵点检测方法。
技术介绍
在纺织生产过程中往往会产生各类疵点，严重影响纺织品的产品质量，给企业带来较大损失。织物疵点检测是在织物表面发现疵点，准确定位疵点位置，并判断疵点种类的过程。目前一般采用人工检测织物疵点，但人工检测织物疵点容易受到主观因素的影响，使得检测的精度较低且检测效率低、成本高。因此，基于计算机视觉的织物疵点自动检测技术成为研究的热点。目前的织物疵点检测算法主要分为：基于统计分析、频域分析、模型分析、结构分析等几大类。统计分析方法通过计算与周围环境灰度值的对比来检测织物的疵点；频谱方法将测试图像变换到频域，然后通过计算频谱系数之间的差异来检测疵点，包括傅立叶变换、Gabor变换、小波变换等；基于模型的方法首先利用参数估计技术对正常图像的纹理特征进行建模，然后将测试图像与正常纹理模型进行比较，检测出疵点图像。这些方法针对特定的布匹种类具有良好的疵点检测能力，但随着整个社会纺织工业的不断发展，织物的种类变得越来越多样，纹理和图案特征也变得越来越复杂，传统检测方法特征提取能力不足，且计算复杂、检测速度慢，难以满足工业生产要求。近年来，以卷积神经网络为代表的机器学习技术得到快速的发展。卷积神经网络具有很强的特征提取能力，在目标检测领域得到了广泛的应用。文献[Shi,Y.,Li,Y.,Wei,X.,&Zhou,Y."Afaster-rcnnbasedchemicalfiberpapertubedefectdetectionmethod."20175thInternationalConferenceonEnterpriseSystems(ES).IEEE,2017.]将卷积神经网络应用于织物疵点检测，取得了一定的检测效果。但由于织物疵点目标往往体积微小，其灰度值相对于织物背景也不突出，一般卷积神经网络无法取得很好的检测效果。此外，目前流行的卷积神经网络模型为了提高检测精度，大都具有复杂的网络结构和大量的模型参数，这使得卷积神经模型难以部署在硬件资源和计算资源有限的嵌入式系统上，也无法实现对织物疵点的实时检测。
技术实现思路
针对目前卷积神经网络存在的模型计算量大、检测速度慢、检测率低的技术问题，本专利技术提出了一种基于深度可分离卷积神经网络的织物疵点检测方法，通过融合深度可分离卷积结构构造一个高速卷积模块，实现对通道和区域分别进行卷积操作，使网络计算量大幅下降；并且在特征提取部分，采用多尺度特征提取方法，从不同下采样的特征图中提取特征，提高模型对小尺寸疵点目标的检测能力。本专利技术的技术方案是这样实现的：一种基于深度可分离卷积神经网络的织物疵点检测方法，其步骤如下：S1、利用图像采集系统采集织物疵点图像后进行预处理，并通过标注工具标注预处理后织物疵点图像中的疵点的位置坐标，作为织物图像数据集，其中，织物图像数据集包括训练集和测试集，且训练集和测试集的数量比例为2:1；S2、构建深度可分离卷积层，利用深度可分离卷积层搭建DefectNet网络；S3、将步骤S1中的训练集输入DefectNet网络中进行训练，并利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；S4、将测试集中的织物图像输入步骤S3得到的DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。所述步骤S1中的织物疵点图像的预处理方法为：对采集的织物疵点图像进行剪切和缩放，得到图像尺寸大小相同的织物图像。所述DefectNet网络的架构为输入层-标准卷积层I-深度可分离卷积层I-深度可分离卷积层II-深度可分离卷积层III-深度可分离卷积层IV-标准卷积层II-深度可分离卷积层V-深度可分离卷积层VI-输出层。所述深度可分离卷积层包括深度卷积层和点卷积层，标准卷积层、深度卷积层和点卷积层均连接有批量标准化层和激活层，其中，激活层为LeakyReLU激活函数层。所述DefectNet网络在深度可分离卷积层VI输出为原图32倍下采样后得到的特征图，再将深度可分离卷积层VI提取的特征图进行2倍的上采样，并与标准卷积层II输出为原图16倍下采样的特征图进行特征融合，得到经过特征融合的16倍下采样特征图。所述步骤S3中利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型的训练方法为：S31、设置输入图像的大小为M'×M'，类别为1，设置学习率θ和权重衰减w，设置最大迭代次数tmax；S32、随机选取训练集中的N’张原始图像及疵点的位置坐标输入DefectNet网络中；S33、将DefectNet网络的第六层提取的特征图和第八层提取的特征图分别划分为S×S的网格，其中，每个网格预测出B个边界框；S34、通过DefectNet网络预测每个网格中的边界框的数量，利用logistic分类器预测每个边界框中疵点目标的置信度值，并给出每个边界框的中心坐标和长宽值；S35、通过损失函数计算步骤S34中预测的疵点目标的置信度值与步骤S32中疵点的位置坐标之间的差异值；S36、根据学习率θ、权重衰减w和步骤S35中的差异值调整DefectNet网络的参数，返回步骤S32，直到遍历完训练集中所有的图像；S37、迭代次数增加1，循环执行步骤S32至步骤S36，直至达到最大迭代次数tmax时，DefectNet网络停止训练，保存最后一次迭代的DefectNet网络的参数，生成DefectNet网络模型。所述步骤S35中的损失函数为：Loss＝Errorcoord+Errorcls+Erroriou，其中，Errorcoord为边界框损失函数，Errorcls为logistic分类器损失函数，Erroriou为置信度损失函数；所述边界框损失函数Errorcoord为：其中，λcoord为疵点的坐标误差的权重，i＝0,1,...,S2为第i个网格，j＝0,1,...,B为第j个边界框，B为每个网格中边界框的数量，或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为1，不存在为0，(xi,yi,ωi,hi)为真实疵点的中心坐标及长宽值，为预测的疵点目标的中心坐标和长宽值；所述logistic分类器损失函数Errorcls为：其中，pi(c)为目标真实类别得分，为预测的目标类别得分；所述置信度损失函数Erroriou为：其中，λnoobj为不存在疵点目标的置信度损失的权重，或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为0，不存在为1，Ci为置信度的得分，为预测边界框与真实框的交叉比例。所述深度可分离卷积层的计算量Cf为：Cf＝Dk×Dk×M×DF×DF+M×N×DF×DF，其中，Dk×Dk为深度卷积核的大小，M为输入本文档来自技高网...

【技术保护点】
1.一种基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，其步骤如下：/nS1、利用图像采集系统采集织物疵点图像后进行预处理，并通过标注工具标注预处理后织物疵点图像中的疵点的位置坐标，作为织物图像数据集，其中，织物图像数据集包括训练集和测试集；/nS2、构建深度可分离卷积层，利用深度可分离卷积层搭建DefectNet网络；/nS3、将步骤S1中的训练集输入DefectNet网络中进行训练，并利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；/nS4、将测试集中的织物图像输入步骤S3得到的DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。/n

【技术特征摘要】
1.一种基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，其步骤如下：
S1、利用图像采集系统采集织物疵点图像后进行预处理，并通过标注工具标注预处理后织物疵点图像中的疵点的位置坐标，作为织物图像数据集，其中，织物图像数据集包括训练集和测试集；
S2、构建深度可分离卷积层，利用深度可分离卷积层搭建DefectNet网络；
S3、将步骤S1中的训练集输入DefectNet网络中进行训练，并利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；
S4、将测试集中的织物图像输入步骤S3得到的DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。


2.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述步骤S1中的织物疵点图像的预处理方法为：对采集的织物疵点图像进行剪切和缩放，得到图像尺寸大小相同的织物图像。


3.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述DefectNet网络的架构为输入层-标准卷积层I-深度可分离卷积层I-深度可分离卷积层II-深度可分离卷积层III-深度可分离卷积层IV-标准卷积层II-深度可分离卷积层V-深度可分离卷积层VI-输出层。


4.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述深度可分离卷积层包括深度卷积层和点卷积层，标准卷积层、深度卷积层和点卷积层均连接有批量标准化层和激活层，其中，激活层为LeakyReLU激活函数层。


5.根据权利要求3所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述DefectNet网络在深度可分离卷积层VI输出为原图32倍下采样后得到的特征图，再将深度可分离卷积层VI提取的特征图进行2倍的上采样，并与标准卷积层II输出为原图16倍下采样的特征图进行特征融合，得到经过特征融合的16倍下采样特征图。


6.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述步骤S3中利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型的训练方法为：
S31、设置输入图像的大小为M'×M'，类别为1，设置学习率θ和权重衰减w，设置最大迭代次数tmax；
S32、随机选取训练集中的N’张原始图像及疵点的位置坐标输入DefectNet网络中；
S33、将DefectNet网络的第六层提取的特征图和第...

【专利技术属性】
技术研发人员：刘洲峰，李春雷，崔建，丁淑敏，朱永胜，魏苗苗，
申请(专利权)人：中原工学院，
类型：发明
国别省市：河南;41