一种基于轻量化级联网络的布匹瑕疵检测方法技术

本发明专利技术公开了一种基于轻量化级联网络的布匹瑕疵检测方法。包括构造适用于布匹缺陷检测的YOLOv5s

【技术实现步骤摘要】
一种基于轻量化级联网络的布匹瑕疵检测方法


[0001]本专利技术涉及计算机视觉的缺陷检测
，具体涉及一种基于轻量化级联网络的布匹瑕疵检测方法。

技术介绍

[0002]基于计算机视觉的布匹瑕疵检测系统通常采用拍摄布匹图像的方式，实现对布匹质量的监控。传统的布匹缺陷检测常使用图像处理的方式，将布匹图像中的纹理，边缘等特征提取出来，再用合适的算法处理这些特征进而有效的识别布匹缺陷。传统方式往往需要手动来设计特征提取器，这种方法在特定场景下非常有效，但泛化能力较弱，不能适应场景的变化。随着深度学习的发展，基于卷积神经网络(CNN)的缺陷检测方法展现出了其强大的特征提取能力，可以从大量的布匹图像样本中自动学习缺陷的特征表示，在检测准确率，实时性和广泛适应性方面已经远超传统方法。基于深度学习的方法有着更加强大的性能，但这类方法需要强大的算力和储存搭建神经网络模型的推理环境，在算法实际落地部署使用中，受限与当前硬件条件的制约，不能很好的展示出优势。同时针对较小缺陷目标和困难样本的检出率较低，在缺陷特征不明显的缺陷样本上误检较为严重。

技术实现思路

[0003]本专利技术的目的是为了克服现有技术的不足，提供了一种基于轻量化级联网络的布匹瑕疵检测方法。首先，针对构建布匹缺陷数据集时，某些特定类别的布匹缺陷样本数量较少，难以获取的情况，提出了一种数据增强方法。从已有含缺陷的样本图像中截取缺陷区域，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充了数据集。其次，针对当前布匹缺陷检测模型，在小目标、困难样本中检出能力弱的问题和网络参数量多、模型较大难以实现在性能较低设备端部署的问题，提出了YOLOv5s
‑
GSBiFPN轻量化布匹瑕疵检测算法。设计了全新的双路注意力CSPGhostSE结构，作为主干网络核心特征提取模块，并与SPPF模块，共同组成新的特征提取网络。在特征融合阶段使用了三层堆叠的加权双向金字塔BiFPN结构，根据不同分辨率特征对网络最后输出贡献度的不同做了加权区分，充分融合多尺度特征后，输入到3个检测头中分别检测大中小尺度的缺陷目标。显著提升了小目标和困难样本检出能力，大幅缩减了参数量和模型尺寸，易于实现在低性能设备端的部署。最后，针对缺陷特征不明显样本易出现误检的问题，提出了检测+分类的级联网络架构。在检测网络之后增加了一个二级分类网络，对检测模型输出的预测框进一步进行是否为瑕疵的二分类判断，对检测结果进行过滤，大幅降低了误检率。
[0004]一种基于轻量化级联网络的布匹瑕疵检测方法，采用的技术方案包括以下步骤：
[0005]步骤1：使用工业相机和LED照明设备构建照明良好，成像稳定的拍摄环境，采集布匹图像；所述拍摄环境，采用正面照明的方式，将相机与光源放置在同一侧，与待验布匹保持平行。
[0006]步骤2：采集包含不同缺陷的瑕疵布匹图像，并对布匹图像进行数据增强，扩充数
据集样本数，平衡不同类别的缺陷样本数量；所述数据增强方法是从已有含缺陷的样本图像中截取缺陷区域，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充数据集。
[0007]进一步地，采用分段标注策略对布匹图像的缺陷区域进行标注，使标注矩形框贴合缺陷区域；包含缺陷的样本标注完成后，按照1:1比例添加不含缺陷的布匹图像作为负样本；然后将所有样本以8:2比例，划分为训练集与测试集，构建布匹缺陷数据集。
[0008]步骤3：构造YOLOv5s
‑
GSBiFPN轻量化布匹瑕疵检测模型；在主干网络中引入了轻量级GhostConv幻影卷积结构，并将SE注意力模块嵌入到CSP核心特征提取网络当中，组成全新的双路注意力CSPGhostSE结构。并通过堆叠多层CSPGhostSE结构提取深层特征，然后将特征输入SPPF模块中映射到固定维度。GhostConv幻影卷积、CSPGhostSE结构与最后加入的SPPF结构共同组成新的特征提取网络。在特征融合阶段使用三层堆叠的加权双向金字塔BiFPN结构，根据不同分辨率特征对网络最后输出贡献度的不同做了加权区分，充分融合多尺度特征并输入到3个检测头中分别检测大中小尺度的缺陷目标。
[0009]所述双路注意力CSPGhostSE结构，利用轻量化网络GhostNet中的GhostConv幻影卷积替换原普通卷积，并借鉴CSP结构思想，构建出CSPGhost结构，减少网络计算量和参数量的同时，增加了梯度计算路径，避免网络在反向传播时重复计算梯度信息，显著提升网络的学习能力。
[0010]进一步地，针对以轻量化网络取代普通卷积时，参数量下降会对检测网络精度造成负面影响的问题，将SE注意力模块嵌入到了GhosBottleneck核心结构中，使网络更好的将注意力集中到重要特征上面，提高困难样本特征捕获能力，从而提升模型的整体性能，弥补参数量减少对检测精度带来的下降。
[0011]所述双路注意力CSPGhostSE结构包含两条支路，每条支路均由GhostConv幻影卷积、SE注意力模块和CBS模块组成。支路1包含依次连接的CBS模块、堆叠多层步长为1的GhostBottleneck结构和一个步长为2的GhostBottleneck结构；支路二包含依次连接的CBS模块和一个步长为2的GhostBottleneck结构。两条支路输出特征通过Concat操作进行合并，经批归一化层和激活函数后输入到下层网络中。
[0012]所述CBS模块包含卷积核大小为1*1的Conv2d卷积层、批归一化BN层以及激活函数SiLU层。输入特征经由1*1的Conv2d卷积层进行变换，卷积核数量设定为输入特征图的1/2，调节输出特征通道数。
[0013]所述步长为1的GhostBottleneck结构，包含两层结构。上层为依次连接的两个GhostConv幻影卷积和SE注意力模块；下层为短连接结构，直接映射原输入特征；通过相加的方式融合两层特征。所述步长为2的GhostBottleneck结构在上层两个GhostConv幻影卷积中间增加了一个步长为2的深度卷积DWConv层，SE注意力模块位于DWConv层之后，具有1/2的降采样作用。
[0014]其中，所述GhostConv幻影卷积结构，包含卷积层和深度卷积层。输入特征先经过一个卷积核大小为3*3的卷积层，后分为两路，其中一路使用深度卷积，对基础卷积产生的特征图进行线性变换，生成另一半Ghost卷积；另一路为短连接结构，输出本身特征；随后通过Concat操作将两部分得到的特征图按通道拼接到一起。
[0015]进一步地，在布匹缺陷检测网络中的Neck阶段，使用BiFPN加权双向金字塔结构替
换原PAN结构，在多尺度特征融合中，根据不同分辨率特征对网络最后输出贡献度不同做了加权区分，促进多尺度特征的高效融合。
[0016]所述BiFPN中提出了一种基于权重的多尺度快速融合方式，定义公式如下：
[0017][0018]式中，o为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化级联网络的布匹瑕疵检测方法，其特征在于，该方法包括下列步骤：1)使用工业相机和LED照明设备构建照明良好，成像稳定的拍摄环境，采集布匹图像；所述拍摄环境，采用正面照明的方式，将相机与光源放置在同一侧，与待验布匹保持平行；2)采集包含不同缺陷的瑕疵布匹图像，并对布匹图像进行数据增强，扩充数据集样本数，平衡不同类别的缺陷样本数量；采用分段标注策略对布匹图像的缺陷区域进行标注，使标注矩形框贴合缺陷区域；包含缺陷的样本标注完成后，按照1:1比例添加不含缺陷的布匹图像作为负样本；然后将所有样本以8:2比例，划分为训练集与测试集，构建布匹缺陷数据集；3)构造YOLOv5s
‑
GSBiFPN轻量化布匹瑕疵检测模型；构建双路注意力CSPGhostSE结构作为主干网络的核心特征提取模块；并通过堆叠多层CSPGhostSE结构提取深层特征，然后将特征输入SPPF模块中映射到固定维度；在特征融合阶段使用三层堆叠的加权双向金字塔BiFPN结构，充分融合多尺度特征并输入到3个检测头中分别检测大中小尺度的缺陷目标；4)优化损失函数，采用焦点损失函数Focal Loss计算分类损失；5)组建二分类数据集，构造二级分类网络；所述二分类数据集，均来自布匹缺陷数据集，通过裁剪的方式获取，不细分缺陷类别，只包括含缺陷样本和非缺陷样本两种类别；所述含缺陷样本，是根据原标注框信息，在宽度和高度上拓展2个像素，超出原始图片宽高时不做拓展，对原图进行裁剪获得；所述非缺陷样本，是根据已有缺陷区域的平均尺寸，在不含缺陷的布匹图像中随机裁剪获得；所述二级分类网络，采用ResNet18分类模型结构；6)训练改进的轻量布匹瑕疵检测模型和二分类模型；训练迭代至模型损失曲线接近于0且趋于平缓时，停止训练，获得最优模型；7)构建检测加分类的级联网络架构；所述检测加分类的级联网络架构，由一级检测网络和二级分类网络构成；一级检测网络负责定位和分类布匹图像中的缺陷，输出预测框，二级分类网络，负责对检测网络输出的预测框区域，进一步进行是否包含缺陷的二分类判断，对检测结果进行过滤；8)将待测布匹图像输入到级联网络模型中，进行缺陷检测，输出布匹缺陷的检测结果和缺陷目标位置信息。2.根据权利要求1所述一种基于轻量化级联网络的布匹瑕疵检测方法，其特征在于，步骤2)中所述数据增强包括：将特定类别的缺陷区域从原图上截取，再通过泊松融合的方式，随机贴回到不含缺陷的负样本图像中，形成新的布匹缺陷样本，扩充数据集；使用马赛克数据增强方法...

【专利技术属性】
技术研发人员：王杨，严子杰，黄大帅，魏家田，张舒，王一帆，
申请(专利权)人：西南石油大学，
类型：发明
国别省市：