基于精细化分割网络的皮革缺陷检测方法技术

本发明专利技术涉及皮革表面缺陷检测技术领域，提出了一种基于精细化分割网络的皮革缺陷检测方法，包括：在编码端,采用五组卷积层对提取图像特征；前三组卷积中,卷积后对图像进行最大池化下采样操作,后两组卷积采用重叠池化的方式代替普通下采样,第五组卷积层引入级联扩张卷积模块进行密集预测，跳跃长连接中添加特征融合模块；在解码端,将特征融合模块中得到的结果复制到通道注意力机制解码模块,与该层对应的特征张量共同指导网络自适应地提取缺陷相关通道信息，在路径顶端嵌入了全局平均池化模块,作为第五组卷积层解码模块中的高层语义输入；对结果进行量化,选用语义分割中的像素精度、平均像素精度、平均交并比和加权交并比作为模型评价指标。作为模型评价指标。作为模型评价指标。

【技术实现步骤摘要】
基于精细化分割网络的皮革缺陷检测方法


[0001]本专利技术涉及皮革表面缺陷检测
，特别涉及一种基于精细化分割网络的皮革缺陷检测方法。

技术介绍

[0002]在皮革原料加工前后, 多种因素会导致表面损伤, 如蝇虫叮咬、烙铁标记、机械拉扯等。皮革作为日用品的必需材料，表面缺陷关乎后续的生产加工工作，决定了产品的使用寿命，随着市场对皮革质量要求的不断提升，这一制约我国制革业发展的因素也变得尤为突出。设计一种自动化的缺陷分割检测技术，对实现我国制革业自动化和产业化具有重要的实际效益。
[0003]在皮革缺陷分割领域，目前的研究主要集中于传统分割算法，如阈值法、边缘法、频谱法和聚类法等。Kumar等人将颜色特征用于阈值分割，提出多级颜色阈值函数检测皮革缺陷；Kasi等人提出一种自适应边缘检测算法，相较Sobel等传统检测器，能够更清晰地提取不规则的皮革缺陷边界；Sobral等人基于小波变换的方法，对特征变化轻微的缺陷也能达到较为精确的分割效果；贺福强等人将粒子群优化算法和模糊聚类算法相结合，以达到全局性和快速收敛性，实现缺陷纹理信息聚类。然而，传统的图像分割算法对光照和颜色变换非常敏感，通常要手动调整阈值，甚至重新设计特征提取器，难以适应实际复杂的工业场景中的缺陷检测。
[0004]近年来，深度学习发展迅速，语义分割作为该领域的分割技术，其自学习特性能够显著降低外界条件对模型造成的干扰，给相关研究带来了新的思路。该技术可以分为以下4类。
[0005](1) 基于编码
‑
解码的技术。全卷积网络(fully convolutional networks, FCN)通过给每个像素精确的类别定义，实现端到端分割，但其跳跃连接结构只是将图像粗糙地上采样，导致分割效果不佳；基于该问题，Ronneberger等人提出了一种编码
‑
解码结构的U
‑
Net网络，该网络通过在扩张路径中融合该层收缩路径结果，获得图像分辨率信息，其网络模型及其变体已被广泛应用于医学图像分割领域。
[0006](2) 基于感受野的技术。Chen等人在DeepLab v1中提出扩张卷积，通过在卷积核里插孔的方式调节卷积核大小，以获取更多感受野信息；而Peng等人直接在网络中引入大卷积核来增加感受野，实验结果表明大卷积核对于提升感受野是有先天性优势的。
[0007](3) 基于特征融合的技术。ParseNet通过将反池化后的全局特征与局部特征串联融合，以此来添加上下文信息；ExFuse则采用交叉融合的方式，通过高低层信息之间的相互补充，获取更好的分割效果。
[0008](4) 基于注意力机制的技术。针对传统FCN网络提取的特征导致目标错误分类问题，Fu等人提出了包含空间域和通道域的双注意网络，该模型能够加强图像局部信息和全局信息的依赖关系，显式提升模型精度；Li等人将多尺度与注意力机制相融合，利用金字塔模型融合不同尺度的上下文信息，增强像素分类的一致性。
[0009]语义分割在像素级别对图像分类，能有效减少人工设计特征提取器的繁琐工序。但目前将语义分割应用在皮革缺陷分割的研究还相对较少，Liong等人尝试将实例分割用于确定蜱虫叮咬缺陷边界，验证了深度学习方法在皮革缺陷分割中的可行性。随后，又设计了基于AlexNet和U
‑
Net的自动缺陷分割方法，在包含黑线和皱纹的数据集中获得了超过90%的准确率。
[0010]这些方法中的皮革缺陷区分度较大，且类型单一，缺乏对多缺陷类型的复杂场景的分割。特别是皮革在天然环境下因损伤程度不同表现出的形态差异，极容易造成类间错分和漏分，增加任务的分割难度。为了改善以上问题以及解决皮革缺陷尺寸变化大形态相似导致的分割问题，本案提出了一种基于改进U
‑
Net的端到端、精细化的语义分割方法。 用于解决皮革缺陷尺寸变化大形态相似导致的分割问题。

技术实现思路

[0011]因此，针对上述的问题，本专利技术提出提出了一种基于改进U
‑
Net的端到端、精细化的语义分割方法的基于精细化分割网络的皮革缺陷检测方法。
[0012]为解决上述技术问题，本专利技术采取的解决方案为:基于精细化分割网络的皮革缺陷检测方法，包括：在编码端, 采用五组卷积层对图像进行特征提取,前三组卷积中, 每组卷积完成后对图像进行最大池化下采样操作, 后两组卷积采用重叠池化的方式代替普通下采样, 这种方式输出的特征图尺寸为原始图像的1/8, 保留了原图丰富的分辨率信息；由于池化方式的改变，会造成步长减小，从而导致网络的感受野变小，为弥补图像在特征提取过程中损失的感受野信息，在第五组卷积层引入级联扩张卷积模块进行密集预测；为了克服解码端高低层特征张量直接拼接带来的语义鸿沟问题, 在跳跃长连接中添加了特征融合模块, 采用将高级语义信息引入低级特征的方式, 使低级特征张量编码更多语义信息；在解码端, 将第一层、第二层、第三层、第四层、第五层编码端层级输出的特征图经过特征融合模块后，将得到的结果与解码端同一层级的特征张量共同作为输入每一层级的通道注意力机制解码模块中，指导网络自适应地提取缺陷相关通道信息；为了整合编码端抽象语义信息, 在路径顶端嵌入了全局平均池化模块(global average pooling module, GAPM), 将其作为第五组卷积层解码模块中的高层语义输入, 进一步指导网络将注意力集中于缺陷形态特征；为了评估算法模型性能, 对分割结果进行量化, 选用语义分割中常用的像素精度(pixel accracy, PA)、平均像素精度(mean pixel accuracy, MPA)、平均交并比(mean intersection over union, MIoU)和加权交并比(frequency weighted intersection over union, FWIoU)作为模型的评价指标；其中, MIoU是语义分割领域中衡量算法精度的通用度量, 作为主要性能指标。
[0013]进一步改进的是：下采样具有降维和提取缺陷特征的能力,但过程中损失的像素信息难以恢复, 而皮革缺陷包含了丰富的形态特征, 其中，低层分辨率信息对于皮革正确分割至关重要，因此，为了保留原始图像空间细节, 通过采取减少下采样次数的策略, 来
缓解低层分辨率信息丢失问题；，上式为感受野计算公式, 其中, 和分别表示第l
‑
1和l层感受野, k
l
为第l层卷积核大小, si为第i层步长；可以看出, 取消下采样操作会使si减小, 从而感受野减小, 导致网络识别多尺度缺陷的能力降低，因此，为了弥补降低下采样次数对感受野造成的损失, 在第五层级引入了级联扩张卷积模块；所述级联扩张卷积模块由三个连续的子模块组成, 每个子模块中都包含一个D_conv和一个ReLU激活函数, 其中, D_conv[(3, 3), d]代表扩张卷积运算, (3, 3)和d分别代表卷积核大小和扩张系数；所述级联扩张卷积模块中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于精细化分割网络的皮革缺陷检测方法，其特征在于：包括：在编码端, 采用五组卷积层对图像进行特征提取,前三组卷积中, 每组卷积完成后对图像进行最大池化下采样操作, 后两组卷积采用重叠池化的方式代替普通下采样, 得到特征图尺寸为原始图像的1/8；在第五组卷积层引入级联扩张卷积模块进行密集预测；在跳跃长连接中添加了特征融合模块, 采用将高级语义信息引入低级特征的方式, 使低级特征张量编码更多语义信息；在解码端, 将第一层、第二层、第三层、第四层、第五层编码端层级输出的特征图经过特征融合模块后，在每一层级的通道注意力机制解码模块中，将得到的结果与解码端同一层级的特征张量共同作为输入，指导网络自适应地提取缺陷相关通道信息；在路径顶端嵌入了全局平均池化模块(global average pooling module, GAPM), 将其作为第五组卷积层解码模块中的高层语义输入, 指导网络将注意力集中于缺陷形态特征；对分割结果进行量化, 选用语义分割中常用的像素精度(pixel accracy, PA)、平均像素精度(mean pixel accuracy, MPA)、平均交并比(mean intersection over union, MIoU)和加权交并比(frequency weighted intersection over union, FWIoU)作为模型的评价指标；其中, MIoU是语义分割领域中衡量算法精度的通用度量, 作为主要性能指标。2.根据权利要求1所述的基于精细化分割网络的皮革缺陷检测方法，其特征在于：皮革缺陷包含丰富的形态特征, 低层分辨率信息对于皮革正确分割至关重要，采取减少下采样次数的策略, 来缓解低层分辨率信息丢失问题；，上式为感受野计算公式, 其中,和分别表示第l
‑
1和l层感受野, k
l
为第l层卷积核大小, si为第i层步长；可以看出, 取消下采样操作会使si减小, 从而感受野减小, 导致网络识别多尺度缺陷的能力降低，因此，在第五层级引入了级联扩张卷积模块，以克服降低下采样次数损失的感受野；所述级联扩张卷积模块由三个连续的子模块组成, 每个子模块中都包含一个D_conv和一个ReLU激活函数, 其中, D_conv[(3, 3), d]代表扩张卷积运算, (3, 3)和d分别代表卷积核大小和扩张系数；新的卷积核尺寸计算公式如式(2)所示：；其中, kori代表原始卷积核大小, r代表扩张系数, knew为得到的新的卷积核大小，通过改变扩张系数r的方式来调整卷积核尺寸, 从而识别更大范围的缺陷信息， 提高网络识别多尺度缺陷的能力。3.根据权利要求1所述的基于精细化分割网络的皮革缺陷检测方法，其特征在于：由于编码端传递的低层特征与解码端的深层特征语义差别较大, 直接融合会产生鸿沟,导致分割结果不精确，在跳跃长连接中添加特征融合模块,所述特征融合模块通过在低层特征张量中引入高层语义信息的方式, 减少高低特征之间的语义差异；
所述特征融合模块包含融合模块(fusion module, FM)和上采样模块(upsampling module, UM)两部分，将上采样模块生成的高级信息引入低级特征, 使低级特征编码更多语义信息, 获得相对清晰的语义边界，该过程可以用公式表述为:；其中,表示低级特征图,代表经上采样模块生成的中间特征张量,为该层级最终输出特征图, l和T分别代表当前层数和总层数；该式可以描述为: 将第l层输入特征图经过该模块, 生成的作为解码端输入；经过上采样模块, 完成对l+1至T层特征图上采样后的拼接融...

【专利技术属性】
技术研发人员：韩军，王愉锦，黄惠玲，付磊，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：