一种结合分类和检测的两阶段表面缺陷识别方法技术

本发明专利技术公开了一种结合分类和检测的两阶段表面缺陷识别方法，该方法包括以下步骤：S1、分别构建缺陷分类网络模型和缺陷检测网络模型；S2、根据S1构建数据集并分别训练缺陷分类网络模型和缺陷检测网络模型；S3、根据S2构建两阶段表面缺陷识别算法模型，S4、将被检对象输入S3中的两阶段表面缺陷识别算法模型，进行大范围整体缺陷的分类和微小局部缺陷的定位识别。本发明专利技术的有益效果在于，通过引入新的特征学习方式和构建分类+检测的两阶段网络模型，不但实现了特征图中关键特征的有针对性强化，提升算法鲁棒性和可解释性，还同时融合了图像分类网络和目标检测网络两方面的优势，实现了整体缺陷的高效识别和局部缺陷的精准定位，且具有较高计算效率。且具有较高计算效率。且具有较高计算效率。

【技术实现步骤摘要】
一种结合分类和检测的两阶段表面缺陷识别方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种结合分类和检测的两阶段表面缺陷识别方法。

技术介绍

[0002]自动光学检测是基于机器视觉的方法，实现对被检对象表面缺陷的检测。近年来，由于具有无接触、效率高和可靠性好等优点，自动光学检测在工业场景中的应用日趋广泛，在电子电路、金属制品、食品纺织等制造业领域中已基本实现对人工目视手段的替代。目前的主流自动光学检测算法多数还是传统的机器视觉算法，例如图像处理和模板匹配等。这些传统方法的特点是针对性强，对不同的缺陷精心设计算法以实现较高的检出率，但是也存在着泛化性和可拓展性差、误检率高等问题。
[0003]基于深度学习的自动光学检测算法是近两年来的热点方向，其自动特征提取、端到端检测和高可移植性等优点，推动了该类算法在工业领域的迅速推广，对传统机器视觉算法形成了冲击。但是当前的深度学习表面缺陷检测算法仍然存在一些不足，体现以下两个方面。
[0004]一方面，目前的基于深度学习的表面缺陷检测算法虽然利用深度神经网络的自动特征提取实现了较好的图像特征学习，但是并未有针对性地学习特征图中的关键特征通道和特征区域，导致模型鲁棒性差、算法可解释性不佳。
[0005]另一方面，大多数方法采用单一的图像分类网络或者目标检测网络，单一图像分类网络侧重于被检对象整体缺陷的判别，缺乏微小缺陷目标的识别定位能力，单一目标检测网络可以识别并定位缺陷，但是对于整体性缺陷的识别存在不必要的计算资源浪费和效率损失。
[0006]本专利技术针对上述两方面问题，通过引入注意力机制，并构建图像分类+目标检测的两阶段网络模型，实现了有针对性地强化特征图关键特征，并通过分阶段的深度学习实现分类网络和检测网络优点的有机结合。

技术实现思路

[0007]本专利技术的目的是针对现有基于深度学习的自动光学检测算法中存在的模型鲁棒性差、网络结构单一的不足，通过引入新的特征学习方式和构建分类+检测的两阶段网络模型，在提升算法鲁棒性和可解释性的同时，实现整体缺陷的高效识别和局部缺陷的精准定位，且具有较高计算效率。本专利技术主要面向在被检对象中同时存在大范围分布的整体缺陷和微小尺度的局部缺陷两种表面缺陷形态的检测场景，例如PCBA表面贴装元件的缺陷检测等。
[0008]本专利技术的总体技术方案为，首先构建缺陷分类网络和缺陷检测网络模型，然后构建数据集分别训练缺陷分类网络和缺陷检测网络，最后根据两阶段缺陷识别流程组织图像数据流方向，最终实现大范围整体缺陷的分类和微小局部缺陷的定位识别。
[0009]具体来说，本技术方案包括以下内容：
[0010]Step1：构建缺陷分类网络模型
[0011]缺陷分类网络是深度为54的深度卷积神经网络，其中包含17个Bottleneck层。Bottleneck层是一种先进行通道扩张再进行通道压缩的纺锤形残差连接结构，可以有效避免网络中使用的深度可分离卷积导致的特征过多损失。网络分别在第一个Bottleneck层之前和最后一个Bottleneck层之后添加一个CBAM通道空间注意力模块。
[0012]Step2：训练缺陷分类网络模型
[0013]针对被检对象搜集足够数量的缺陷和正常样本，使用图像分类标注软件进行缺陷类别标注并生成标签文件。按照4:1～6:1的比例将数据集划分为训练集和验证集。训练时，对图像长宽比较大的图像，统一旋转至一致方向，然后经缩放和裁剪得到固定尺寸的输入图像。训练时采用SGD法，每20个世代将学习率减半。
[0014]Step3：构建缺陷检测网络模型
[0015]缺陷检测网络分为主干网络、Neck和检测头三个部分。主干网络使用CSPDarknet53构建，用于实现图像特征的提取。Neck为FPN+PAN双向特征金字塔结构，用于高低层特征融合以改善网络对小缺陷目标的检出能力。检测头采用分类和定位相解耦的检测头，可有效提升缺陷检测性能。缺陷检测网络不再对特征图每个位置预测多个锚框，而是直接预测框的x、y、w和h4个参数值。在预测目标时，使用SimOTA进行最优标签分配。
[0016]Step4：训练缺陷检测网络模型
[0017]针对被检对象搜集足够数量的缺陷样本，使用目标检测标注软件进行缺陷类别和位置标注并生成标签文件。按照4:1～6:1的比例将数据集划分为训练集和验证集。训练时使用Mixup和Mosaic数据增强并在最后15个世代停用，学习率采用余弦退火方式避免算法早熟。
[0018]Step5：构建两阶段表面缺陷识别算法模型
[0019]缺陷分类网络和缺陷检测网络训练好后，将被检对象输入缺陷分类网络中进行大范围整体缺陷的分类，若被检对象被判定为存在整体缺陷，则将被检对象直接判为NG；若被检对象无整体缺陷，则将被检对象输入缺陷检测网络中；在缺陷检测网络中，若被检对象检出局部缺陷，则将被检对象判为NG，若被检对象未检出缺陷，则将被检对象判为OK。
[0020]有益效果：
[0021]本专利技术的有益效果在于，通过引入新的特征学习方式和构建分类+检测的两阶段网络模型，不但实现了特征图中关键特征的有针对性强化，提升算法鲁棒性和可解释性，还同时融合了图像分类网络和目标检测网络两方面的优势，实现了整体缺陷的高效识别和局部缺陷的精准定位，且具有较高计算效率。
附图说明
[0022]图1为本专利技术所述结合分类和检测的两阶段表面缺陷识别方法流程示意图；
[0023]图2为本专利技术构建的缺陷分类网络结构示意图；
[0024]图3为本专利技术中引入注意力机制的缺陷分类网络结构示意图；
[0025]图4为本专利技术构建的缺陷检测网络结构示意图。
具体实施方式
[0026]下面结合具体实施方式对本专利技术作进一步说明，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
[0027]实施例1
[0028]如图1至图4所示，本实施例提供了一种结合分类和检测的两阶段表面缺陷识别方法，该方法包括以下步骤：
[0029]Step1：构建缺陷分类网络模型
[0030]网络模型的结构如图2所示，神经网络的深度为54，其中包含17个纺锤形Bottleneck层。对于分辨率224
×
224
×
3的三通道输入图像，进入第一个Bottleneck层之前被下采样成112
×
112
×
16的特征图。如图3所示，此时与特征流并行的CBAM注意力块会对特征图进行加权计算，如下式所示。
[0031][0032][0033]其中
[0034][0035][0036]经过注意力加权后的特征图进入Bottleneck层，Bottleneck层内首先通过1
×
1卷积进行通道扩张，然后执行深度可分离卷积，最后再压缩回原通道数，这个过程中扩张和卷积中都使用ReLU本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合分类和检测的两阶段表面缺陷识别方法，其特征在于，该方法包括以下步骤：S1、分别构建缺陷分类网络模型和缺陷检测网络模型；S2、根据S1构建数据集并分别训练缺陷分类网络模型和缺陷检测网络模型；S3、根据S2构建两阶段表面缺陷识别算法模型，S4、将被检对象输入S3中的两阶段表面缺陷识别算法模型，进行大范围整体缺陷的分类和微小局部缺陷的定位识别。2.根据权利要求1所述的结合分类和检测的两阶段表面缺陷识别方法，其特征在于，所述缺陷分类网络模型构建方法如下：缺陷分类网络是深度为54的深度卷积神经网络，其中包含17个Bottleneck层；所述Bottleneck层是一种先进行通道扩张再进行通道压缩的纺锤形残差连接结构，有效避免网络中使用的深度可分离卷积导致的特征过多损失；缺陷分类网络分别在第一个Bottleneck层之前和最后一个Bottleneck层之后添加一个CBAM通道空间注意力模块。3.根据权利要求1所述的结合分类和检测的两阶段表面缺陷识别方法，其特征在于，所述缺陷检测网络模型构建方法如下：缺陷检测网络分为主干网络、Neck和检测头三个部分；所述主干网络使用CSPDarknet53构建，用于实现图像特征的提取；所述Neck为FPN+PAN双向特征金字塔结构，用于高低层特征融合以改善网络对小缺陷目标的检出能力；所述检测头采用分类和定位相解耦的检测头，有效提升缺陷检测性能；缺陷检测网络不再对特征图每个位置预测多个锚框，而是直接预测框的x、y、w...

【专利技术属性】
技术研发人员：尹宏鹏，柴毅，汤鹏，张浩哲，
申请(专利权)人：重庆大学，
类型：发明
国别省市：