一种基于改进FasterR-CNN算法的金属板材表面缺陷检测方法技术

本发明专利技术公开了一种基于改进FasterR

【技术实现步骤摘要】
一种基于改进Faster R
‑
CNN算法的金属板材表面缺陷检测方法


[0001]本专利技术涉及计算机视觉目标检测
，具体涉及一种基于改进Faster R
‑
CNN算法的金属板材表面缺陷检测方法。

技术介绍

[0002]金属板材在工业生产和日常生活中用途广泛，涉及多个应用领域，如建筑、航空航天、机械、汽车、船舶等领域，是很多产品的基础材料。但在实际的生产过程中，由于受到工艺流程、生产设备和现场环境等因素的影响，不可避免地会出现各种各样的表面缺陷，如凹陷、裂纹、气泡、划痕等。这些缺陷会降低金属板材的质量和可靠性，甚至对金属板材的使用造成安全隐患。因此，及时准确地检测和识别金属板材表面的缺陷是非常重要的。
[0003]传统的金属板材表面缺陷检测方法主要依靠人工检测或基于一些简单的图像处理算法来进行，这些方法存在一定的缺陷。依靠人工检测会受到人的主观因素的影响，判断结果可能存在误差。传统的简单图像处理算法通常需要依赖于先验知识或特定场景的假设，这些方法在实际应用中的适用范围有限。并且传统方法无法处理复杂的表面缺陷，并且在检测速度、精度和可靠性等方面也存在较大的提升空间。
[0004]近年来，随着计算机技术与深度学习方法的迅速发展，基于卷积神经网络(CNN)的目标检测算法在精度与速度上取得了重大突破，开启了基于CNN的目标检测热潮，并在工业生产中得到广泛应用。基于CNN的目标检测流程大致为先提取图像的特征，再利用卷积神经网络进行目标的识别及定位。但由于真实的工业生产环境比较复杂，在检测过程中会出现缺陷样本较少导致网络学习能力不足，模型准确率低；特征提取不充分导致检测效果不理想；锚框设计不合理导致缺陷定位不准确等情况，最终难以满足实际生产需求。

技术实现思路

[0005]为了解决上述检测技术中的不足之处，本专利技术的目的在于提供一种基于改进Faster R
‑
CNN算法的金属板材表面缺陷检测方法，可根据具体数据集实现端到端的训练，有效提升检测过程中特征信息的提取以及缺陷定位的准确性，从而提高检测精度。
[0006]为实现上述目的，本专利技术提供了一种基于改进Faster R
‑
CNN算法的金属板材表面缺陷检测方法，具体包括以下步骤：
[0007]S1：获取金属板材表面缺陷图像样本，并对其进行数据预处理；
[0008]S2：基于Faster R
‑
CNN目标检测模型，选取性能较优的骨干网络作为模型的特征提取网络；
[0009]S3：优化特征提取网络。基于已有的特征提取网络，融合特征金字塔网络FPN及可变形卷积网络DCNv2；
[0010]S4：候选框精准定位。采用RoIAlign池化替换原有的RoI Pooling，并采用K
‑
means++算法改进锚点生成方案，降低候选框定位误差；
[0011]S5：模型训练；
[0012]S6：用训练好的模型对测试样本进行预测，输出金属板材表面缺陷的类别及对应的精度。
[0013]以上所述的步骤S1中，具体实现步骤为：
[0014]S11：从NEU
‑
DET数据集中获取金属板材表面缺陷图像样本，并将数据集的样本规格化为200*200大小；
[0015]S12：选取部分图像样本进行水平垂直翻转以扩充数据；
[0016]S13：将扩充得到的图片和xml文件存放在对应的文件夹下；
[0017]S14：将数据集按照8:2的比例划分为训练集和验证集，生成对应的train.txt和val.txt。
[0018]以上所述的步骤S2中，选取训练效果较好且被广泛应用的的残差网络ResNet50作为Faster R
‑
CNN目标检测模型中的特征提取网络，替代模型中原有的特征提取网络VGG16。ResNet50网络由49个卷积层和1个全连接层构成，残差结构组成了该网络的主体，每一个残差块由1*1、3*3和1*1的卷积操作组成，并加入了批量标准化(BN)每个残差块加入跳跃连接通路，整个ResNet50网络包含16个残差块。
[0019]以上所述的步骤S3中，具体实现步骤为：
[0020]S31：融合特征金字塔网络FPN。FPN包含两个部分，第一部分是自底向上的过程，第二部分是自顶向下和侧向连接的融合过程。自底向上的过程和普通的卷积神经网络没有区别，在FPN中，每个阶段对应了一个特征金字塔的级别，并且每个阶段的最后一层特征被选为对应FPN中相应级别的特征。自顶向下的过程通过上采样的方式将顶层的小特征图放大到上一个阶段的特征图一样的大小。侧向连接将上一层经过上采样后和当前层分辨率一致的特征通过相加的方法进行融合。
[0021]S32：融合可变形卷积网络DCNv2。具体改进方法为将ResNet50所生成的conv3、conv4和conv5三个卷积块的普通卷积层替换为DCNv2模块。可变形卷积网络DCNv2是在DCN的基础上为每个采样点添加了一个权重系数。计算公式如下：
[0022][0023]式中，Δp
k
和Δm
k
分别是第k个位置的可学习偏移和调制标量。调制标量Δm
k
位于范围[0,1]内，而Δp
k
是范围不受约束的实数。
[0024]以上所述的步骤S4中，具体实现步骤为：
[0025]S41：引入RoIAlign减少池化过程中两次量化造成的误差。RoIAlign从RoI Pooling局限性的源头上进行了改进，取消了量化操作，对于量化中产生的坐标为浮点数的像素，利用双线性插值计算其像素值。RoIAlign反向传播公式如下：
[0026][0027]式中，d(.)表示两点之间的距离，Δh和Δw表示x
i
与i*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。
[0028]具体改进方法为采用torchvision中提供的MultiScaleRoIAlign替换原有的RoI Pooling。
[0029]S42：引入K
‑
means++算法获取大小合适的候选框。使用K
‑
means++算法对当前数据集的训练集标注宽高数据进行聚类，选定一个聚类中心，计算出各个聚类中心的基础边长和宽高比，根据聚类结果设置合适的候选框规模。最终将Faster R
‑
CNN中原始的RPN网络默认的候选框设定修改成锚大小为{32，64，128，256，512}，纵横比为{0.5，1.3，3.0}。
[0030]以上所述的步骤S5中，模型训练的具体步骤为：
[0031]S51：网络参数初始化。具体操作为：利用ResNet50模型提取图像的特征信息；
[0032]S52：设置训练参数。具体操作为：网络的初始学习率设置为0.01，学习动量设置为0.9，权重衰减系数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进FasterR
‑
CNN算法的金属板材表面缺陷检测方法，其特征在于，包括以下步骤：S1：获取金属板材表面缺陷图像样本，并对其进行数据预处理；S2：基于FasterR
‑
CNN目标检测模型，选取性能较优的骨干网络作为模型的特征提取网络；S3：优化特征提取网络。基于已有的特征提取网络，融合特征金字塔网络FPN及可变形卷积网络DCNv2；S4：候选框精准定位。采用RoIAlign池化替换原有的RoIPooling，并采用K
‑
means++算法改进锚点生成方案，降低候选框定位误差；S5：模型训练；S6：用训练好的模型对测试样本进行预测，输出金属板材表面缺陷的类别及对应的精度。2.根据权利要求1所述的一种基于改进FasterR
‑
CNN算法的金属板材表面缺陷检测方法，其特征在于，所述步骤S1中，首先从NEU
‑
DET数据集中获取金属板材表面缺陷图像样本，并将数据集的样本规格化为200*200大小；其次将部分图像样本进行水平垂直翻转以扩充数据；然后将扩充得到的图片和xml文件存放在对应的文件夹下；最后将数据集按照8:2的比例划分为训练集和验证集，生成对应的train.txt和val.txt。3.根据权利要求1所述的一种基于改进FasterR
‑
CNN算法的金属板材表面缺陷检测方法，其特征在于，所述步骤S2中，选取训练效果较好且被广泛应用的的残差网络ResNet50作为FasterR
‑
CNN目标检测模型中的特征提取网络，替代模型中原有的特征提取网络VGG16。4.根据权利要求1所述的一种基于改进FasterR
‑
CNN算法的金属板材表面缺陷检测方法，其特征在于，所述步骤S3中，融合特征金字塔网络FPN及可变形卷积网络DCNv2优化特征提取网络。5.根据权利要求4所述的一种基于改进FasterR
‑
CNN算法的金属板材表面缺陷检测方法，其特征在于，所述融合特征金字塔网络FPN，首先通过ResNet50获得不同层上的特征图C1
‑
C5，然后对顶层特征图进行1
×
1卷积得到特征图M5，将卷积后的C4与采样后的M5相加得到M4。以此类推，生成特征图M3和M2。M2
‑
M4融合了不同特征层的特征信息，在保留细节的同时实现了高层语义。最后，对M2
‑
M5进行3*3卷积以...

【专利技术属性】
技术研发人员：孔思曼，孙践知，王家华，李林，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：