本发明专利技术公开了一种针对形态不一致的金属表面缺陷检测方法。提出了形状引导的缺陷卷积自适应特征提取模块、尺度解耦的缺陷平衡金字塔模块以及基于级联子网络的缺陷多级定位框修正模块；形状引导的卷积算子通过引入额外的偏移分支，使得网络能适应缺陷的形状变化并调整采样区域以减少特征提取存在的无关信息；尺度解耦的缺陷平衡金字塔模块通过不同尺度特征融合的方式减少不同层特征之间的语义偏差并丰富了细节信息，缓解了缺陷尺度变化带来的影响；缺陷多级定位框修正模块通过多次精修和微调检测结果实现缺陷的高精度定位。整个模型的训练遵循端到端的监督学习的范式，能有效缓解现有金属表面缺陷检测形态不一致带来的问题，大大提高了检测精度。
2、传统的金属工件表面质量检测主要依靠于人工检测。然而人工检测严重依赖于专家或者技术员工的知识水平，同时人工检测容易出现误检、漏检以及疲劳等现象。因此，为了缓解以上问题，基于视觉的金属表面缺陷检测逐渐成为新的探索方向。
3、在金属表面缺陷检测领域，传统的检测方法通常基于手工特征的设计，在手工特征提取之后利用支持向量机、决策树等分类器完成视觉识别。近年来，深度卷积网络由于能从图像中自适应地学习出一种特征表示，无需额外的手工设计，逐渐主导了缺陷检测领域的发展。现有的基于深度学习的两阶段检测器在卷积特征提取的基础上，借助于梯度下降优化算法，完成了端到端的学习与预测。然而，现有的两阶段算法例如faster rcnn在缺陷检测的应用上仍然存在一些问题。例如缺陷数据通常形状轮廓不规则，直接采用规则卷积去提取特征会引入太多的背景信息；缺陷尺度变化较大，不仅仅存在于不同类别的缺陷之间，同时也存在于同一类别的不同缺陷之间。此外，由于缺陷形状、尺度带来的巨大挑战，现有的检测算法往往在缺陷定位上存在大量的定位不精准、重复检测等问题，检测器在定位精度上仍然存在着较大瓶颈。
/>技术实现思路
1、为了解决
技术介绍
中存在的问题，提出一种针对缺陷形态不一致的检测方法，主要由三个模块组成：形状引导的缺陷卷积自适应特征提取模块、尺度解耦的缺陷平衡金字塔模块以及基于级联子网络的缺陷多级定位框修正模块，以解决金属表面缺陷检测存在的形状变化大、尺度变化大、定位困难等问题。提出的三个模块即插即用，能有效地与现有的两阶段检测算法(例如faster rcnn)结合，辅助检测算法实现更强大的特征表征能力与定位和识别能力，大大提高了检测算法的精度。
2、为了实现上述目的，本专利技术采用的技术方案是包括以下步骤：
3、一、一种针对形态不一致的金属表面缺陷检测方法，包括以下步骤
4、1)获取金属表面缺陷的图像数据集；
5、2)对现有的两阶段算法进行改进，构建金属表面缺陷检测模型，具体为：
6、2.1)针对金属表面缺陷形状不规则的问题，改进现有的卷积特征提取模块无法自适应缺陷形状变化的缺点，设计形状引导的缺陷卷积自适应特征提取模块；
7、2.2)针对金属表面缺陷尺度分布不均衡的问题，设计尺度解耦的缺陷平衡金字塔模块，将不同尺度的缺陷检测问题解耦为多级同尺度的缺陷检测问题；
8、2.3)针对缺陷检测定位困难的问题，设计基于级联子网络的缺陷多级定位框修正模块，通过粗到精的级联学习范式，提高缺陷检测的定位精度；
9、金属表面缺陷形态不一致主要带来三个问题，包括缺陷形状变化不规则、尺度变化大以及定位困难。该种金属表面的缺陷外观示意图见附图1。
10、3)利用金属表面缺陷检测模型对待检测金属进行表面缺陷检测。
11、所述步骤2.1)的缺陷卷积自适应特征提取模块包括规则卷积以及用于偏置预测的卷积分支，将卷积分支的输出和规则卷积的输出进行融合后作为缺陷卷积自适应特征提取模块的最终结果输出，具体为：
12、
13、δr＝(δx,δy)
14、其中，δr为偏置预测的卷积分支的输出；δx,δy分别为x和y方向的偏移量；x为特征提取模块的输入，y为经缺陷卷积自适应特征提取模块后输出的特征；
15、通过额外引入一个区域的偏置预测δr＝(δx,δy)，使得缺陷特征提取聚焦于前景部分。
16、其中，r*为融合后的采样区域，r是原始的采样区域，ω为卷积层的参数，δb为3*3采样区域中每个采样点对应的权值因子，代表了区域内每个点的重要程度不同。
17、基于可变卷积的卷积层结构与原理示意图见附图2。
18、所述步骤2.2)的尺度解耦的缺陷平衡金字塔模块由特征金字塔模块、平衡特征图生成模块、特征图修整模块以及平衡金字塔生成模块依次连接组成；特征金字塔模块用于初步构建不同分辨率的特征图；平衡特征图生成模块将不同分辨率的特征图统一为相同尺度，并进行融合；特征图修整模块对生成的平衡特征图进行精修；平衡金字塔生成模块将修正后的平衡特征图的分辨率恢复至特征金字塔模块使用的分辨率。
19、该模块搭建了多层缺陷预测的检测范式，将相同尺度的缺陷归一到同一层检测，不同尺度的缺陷归整到不同层检测，避免了缺陷尺度变化差异带来的检测影响。
20、由于采用了多组不同分辨率的特征图，对于尺度较大的缺陷，采用低分辨率特征作为预测特征，而尺度较小的缺陷则使用高分辨率特征，以保留较多的细节特征。尺度解耦的缺陷平衡金字塔模块架构如附图3所示。
21、所述步骤2.3)基于级联子网络的缺陷多级定位修正模块包括多个阶段，每个阶段包括区域对齐模块、分类预测模块和定位预测模块；区域对齐模块输出固定大小的缺陷特征，分类预测模块基于缺陷特征进行缺陷类别预测，定位预测模块基于缺陷特征进行缺陷位置坐标预测；每个阶段的定位输出作为下一阶段的初始输入，每个阶段的区域对齐模块的输入包括输入图像经卷积模块的输出和上一阶段的定位输出，输入缺陷多级定位修正模块的图像经卷积模块后分别输入每个阶段的区域对齐模块。
22、该模块旨在解决单一子网络难以充分精准定位缺陷的问题，通过引入多个子网络，以实现高精度的缺陷定位。级联子网络的多级定位框修正模块示意图如附图4所示。不同于单一检测头的算法，级联检测头模块遵循粗-精的定位方式，即通过逐步提升原始区域框的定位质量来提升最终的定位精度。
23、所述基于级联子网络的缺陷多级定位修正模块包括三个阶段的学习，每个阶段的预测边框作为下一阶段的初始边框，通过三个阶段的学习实现由初始边框到高精度边框定位的映射；
24、使用区域提议生成的预测作为初始边框输入第一阶段的区域对齐模块；
25、第一阶段筛选iou>0.5的初始边框参与分类和定位预测模块的训练，输出一个分类置信度s1与定位偏移值b1：
26、
27、其中，x为输入的特征图；f1reg,f1cls分别表示经过训练得到的第一阶段的回归函数与分类函数；
28、第二阶段直接选择第一阶段预测的边框作为初始边框，筛选iou>0.6的初始边框参与分类和定位预测模块的训练，输出分类置信度s2与定位偏移值b2：
29、
30、其中，f2reg,f2cls分别表示经过训练得到的第二阶段的回归函数与分类函数；
31、第三阶段选择第二阶段预测的边框作为初始边框，筛选iou>0.7本文档来自技高网...
【技术保护点】
1.一种针对形态不一致的金属表面缺陷检测方法，其特征在于，包括以下步骤
2.根据权利要求1所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述步骤2.1)的缺陷卷积自适应特征提取模块包括规则卷积以及用于偏置预测的卷积分支，将卷积分支的输出和规则卷积的输出进行融合后作为缺陷卷积自适应特征提取模块的最终结果输出，具体为：
3.根据权利要求1所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述步骤2.2)的尺度解耦的缺陷平衡金字塔模块由特征金字塔模块、平衡特征图生成模块、特征图修整模块以及平衡金字塔生成模块依次连接组成；特征金字塔模块用于初步构建不同分辨率的特征图；平衡特征图生成模块将不同分辨率的特征图统一为相同尺度，并进行融合；特征图修整模块对生成的平衡特征图进行精修；平衡金字塔生成模块将修正后的平衡特征图的分辨率恢复至特征金字塔模块使用的分辨率。
4.根据权利要求1所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述步骤2.3)基于级联子网络的缺陷多级定位修正模块包括多个阶段，每个阶段包括区域对齐模块、分类预测模块和定位预测模块；区域对齐模块输出固定大小的缺陷特征，分类预测模块基于缺陷特征进行缺陷类别预测，定位预测模块基于缺陷特征进行缺陷位置坐标预测；每个阶段的定位输出作为下一阶段的初始输入，每个阶段的区域对齐模块的输入包括输入图像经卷积模块的输出和上一阶段的定位输出。
5.根据权利要求4所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述基于级联子网络的缺陷多级定位修正模块包括三个阶段的学习，每个阶段的预测边框作为下一阶段的初始边框，通过三个阶段的学习实现由初始边框到高精度边框定位的映射；
6.一种针对形态不一致的金属表面缺陷检测装置，其特征在于，包括
7.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至5中任一所述的金属表面缺陷检测方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任一所述的金属表面缺陷检测方法。
...
【技术特征摘要】
1.一种针对形态不一致的金属表面缺陷检测方法，其特征在于，包括以下步骤
2.根据权利要求1所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述步骤2.1)的缺陷卷积自适应特征提取模块包括规则卷积以及用于偏置预测的卷积分支，将卷积分支的输出和规则卷积的输出进行融合后作为缺陷卷积自适应特征提取模块的最终结果输出，具体为：
3.根据权利要求1所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述步骤2.2)的尺度解耦的缺陷平衡金字塔模块由特征金字塔模块、平衡特征图生成模块、特征图修整模块以及平衡金字塔生成模块依次连接组成；特征金字塔模块用于初步构建不同分辨率的特征图；平衡特征图生成模块将不同分辨率的特征图统一为相同尺度，并进行融合；特征图修整模块对生成的平衡特征图进行精修；平衡金字塔生成模块将修正后的平衡特征图的分辨率恢复至特征金字塔模块使用的分辨率。
4.根据权利要求1所述的针对形态不一致的金属表面缺陷检测方法，其特征在于：所述步骤2.3)基于级联子网络的缺陷多级定位修正模块包括多个阶段，...
【专利技术属性】
技术研发人员：段桂芳，唐睿宁，刘振宇，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。