一种钢材表面缺陷检测方法、装置及计算机存储介质制造方法及图纸

本发明专利技术公开了一种钢材表面缺陷检测方法、装置及计算机存储介质，涉及钢材缺陷检测技术领域，该方法包括：获取钢材表面缺陷图片数据集，对数据集中的钢材表面缺陷图片进行预处理，并划分训练集和测试集；构建基于多头注意力机制及Swin Transformer的Mask RCNN，并利用训练集对Mask RCNN进行训练；利用训练好的Mask RCNN对测试集中的钢材表面缺陷图片进行钢材表面缺陷检测，得到钢材表面缺陷检测结果。本发明专利技术公开的多头自注意力机制及Swin Transformer可以保留小像素信息，以及减少计算量；因而可以使检测精度提高，尤其是在检测小尺寸缺陷时的精度有较大提高；同时提高计算速度，做到实时检测。做到实时检测。做到实时检测。

【技术实现步骤摘要】
一种钢材表面缺陷检测方法、装置及计算机存储介质


[0001]本专利技术涉及钢材缺陷检测
，尤其涉及基于多头自注意力机制及Swin Transformer的Mask RCNN网络钢材表面缺陷检测方法、装置及计算机存储介质。

技术介绍

[0002]钢材的应用几乎涉及到人类社会的各个领域，如建筑、汽车、航空航天、精密仪器等等。在可预见的未来，目前尚未有任何一种材料能够全面地取代钢材，钢材仍将是人类社会中不可或缺的物质材料。钢材在生产、运输、存储过程中，由于运输时间长、自然条件复杂、多变等特点，钢材发生质量的情况屡见不鲜。购买方在验收钢材时，需要对钢材的缺陷种类及缺陷程度进行判定，这些都需要人工处理。然而，人工处理工作量巨大，且响应速度较慢，对后续生产加工产生较大影响。
[0003]当前钢材表面缺陷识别主要有传统的人工特征分类检测方法和机器学习分类检测方法，传统的缺陷识别算法分为三类：
[0004]1)统计识别算法
[0005]该类算法通过统计像素分布的规律性和周期性，通过统计推断的方式计算缺陷出现的概率分布，通过计算概率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钢材表面缺陷检测方法，其特征在于，所述方法包括：获取钢材表面缺陷图片数据集，对所述数据集中的钢材表面缺陷图片进行预处理，并划分训练集和测试集；所述钢材表面缺陷图片为含有开裂、内含物、斑块、点蚀表面、轧制氧化皮或划痕缺陷的图片；构建基于多头注意力机制及旋转变形Swin Transformer的掩膜区域卷积神经网络Mask RCNN，并利用所述训练集对所述Mask RCNN进行训练；所述Mask RCNN包括具有固定窗口多头自注意力模块、偏移窗口多头自注意力模块、全连接模块、层标准化模块、子图融合模块、特征金字塔网络FPN、区域建议网络RPN、兴趣区域融合RoI align和全连接网络；所述Mask RCNN用带有多头自注意力机制及Swin Transformer作为骨干网络，用FPN提取融合特征图，用RPN提取感兴趣区域，通过RoI align得到候选建议框，使用全连接层和线性层来判断类别和提取建议框，再通过掩膜分支得到缺陷实例分割；利用训练好的所述Mask RCNN对所述测试集中的钢材表面缺陷图片进行钢材表面缺陷检测，得到钢材表面缺陷检测结果。2.根据权利要求1所述的一种钢材表面缺陷检测方法，其特征在于，利用所述训练集对所述Mask RCNN进行训练，包括：将所述训练集中的钢材表面缺陷图片输入带自注意力机制及Swin Transformer的骨干网络，提取4个不同阶段的特征图；使用FPN方式，将所述4个不同阶段的特征图中相邻阶段的特征图进行融合，得到4个不同分辨率的特征图；将所述4个不同分辨率的特征图输入RPN，根据原图尺寸获取预定个数的候选建议框；将候选建议框进行二值分类，并使用RoI align进行池化综合，再经过全连接网络进行分类和回归，得到检测结果和相应的损失，同时使用掩膜分支进行缺陷实例分割标注；用随机梯度下降法SGD通过计算损失对基于多头自注意力机制及Swin Transformer的骨干网络进行权重调整，迭代次数达到设定值，即训练结束，得到权重文件；将所述权重文件加载至基于多头自注意力机制的Swin Transformer架构，得到训练好的基于多头注意力机制及Swin Transformer的Mask RCNN。3.根据权利要求2所述的一种钢材表面缺陷检测方法，其特征在于，使用FPN方式，将所述4个不同阶段的特征图中相邻阶段的特征图进行融合，得到4个不同分辨率的特征图，包括：对阶段4输出的特征图S5进行1x1卷积操作，得到特征图F5；将特征图F5进行3x3卷积操作，得到特征图P5；对阶段3输出的特征图S4进行1x1卷积操作，得到特征图F4，将特征图F5进行2倍上采样与特征图F4进行融合，然后进行3x3卷积操作，得到特征图P4；对阶段2输出的特征图S3进行1x1卷积操作，得到特征图F3，将特征图F4进行2倍上采样与特征图F3进行融合，然后进行3x3卷积操作，得到特征图P3；对阶段1输出的特征图S2进行1x1卷积操作，得到特征图F2，将特征图F3进行2倍上采样与特征图F2进行融合，然后进行3x3卷积操作，得到特征图P2。4.根据权利要求2所述的一种钢材表面缺陷检测方法，其特征在于，将所述4个不同分辨率的特征图输入RPN，根据原图尺寸获取预定个数的候选建议框，包括：
将原图和特征图输入候选框生成器，生成预定数量的1:1、1:2、2:1尺寸的候选框，再使用回归预测获得候选建议框，使用非极大值抑制，得过滤后的候选建议框。5.根据权利要求1所述的一种钢材表面缺陷检测方法，其特征在于，对所述数据集中的钢材表面缺陷图片进行预处理，包括：裁剪填充的数据增强操作，得到预处理之后的钢材表面缺陷图片，并标注缺陷的位置和类别。6.根据权利要求2所述的一种钢材表面缺陷检测方法，其特征在于，将所述训练集中的钢材表面缺陷图片输入带自注意力机制及Swin Transformer的骨干网络，提取4个不同阶段的特征图，包括：构建swin_transformer_block基础模块；构建patch_partition基础模块，以实现创建子图；构建阶段1模块，所述阶段1模块的输入是所述patch_partition基础模块得到的子图；对输入的子图进行映射及层规范化操作；使用与子图大小相同的卷积核对输入图片进行卷积操作，得到第一特征图；将所述第一特征图作为swin_transformer_block的输入，输出得到的特征图再次进行swin_tansformer_block操作，得到的第二特征图为阶段2的输入；构建patch_merging基础模块，所述patch_merging基础模块的输入是4x4大小的特征图，将每个2x2的相邻像素作为一个划分子图，将每个划分子图中相同位置的像素进行拼接，得到4个2x2的特征图；将这四个特征图在深度通道方向进行拼接，通过层规范化操作，及一个全连接层在特征图的深度方向做线性变换，使特征图的深度通道翻倍，输...

【专利技术属性】
技术研发人员：王正旭，代晓林，刘梦玫，张楠，
申请(专利权)人：大连嘉济自动化机电科技有限公司，
类型：发明
国别省市：