【技术实现步骤摘要】
本专利技术涉及数字图像处理中的目标识别，具体涉及一种基于工业动态视觉自我提示的钢铁缺陷检测方法。
技术介绍
1、钢铁缺陷的识别与检测是工业视觉场景中应用最为广泛的领域之一，工业场景中的缺陷识别是指从缺陷的形态、成因或者危害程度等角度对缺陷的定性分析，对模型提出了更高的要求。现阶段，工业视觉方向采用的方法大多沿用自然场景的方法，但不同于自然场景或开放世界下的计算机视觉任务，工业场景下的分类或检测等任务往往具有特定的挑战：
2、（1）稀疏低秩性导致网络效率低。工业场景中的缺陷图像常常在实体、特征和像素等层面体现出稀疏低秩特性。缺陷目标出现的概率通常较低，导致缺陷目标具备稀疏特性。钢铁缺陷图像表现出前景一致性并且面积通常较小，因此在原始灰度空间或特征空间中通常是低秩矩阵。但缺陷图像的整个特征空间通常具有高秩，特征建模时会产生大量无效特征，降低网络效率。
3、（2）特征表示能力差导致特征退化。随着网络深度的增加，网络会产生“特征退化”问题，即网络的关键特征发生丢失。针对钢铁缺陷来说，当前大部分通用视觉模型在深层网络中会以往先前网络学习到的先验信息。“特征退化”问题会导致深层网络无法建模并挖掘有效知识，从而影响缺陷的分类和位置标定。
4、（3）难以达到速度与精度平衡。工业生产中往往为边缘计算场景，边缘算力低下导致网络在下游应用任务中的推理速度慢。当前通用视觉模型并未考虑工业场景的应用问题，因此在实际工业场景中难以泛化。
5、为了解决稀疏低秩问题，将原始图像的特征矩阵视为低秩矩阵与稀疏矩阵之和
技术实现思路
1、本专利技术为了克服以上技术的不足，提供了一种实现钢铁缺陷图像精确检测的方法。
2、本专利技术克服其技术问题所采用的技术方案是：
3、一种基于工业动态视觉自我提示的钢铁缺陷检测方法，包括如下步骤：
4、(a)收集张钢铁缺陷图像数据，得到钢铁缺陷数据集，，其中为第张钢铁缺陷图像，；
5、(b)将第张钢铁缺陷图像进行图像增强，得到增强后的钢铁缺陷图像，得到增强后的图像集，；
6、(c)对增强后的钢铁缺陷图像进行标注，得到标签文件，所有的标签文件构成标签文件集，；
7、(d)构建钢铁缺陷数据标签集，，将钢铁缺陷数据标签集划分为训练集、验证集、测试集；
8、(e)构建钢铁缺陷检测网络，钢铁缺陷检测网络由第一下采样模块、第一卷积模块、第二下采样模块、第二卷积模块、第三下采样模块、自我提示vit模块、第四下采样模块、自我提示vit模块、检测头构成；
9、(f)将训练集中的增强后的钢铁缺陷图像输入到钢铁缺陷检测网络的第一下采样模块、第一卷积模块中，输出得到特征；
10、(g)将特征输入到钢铁缺陷检测网络的第二下采样模块、第二卷积模块、第三下采样模块中，输出得到特征；
11、(h)将特征输入到自我提示vit模块中，输出得到特征；
12、(i)将特征输入到钢铁缺陷检测网络的第四下采样模块、自我提示vit模块、检测头中，输出得到缺陷的预测位置标签及类别标签；
13、(j)计算损失函数，使用adam优化器通过损失函数训练钢铁缺陷检测网络，得到优化后的钢铁缺陷检测网络；
14、(k)将测试集中增强后的钢铁缺陷图像输入到优化后的钢铁缺陷检测网络中，输出得到缺陷的预测位置标签及类别标签。
15、进一步的，步骤(b)中第张钢铁缺陷图像为rgb图像，通过公式计算得到第张钢铁缺陷图像中第个像素点的增强后的像素值，式中为第张钢铁缺陷图像中第个像素点的像素值，为平衡超参数，为自然常数，为第个通道的第个像素点的像素值，为第张钢铁缺陷图像中像素数，为通道数，，为r通道，2为g通道，3为b通道，增强后的钢铁缺陷图像。
16、优选的，取值范围为0-1。
17、进一步的，步骤(c)包括如下步骤：
18、(c-1)利用矩形框标注出增强后的钢铁缺陷图像种裂纹区域和/或破损区域和/或划痕区域和/或斑点区域和/或毛刺区域，得到个标注的矩形框，该矩形框作为真实框；
19、(c-2)第个矩形框的左上角坐标为，第个矩形框的右下角坐标为，第个矩形框的宽度为，第个矩形框的宽度为，第个矩形框的瑕疵类别为，，，为裂纹区域的类别，为破损区域的类别，为划痕区域的类别，为斑点区域的类别，为毛刺区域的类别，标签文件。
20、优选的，步骤(d)中将钢铁缺陷数据标签集按照6:2:2的比例划分为训练集、验证集、测试集。
21、进一步的，步骤(f)包括如下步骤：
22、(f-1)钢铁缺陷检测网络的第一下采样模块由卷积核大小为1×1的第一卷积层、特征分组聚合层、卷积核大小为1×1的第二卷积层构成；
23、(f-2)将训练集中的增强后的钢铁缺陷图像输入到第一下采样模块的第一卷积层中，输出得到特征；
24、(f-3)设定一邻域，该邻域大小为特征宽高的一半，，，将特征输入到第一下采样模块的特征分组聚合层中，将特征分组为特征空间，，为邻域第一行第一列的内容，为邻域第一行第二列的内容，为邻域第二行第一列的内容，为邻域第二行第二列的内容，为邻域的大小，，为特征的通道数，为特征的高，为特征的宽，将、、、按通道方向进行拼接操作，将拼接结果进在通道方向上进行shuffle操作，得到特征；
25、(f-4)将特征输入到第一下采样模块的第二卷积层中，输出得到特征；
26、(f-5)钢铁缺陷检测网络的第一卷积模块依次由第一卷积特征提取块、第二卷积特征提取块、瓶颈特征提取块构成，第一卷积特征提取块由卷积核大小为3×3的卷积层构成，将特征输入到第一卷积模块的第一卷积特征提取块中，输出得到特征，第二卷积特征提取块由卷积核大小为1×1的卷积层构成，将特征输入到第一卷积模块的第二卷积特征提取块中，输出得到特征，瓶颈特征提取块依次由卷积核大小为1×1的第一卷积层、卷积核大小为3×3的第二卷积层、卷积核大小为1×1的第三卷积层构成，将特征输入到瓶颈特征提取块中，输出得到特征，将特征、特征、特征进行拼接操作，得到特征。
27、进一步的，步骤(g)包括如下本文档来自技高网...
【技术保护点】
1.一种基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于：步骤(b)中第张钢铁缺陷图像为RGB图像，通过公式计算得到第张钢铁缺陷图像中第个像素点的增强后的像素值，式中为第张钢铁缺陷图像中第个像素点的像素值，为平衡超参数，为自然常数，为第个通道的第个像素点的像素值，为第张钢铁缺陷图像中像素数，为通道数，，为R通道，2为G通道，3为B通道，增强后的钢铁缺陷图像。
3.根据权利要求2所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于：取值范围为0-1。
4.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(c)包括如下步骤：
5.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于：步骤(d)中将钢铁缺陷数据标签集按照6:2:2的比例划分为训练集、验证集、测试集。
6.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(f)包括如下步
7.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(g)包括如下步骤：
8.根据权利要求4所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(h)包括如需步骤：
9.根据权利要求8所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(i)包括如需步骤：
10.根据权利要求9所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(j)包括如下步骤：
...【技术特征摘要】
1.一种基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于：步骤(b)中第张钢铁缺陷图像为rgb图像，通过公式计算得到第张钢铁缺陷图像中第个像素点的增强后的像素值，式中为第张钢铁缺陷图像中第个像素点的像素值，为平衡超参数，为自然常数，为第个通道的第个像素点的像素值，为第张钢铁缺陷图像中像素数，为通道数，，为r通道，2为g通道，3为b通道，增强后的钢铁缺陷图像。
3.根据权利要求2所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于：取值范围为0-1。
4.根据权利要求1所述的基于工业动态视觉自我提示的钢铁缺陷检测方法，其特征在于，步骤(c)包括如下步骤：
5.根据权利要求1...
【专利技术属性】
技术研发人员：李刚，周鸣乐，张敬林，李敏，韩德隆，李旺，冯正乾，张泽恺，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。