一种基于深度学习的气缸套缺陷标检测方法技术

本发明专利技术提供一种基于深度学习的气缸套缺陷标检测方法，所述检测方法包括以下步骤：采集气缸套图像构建原始数据集，对原始数据集内的图像进行预处理和标注，获取训练集的局部缺陷图；利用基于Swin变换器的Mask R

【技术实现步骤摘要】
一种基于深度学习的气缸套缺陷标检测方法


[0001]本专利技术涉及图像处理领域，具体为一种基于深度学习的气缸套缺陷标检测方法。

技术介绍

[0002]气缸套作为内燃机的核心部件，其性能优劣直接影响着内燃机的整体性能。气缸套在生产过程中可能会因为温度、杂质以及加工时的应力分布不均产生砂眼、裂纹、磨损等不同缺陷。对其表面缺陷检测已经成为出厂过程一个必不可少环节。气缸套的缺陷尺寸小，图片噪音干扰大，依照传统人眼检测效率低下，精度不高，且易出现漏检现象。目前，人眼检测已经无法满足企业的要求，因此采用深度学习对气缸套缺陷检测十分重要。
[0003]通常检测的方式分为一下3类：
[0004]传统检测：传统的缺陷检测主要有人工目视检测、X射线检测、声波检测、磁粉探伤检测、涡流检测和激光扫描检测等。
[0005]机器学习检测：机器学习主要通过人工定性设计特征或图像特定区域的统计特征。
[0006]深度学习检测：近年来，利用深度学习方法进行的目标检测已经取得了很大的进展。主流算法可以根据不同的流程分为两类。一种被称为一阶方法，如YOLO、SSD、RetinaNet等。一阶方法直接生成锚点，其主要思想是均匀密集地对图像不同位置的采样。在采样过程中，采用不同的尺度和长宽比，通过卷积神经网络提取特征，然后进行分类和回归。在整个过程中只需要一个步骤，所以检测的速度很快。但是也存在一定的问题，由于正样本和负样本之间的极端不平衡，使得训练模型更加困难。另一类称为二阶方法。该方法将目标检测任务分成两个阶段来实现，首先找出图像中可能存在待检测目标的区域，然后再进行分类判别，并通过设置阈值的方法选择评分较高的区域，从而实现目标检测。其代表性算法主要有Fast R
‑
CNN、Faster R
‑
CNN和Mask R
‑
CNN等。相较于一阶网络，二阶网络多了RPN层，同时由RPN层生成候选框，再从候选框中生成锚点。这样做的效果比一阶网络的精确度有一定的提升，但是检测时间变慢。

技术实现思路

[0007](一)要解决的技术问题：为解决上述
技术介绍
提出的技术问题，本专利技术提出区域分割将高分辨率图像拆分成小区域，并结合掩码机制，在小区域进行目标检测，利用小区域检测结合，回归到高分辨率图像，从而有效提高了在高分辨率图像的小目标检测的精度；本专利技术在其他类型的小目标检测上具有一定的通用性。
[0008](二)技术方案：1.一种基于深度学习的气缸套缺陷标检测方法，其特征在于，所述检测方法包括以下步骤：
[0009]1)采集气缸套图像构建原始数据集，对原始数据集内的图像进行预处理和标注，再将原始数据集按比例分为训练集和测试集两部分；
[0010]2)获取训练集的局部缺陷图；
[0011]3)利用Mask R
‑
CNN算法进行建模，通过训练集图像的局部缺陷图进行模型训练，得到网络模型；
[0012]4)通过得到的网络模型对测试集的图像进行检测；
[0013]5)通过掩码机制对检测结果提取兴趣区域增强步骤4)中的检测效果；
[0014]6)对网络模型的检测性能进行评价；
[0015]7)通过步骤4)得到的网络模型对采集的气缸套图像进行缺陷标检测。
[0016]进一步地，制作VOC格式数据集，利用LabelImg工具，对数据集中图片数据进行标注，产生xml文件，实验数据集是气缸套缺陷图片，图片尺寸大小为2448*2048。该数据集包含三个类别，即sand，scratch，wear。
[0017]进一步地，图像预处理。由于实际图像采集过程中存在多种噪声，因此为了提高图像质量，突出缺陷的目标信息。本专利技术采用5*5的高斯滤波对气缸套数据集进行降噪处理。
[0018]进一步地，构建通过原图信息裁剪出局部图方法，通过尺寸大小为2448*2048的原图标注信息来截取尺寸大小为256*256的局部图，每一个局部图都会包含缺陷。使用这些局部图在基于Swin转换器的Mask RCNN网络训练。
[0019]进一步地，设计小图映射大图检测方法，将测试集的原图分为64个小图，选择之前训练好的网络进行检测，最后拼回原来的尺寸。
[0020]进一步地，提出掩码机制方法，对缸套模具图像选取合适阈值进行二值化。使用形态学操作闭运算去除二值化细小的黑点，确保二值化区域包含整个兴趣区域，将其作为兴趣区域。对于上端面图像进行坐标测量，根据上端面图像的待检测区域，确定圆心以及最大圆、最小圆半径，画出同样大小的圆环二值化图像，完成上端面图像模具的制作，将其作为上端面图像的兴趣区域。最后一种类型的图片我们设计一个具体的掩码，来提取兴趣区域。进一步提高检测精度。
[0021](三)有益效果
[0022]1.本专利技术采用基于Swin转换器的Mask RCNN网络对局部图进行训练，Swin转换器(Swin Transformer)是目前计算机视觉领域最新的视觉转换器网络，它是编码器解码器结构，具有层级的特征图，可以通过合并深层的图像块，并且具有线性的计算复杂度。
[0023]2.本专利技术采用掩码机制进一步提高检测的精度，采用掩码提取兴趣区域。兴趣区域提取，不仅降低目标区域搜索时间，而且可以增强检测效果。
附图说明
[0024]图1是本专利技术算法框图；
[0025]图2是本专利技术Swin变换器网络图；
[0026]图3是本专利技术算法检测框图；
具体实施方式
[0027]附图仅用于示例性说明，不能理解为对本专利的限制；
[0028]为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0029]请参考附图1，首先，将原始高分辨率训练图像(大小为2448*2048)经过5*5高斯滤波器进行降噪处理，再根据缺陷标定的位置截取局部缺陷图，并归一化至256*256大小图片，如图1中(a)阶段；其次，利用视觉变换器作为网络骨架，采用局部缺陷图训练网络，来提取具有视觉注意力机制的特征，并用于训练Mask
‑
RCNN缺陷检测网络，如图1中(b)阶段；最后，针对于原始高分辨率测试图像，将原图分割成64块小区域图像，对64块小区域的图像进行检测，然后利用具有兴趣区域的掩码机制，屏蔽噪声的影响，从而提升检测精度和检测速度，如图1中(2)检测阶段。
[0030]构建局部图：该方法包括两个关键技术，一是图像降噪处理，二是局部图构建。
[0031](1)图像降噪处理：在相机采集气缸套图像过程中会因为各种温度、光照、电子元器件信号干扰产生大量的噪声，极大地降低图像质量，影响后续处理，甚至会影响到气缸套表面缺陷检测结果。考虑到减轻后期深度学习算法复杂度，提高原始图像质量，本专利技术对采集的气缸套图像进行预处理，为建立本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的气缸套缺陷标检测方法，其特征在于，所述检测方法包括以下步骤：1)采集气缸套图像构建原始数据集，对原始数据集内的图像进行预处理和标注，再将原始数据集按比例分为训练集和测试集两部分；2)获取训练集的局部缺陷图；3)利用基于Swin变换器的Mask R
‑
CNN算法进行建模，通过训练集图像的局部缺陷图进行模型训练，得到网络模型；4)通过得到的网络模型对测试集的图像进行检测；5)通过掩码机制对检测结果提取兴趣区域增强步骤4)中的检测效果；6)对网络模型的检测性能进行评价。2.如权利要求1所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤1)中通过采集的气缸套图像制作VOC文件格式的原始数据集，同时利用LabelImg图像标注工具对原始数据集中图像进行标注，标注出原始数据集图像上的缺陷区域及类型，产生xml文件，将原始数据集分为三个类型，即砂痕缺陷、划痕缺陷以及磨损缺陷；所述预处理的方法为先对原始数据集内的图像进行图像随机翻转，裁剪，像素归一化，图像增强，接着进行对图像进行5*5的高斯滤波降噪处理。3.如权利要求2所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤2)中获取局部缺陷图的方法为通过训练集中图像的标注信息人为截取尺寸大小为256*256的局部缺陷图，每一个局部缺陷图均包含缺陷。4.如权利要求1所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤3)中网络模型的建立方法为：301)将训练集中的局部缺陷图输入到Swin变换器中，得到对应的feature map特征图；302)对feature map特征图中的每一像素点设定预定个数的ROI，得到多个候选的ROI；303)将候选的ROI送入Region Proposal Network网络进行处理，并进行Bounding box回归，得到相应的Proposals待检测区域；304)将得到的Propos...

【专利技术属性】
技术研发人员：黄晓华，邵秀燕，郝飞，刘迁，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：