一种基于深度学习的特种金属瑕疵检测系统技术方案

本发明专利技术涉及一种基于深度学习的特种金属瑕疵检测系统，包括以下步骤：1)获取特种金属图片数据集作为原始数据集；2)对特种金属图片数据集进行数据增强；3)根据增强后的数据集对Mask RCNN模型进行训练；4)将待检测的图片输入训练好的Mask RCNN模型中，输出检测过后的图片。与现有技术相比，本发明专利技术具有降低数据采集成本和人工检测成本，简化检测过程，提高工作效率等优点。

A special metal defect detection system based on deep learning

【技术实现步骤摘要】
一种基于深度学习的特种金属瑕疵检测系统
本专利技术涉及特种金属计算机图像检测领域，尤其是涉及一种基于深度学习的特种金属瑕疵检测系统。
技术介绍
随着制造工业生产规模日趋增大，生产流程越来越成熟，速度也越来越快，这给质检工作带来了很大的负担。在特种金属生产的过程中，往往采用人工检测的方式来排查错误。虽然存在计算机视觉方面的尝试，比如使用sobel算子进行边缘检测，或者进行小波变换。但是这些检测方式错检率、召回率低，无法投入实际生产中。另一方面，特种金属，如钛及钛合金、镍及镍合金、不锈钢等，其图片采集需要改造生产线、布置工业相机等，而图像标注也需要较大的人工成本。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的特种金属瑕疵检测系统。本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的特种金属瑕疵检测系统，用以在没有人工辅助的情况下根据特种金属照片对瑕疵进行检测和定位，包括以下步骤：1)获取特种金属图片数据集作为原始数据集；2)对特种金属图片数据集进行数据增强；3)根据增强后的数据集对MaskRCNN模型进行训练；4)将待检测的图片输入训练好的MaskRCNN模型中，输出检测过后的图片。所述的步骤2)具体包括以下步骤：21)采用DataAugmentationGAN对特种金属图片数据集进行数据增强；22)采用lableme标注工具，对增强后数据集进行标注，标注出多边形轮廓，获取json格式文件存储样本中瑕疵的轮廓顶点；23)进一步扩大数据集规模，并根据变换规则同时生成标注的json文件；24)采用旋转、翻转、放大后裁剪局部、修改对比度、增加高斯噪声的方式，进一步扩大数据集，最终得到训练用的数据集。所述的DataAugmentationGAN包括生成器和判别器。所述的生成器包括UNet和ResNet两个网络，共8个模块，每个模块均由4个带有leakyrelu激活函数和batchnormalization的卷积层以及一个下采样层或一个上采样层组成，所述的下采样层依次包括步长为2的卷积层、leakyrelu层、batchnormalization层和dropout层，所述的上采样层依次包括步长为1/2的复制器、卷积层、leakyrelu层、normalization层和dropout层。所述的判别器为采用layernormalization代替batchnormalization的DenseNet，所述的DenseNet由4个Dense模块和4个过渡层组成，其增长率为64，每个Dense模块由4个卷积层组成，对于每个Dense模块的最后一个卷积层，均通过一个dropout提升最后结果。所述的步骤3)具体包括以下步骤：31)对增强后的数据集变换尺寸为800x800大小；32)根据尺寸变换后的图片训练MaskRCNN模型；33)MaskRCNN模型中的卷积骨干网络由ResNet101和FPN组成，用来提取特征图，RPN根据特征图生成多个ROI，通过ROIAlign，采用双线性插值点方法，将多个ROI的尺寸统一为7x7，最后对多个ROI进行分类，采用定位框回归，并使用FCN生成mask，其损失函数L表示为：L＝Lcls+Lbox+Lmask其中，Lcls为分类的损失，Lbox为定位框的损失，Lmask为mask的损失。所述的步骤3)中，根据COCO数据集上训练的权重进行finetuning训练MaskRCNN模型。所述的步骤4)中，将待测图片输入训练好的MaskRCNN模型，输出待测图片并标注模型得到的检测框，若不存在检测框，则说明图片为正常图片，否则为瑕疵图片，瑕疵具体位置为检测框标注位置。所述的步骤23)中，通过以下方式进一步扩大数据集规模：A、增加瑕疵：随机选取瑕疵部分，将该瑕疵粘贴在随机的正常区域；或者B、减少瑕疵：随机选择瑕疵，将复制的正常区域覆盖原有的瑕疵。与现有技术相比，本专利技术具有以下优点：1)本专利技术采用了深度学习的方法，比传统的计算机视觉方法相比，能够检测更多形态、特征的瑕疵，对数据集中特种金属照片形态是否相似的要求不高。2)本专利技术使用传统方法和DataAugmentationGAN对数据集进行数据增强，减少了对训练集数据规模的要求。3)在检测过程中，MaskRCNN网络是一个端到端的过程，只需要输入图片，即可得到结果，简单快速。4)本专利技术对比人工检测的方法，可以更好的节省人力资源，节省了包括培训熟练的检测工人的成本和支付给检测工人的费用。5)本专利技术具有商业意义，不仅可以投入到特种金属生产中，也可以推广到各种工业生产中。附图说明图1为本专利技术预处理和训练的流程图。图2为本专利技术使用的流程图。图3DataAugmentationGAN结构图。图4为MaskRCNN结构图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。实施例为了更加清晰、详尽地解释本专利技术的目的、技术方案和要点，本专利技术将进一步进行详细的阐述。应当理解，此处描述的实施方法仅仅用于解释本专利技术的具体方法，而并非限定本专利技术。本领域的技术人员可以根据本专利技术阐述的原理进行实施和推广，通过简单的修改，即可将本专利技术推广到相似的工业生产领域。本专利技术采用了首先通过传统方法和对抗神经网络DataAugmentationGenerativeAdversarialNet(简称DataAugmentationGAN)对数据集进行增强，来减少对原始数据规模的依赖，根据并使用MaskR-CNN网络对特种金属瑕疵的进行检测，以增加检测的正确率和召回率，具体包括数据增强阶段、训练模型阶段和使用模型三个阶段。1)数据增强阶段：收集原始特种金属图片，建立原始数据集。使用DataAugmentationGAN对原始数据集进行数据增强。其中DataAugmentationGAN是分为生成器和判别器两部分，其中生成器结合了UNet和ResNet两个网络，一共8个模块，每个模块均由4个带有leakyrelu激活函数和batchnormalization的卷积层加上一个下采样层或者一个上采样层组成。其中下采样层依次为步长为2的卷积层、leakyrelu层、batchnormalization层和dropout层，而上采样层依次为步长为1/2的复制器、卷积层、leakyrelu层、normalization层和dropout层。而且类似于Resnet，每个模块之间都有skip链接。判别器采用的是DenseNet，但是使用layernormalization代替batchnormalization。Desnet由4个Dense模块和4个过渡层组成，使用64的增长率。每个Dense模块由4个卷积层组成，对每个本文档来自技高网...

【技术保护点】
1.一种基于深度学习的特种金属瑕疵检测系统，用以在没有人工辅助的情况下根据特种金属照片对瑕疵进行检测和定位，其特征在于，包括以下步骤：/n1)获取特种金属图片数据集作为原始数据集；/n2)对特种金属图片数据集进行数据增强；/n3)根据增强后的数据集对Mask RCNN模型进行训练；/n4)将待检测的图片输入训练好的Mask RCNN模型中，输出检测过后的图片。/n

【技术特征摘要】
1.一种基于深度学习的特种金属瑕疵检测系统，用以在没有人工辅助的情况下根据特种金属照片对瑕疵进行检测和定位，其特征在于，包括以下步骤：
1)获取特种金属图片数据集作为原始数据集；
2)对特种金属图片数据集进行数据增强；
3)根据增强后的数据集对MaskRCNN模型进行训练；
4)将待检测的图片输入训练好的MaskRCNN模型中，输出检测过后的图片。


2.根据权利要求1所述的一种基于深度学习的特种金属瑕疵检测系统，其特征在于，所述的步骤2)具体包括以下步骤：
21)采用DataAugmentationGAN对特种金属图片数据集进行数据增强；
22)采用lableme标注工具，对增强后数据集进行标注，标注出多边形轮廓，获取json格式文件存储样本中瑕疵的轮廓顶点；
23)进一步扩大数据集规模，并根据变换规则同时生成标注的json文件；
24)采用旋转、翻转、放大后裁剪局部、修改对比度、增加高斯噪声的方式，进一步扩大数据集，最终得到训练用的数据集。


3.根据权利要求2所述的一种基于深度学习的特种金属瑕疵检测系统，其特征在于，所述的DataAugmentationGAN包括生成器和判别器。


4.根据权利要求3所述的一种基于深度学习的特种金属瑕疵检测系统，其特征在于，所述的生成器包括UNet和ResNet两个网络，共8个模块，每个模块均由4个带有leakyrelu激活函数和batchnormalization的卷积层以及一个下采样层或一个上采样层组成，所述的下采样层依次包括步长为2的卷积层、leakyrelu层、batchnormalization层和dropout层，所述的上采样层依次包括步长为1/2的复制器、卷积层、leakyrelu层、normalization层和dropout层。


5.根据权利要求3所述的一种基于深度学习的特种金属瑕疵检测系统，其特征在于，所述的判别器为采用lay...

【专利技术属性】
技术研发人员：李一人，程帆，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31