一种基于迁移学习的纽扣表面缺陷检测方法技术

本发明专利技术公开了一种基于迁移学习的纽扣表面缺陷检测方法，包括：数据预处理，提取纽扣正反面两幅图像的感兴趣区域，并将裁剪过后的图像拼接成一幅固定大小图像；数据清洗，删除有问题的图像数据；数据增强，对图像进行随机镜像旋转、彩色对比度调整和左右交换；迁移预训练模型，利用大量相似种类的纽扣对预训练模型进行精调，并在待检测的数据集上重新训练模型。本发明专利技术能够利用较少量的样本训练深度模型，获得较高的准确率。

【技术实现步骤摘要】
一种基于迁移学习的纽扣表面缺陷检测方法
本专利技术属于计算机视觉领域，具体涉及一种基于迁移学习的纽扣表面缺陷检测方法。
技术介绍
纽扣的种类非常多，通常一家工厂就会生产上千种纽扣；而由于纽扣生产工艺的限制，纽扣表面会出现许多种不同的缺陷，包括缺口、雄花、刀伤等等。目前大量工厂仍采用人工目测的方式检测表面缺陷。这种方式严重依赖于工人的经验，检测结果具有一定的不确定性，且这种长时间的重复性工作易于产生疲劳，导致检测效率下降。近年来，随着数字图像处理和人工智能技术的迅猛发展，机器视觉检测方法开始受到越来越多的关注。部分国内外企业已经开始将机器视觉表面缺陷检测系统引入到生产流水线上，替代人工视觉进行产品质量的检测。这种方法克服了人工检测的诸多缺点，能够在恶劣的环境中长时间、高准确率地完成缺陷检测任务，大大提高了效率，节约了人力成本，提升了工厂的自动化和智能化程度。但这一类方法需要进行繁琐的特征编码，严重依赖于工程师的经验，且易于受到光照、背景等外部环境的影响，对于新的任务，往往还需要对算法进行重新设计，因此很难被大规模应用。
技术实现思路
为解决上述问题，本专利技术公开了一种基于迁移学习的纽扣表面缺陷检测方法，通过数据增强和迁移学习，能够在小样本条件下针对多种纽扣进行快速的缺陷检测。为达到上述目的，本专利技术的技术方案如下：一种基于迁移学习的纽扣表面缺陷检测方法，包括以下步骤：S1，图像预处理，使图像符合神经网络模型输入的基本要求；S2，数据清洗，剔除不必要的数据，提升数据集的质量；S3，数据增强，对图像进行变换，扩充样本的数量；S4，迁移预训练模型，使用处理好的数据集对已在大规模数据上预训练过的模型进行精调，并对缺陷图片进行检测分类。进一步的，所述步骤S1包括以下过程：S11，事先采集背景图片，然后通过背景差分的方式，剔除无关的背景元素；S12，对采集的纽扣图像进行高斯滤波或双边滤波，抑制图像采集中的噪声，并对图像进行阈值分割，得到一幅二值图像；S13，对二值图像进行形态学滤波，进一步抑制分割过程中的噪声；通过计算二值图像的区域属性，获得图像的感兴趣区域，再将感兴趣区域裁剪为正方形固定大小；S14，将经过上述处理的正反两张纽扣图片左右排列，拼接为一张固定大小的图片。进一步的，所述步骤S2包括以下过程：S21，经过预处理后的图片，对于未发现感兴趣区域或感兴趣区域面积小于特定值时，直接删除；S22，经过预处理后图片，对于感兴趣区域与图片边界相交的，直接删除；S23，对于正常样本中明显有缺陷的，移至缺陷样本中；S24，对于缺陷样本中没有发现缺陷的，直接删除；S25，对于测试集中没有出现在训练集的缺陷样本，移动到训练集中。进一步的，所述步骤S3包括以下过程：S31，将经由上述步骤处理过后的纽扣图像重新分割为正反两幅图像，再将两幅图像进行随机的镜像旋转和左右交换；S32，分别将两幅图像转换到HSV空间，对S平面和V平面进行随机的对比度拉伸，拉伸的倍数在0.8至1.2倍之间，可以视情况调整，再将对比度拉伸后的图像转换回RGB空间；S33，将两幅图像重新拼接为一幅固定大小的图像。进一步的，所述步骤S4包括以下过程：S41，使用VGG16模型并将其权重初始化为ImageNet训练集上的预训练权重；S42，将最后一层最大池化层替换为全局平均池化层，并将其全连接层替换为128个神经元，输出层采用sigmoid激活函数；S43，固定模型前三个卷积块的参数，利用大量相近的纽扣样本，重新训练并精调后两个卷积块及全连接层的参数，使其在测试集上具有较小的泛化误差；S44，针对特定的待检测的纽扣类型，固定模型所有卷积层的参数，重新训练全连接层，直至测试集上的损失不再降低。本专利技术的有益效果是：本专利技术采用基于迁移学习的缺陷检测方法，与传统方法相比，避免了繁杂的手工特征提取，能够直接从样本中学习有用的特征，更容易发觉数据中人类不易察觉的细微特征，具有更大的潜力。同时本专利技术还采用数据增强和迁移学习的方法，避免了样本获取昂贵的难题，使得本方法在工业应用中更加简单。附图说明图1为本专利技术提供的一种基于迁移学习的纽扣表面缺陷检测方法的流程图。图2为图像预处理流程图。图3为图像预处理效果图。图4为图像增强效果图。图5为训练结果在测试集上的概率分布。具体实施方式下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。本实施例针对一种类型的纽扣进行缺陷检测，同时还利用一种相似类型的纽扣进行迁移学习，流程图如图1所示，本实施例采用如下步骤：S1，图像预处理。事先采集背景图片，然后通过背景差分的方式，剔除原始纽扣图像中无关的背景元素；然后进行高斯滤波，模板大小为5*5，抑制图像采集中的噪声，并采用固定阈值50对图像进行阈值分割，得到一幅二值图像；再对二值图像进行形态学滤波，模板大小为5*5，进一步抑制分割过程中的噪声。计算二值图像的区域属性，获取面积最大的连通区域，即为图像的感兴趣区域。再利用包围矩形，将感兴趣区域进行裁剪为128*128大小的正方形。由于图像采集系统一般会采集正反两张图片，为了方便神经网络处理，最后需要将两张图片拼接在一起，得到256*128大小的图片。图像预处理的流程图如图2，效果图如图3.S2，数据清洗。对于经过预处理后的图片，删除未发现感兴趣区域或感兴趣区域与图片边界相交的图片。将处理后的图片随机分成训练集和测试集，分别包括正常样本和缺陷样本，并在此进行人工挑选。对于正常样本中明显有缺陷的，移至缺陷样本中；对于缺陷样本中没有发现缺陷的，直接删除；对于测试集中没有出现在训练集的缺陷样本，移动到训练集中。S3，数据增强。对于每一幅经过预处理后的纽扣图片，将其重新分割为正反面两张图片。将这两张图片分别随机旋转θ和-θ角。对图像旋转一个角度θ可以通过下面的旋转矩阵来实现：其中，(x,y)是旋转中心的坐标。这里直接选用图片的中心作为旋转中心，即(64,64)。再采用彩色对比度调整的方法，分别将两幅图片转换到HSV空间：V←max(R,G,B)其中，R,G,B代表三通道的图像中像素的红、绿、蓝的像素值，H代表色彩，S代表饱和度，V代表强度。随机拉伸S平面和V平面的对比度，拉伸范围为0.8至1.2，最后再将对比度拉伸过后的图片转换回RGB空间。最后，再将正反两幅图像进行随机交换，拼接回原图像大小。数据增强的效果如图4所示。S4，迁移预训练模型。将VGG16作为基准模型，权重初始化为其在ImageNet训练集上的预训练权重。将最后一层最大池化层替换为全局平均池化层，并将其全连接层替换为128个神经元，输出层采用sigm本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的纽扣表面缺陷检测方法，其特征在于，首先对图像进行预处理，使图像满足固定大小的输入要求；然后对数据进行清洗，剔除冗余和无效的数据，提升数据集的质量；接着进行数据增强，通过一系列有针对性的变换，扩充样本的数量；最后使用迁移预训练模型的方法，对包含缺陷的图像进行识别和分类。/n

【技术特征摘要】
1.一种基于迁移学习的纽扣表面缺陷检测方法，其特征在于，首先对图像进行预处理，使图像满足固定大小的输入要求；然后对数据进行清洗，剔除冗余和无效的数据，提升数据集的质量；接着进行数据增强，通过一系列有针对性的变换，扩充样本的数量；最后使用迁移预训练模型的方法，对包含缺陷的图像进行识别和分类。


2.根据权利要求1所述的基于迁移学习的纽扣表面缺陷检测方法，其特征在于，所述图像预处理包括提取纽扣正反面两幅图像的感兴趣区域，并将裁剪过后的图像拼接成一幅图像，使其符合固定大小。


3.根据权利要求1所述的基于迁移学习的纽扣表面缺陷检测方法，其特征在于，数据清洗包括以下步骤：
(1)经过预处理后的图片，对于未发现感兴趣区域或感兴趣区域面积小于特定值时，直接删除；
(2)经过预处理后图片，对于感兴趣区域与图片边界相交的，直接删除；
(3)对于正常样本中明显有缺陷的，移至缺陷样本中；
(4)对于缺陷样本中没有发现缺陷的，直接删除；
(5)对于测试集中没有出现在训练集的缺陷样本，移动到训练集中。


4.根据权利要...

【专利技术属性】
技术研发人员：王慧青，焦越，余厚云，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32