基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法技术

本发明专利技术涉及数字图像处理与识别技术领域，为基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，包括构建电饭煲内胆图像的真实样本数据集，根据真实样本数据集的电饭煲内胆图片生成掩膜二值图数据集；构建一个生成对抗网络，训练生成对抗网络；将混合掩膜数据集的掩膜二值图数据输入训练好的生成对抗网络中，生成伪样本数据集；通过真实图像训练YOLOv5网络作为生成质量判别器，对伪样本进行筛选得到筛选后的伪样本数据集；将筛选后的伪样本数据集与真实样本数据集混合，得到增强后的电饭煲内胆图像数据集。本发明专利技术通过生成数据增强后的电饭煲内胆缺陷图像数据集，有效提高了基于深度学习的电饭煲内胆缺陷检测的检测精度。学习的电饭煲内胆缺陷检测的检测精度。学习的电饭煲内胆缺陷检测的检测精度。

【技术实现步骤摘要】
基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法


[0001]本专利技术涉及数字图像处理与识别
，特别涉及基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法。

技术介绍

[0002]电饭煲主要由锅体和内胆组成，内胆装填大米和水，锅体通过对内胆加热从而煮熟大米。内胆作为一种金属制品，与其他金属制品一样，在工业生产过程中，由于工艺流程、生产设备和现场环境的影响，产品表面会出现各种缺陷。表面缺陷不仅影响产品本身的外观质量和商业价值，还影响产品的性能，影响后续深加工的安全性和稳定性。因此，表面缺陷检测已成为工业生产中的关键步骤。目前，大多数检测任务由人工完成，人工检测会带来高昂的用工成本、管理成本和极低的效率，难以满足现代企业自动化生产的需要。
[0003]针对解决人工检测效率低的问题，许多学者开始研究利用深度学习方法来自动检测缺陷。虽然深度学习方法的检测精度高，却需要大量的标签数据进行训练，而工业缺陷数据数量稀少，这将导致深度学习方法的效果不佳。为了解决这个问题，许多学者开始研究通过数据增强来扩充缺陷数据，其中一种主流方法是利用生成对抗网络生成伪缺陷数据。
[0004]一般的基于生成对抗网络的缺陷数据增强方法有两种，第一种会把整张图输入生成对抗网络中，生成带缺陷的伪样本，这种办法简单，但只适合图片较小，只有少量缺陷的情况，且无法确定缺陷在图中的位置；第二种方式会把数据集中所有图片里的所有缺陷区域都裁剪成小图，然后将小图输入生成对抗网络中输出伪缺陷区域子图，最后再将这些子图随机粘贴到原数据集任意图片上，得到生成的伪样本，这种方法的问题在于所生成的缺陷可能与周围背景差异较大，致使生成样本质量较低；因此，有必要寻找一种高质量的且可以生成相应标注的缺陷数据增强方法。

技术实现思路

[0005]为解决现有技术所存在的技术问题，本专利技术提供基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，可以对图像数据做筛选，生成高质量电饭煲内胆缺陷图像，筛选后的伪样本数据集与真实样本数据集得到数据增强后的电饭煲内胆缺陷图像数据集，有效提高了基于深度学习的电饭煲内胆缺陷检测的检测精度。
[0006]本专利技术所采用的技术方案是：基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，包括：S1、通过工业摄像头拍摄电饭煲内胆图片，对电饭煲内胆图片进行缺陷标注，构建电饭煲内胆图像的真实样本数据集；
[0007]S2、根据真实样本数据集的每一张电饭煲内胆图片生成相应的掩膜二值图，得到掩膜二值图数据集；
[0008]S3、构建一个生成对抗网络，初始化生成对抗网络的模型参数，采用逐渐增加分辨率的方式对生成抗网络进行训练；
[0009]S4、对掩膜二值图数据做随机变换得到扩充掩膜二值图数据集，将扩充掩膜二值
图数据集与掩膜二值图数据集混合得到混合掩膜数据集，将混合掩膜数据集的掩膜二值图数据输入训练好的生成对抗网络中，生成伪样本数据集；
[0010]S5、通过真实样本数据集训练YOLOv5网络作为生成质量判别器，利用生成质量判别器判别伪样本的质量，去除质量低的伪样本，得到筛选后的伪样本数据集；
[0011]S6、将筛选后的伪样本数据集与真实样本数据集混合，得到增强后的电饭煲内胆图像数据集。
[0012]优选的技术方案中，所述根据真实样本数据集的每一张电饭煲内胆图片生成相应的掩膜二值图，包括：将电饭煲内胆图片初始化一张灰度图，所有像素的灰度值均为0，将缺陷区域的位置内的像素点均设置为255。
[0013]具体地，所述采用逐渐增加分辨率的方式对生成抗网络进行训练，包括：训练生成对抗网络，将掩膜二值图输入生成器G中得到生成图g，将生成图g输入判别器D中获得判别指标；生成器G和判别器D二者都先删去部分卷积层，随着训练迭代次数的逐渐增加卷积层数量，直到输出的图像分辨率与真实图像的分辨率一致。
[0014]具体地，所述通过真实样本数据集训练YOLOv5网络作为生成质量判别器，利用生成质量判别器判别伪样本的质量，去除质量低的伪样本，得到筛选后的伪样本数据集，包括：将生成好的伪样本输入训练好的YOLOv5网络中，得到电饭煲内胆缺陷的位置、类别，同时可根据YOLOv5网络的特征向量计算FID值，设定FID参考值，保留低于FID参考值的图像，去除高于FID参考值的图像。
[0015]本专利技术与现有技术相比，具有如下优点和有益效果：
[0016]本专利技术提出了基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，通过构建基于生成对抗网络的深度学习模型，将原本直接以随机变量或原图作为输入改为输入掩膜二值图，并对掩膜二值图做一系列随机变换使输入更丰富，从而使得生成的图像缺陷位置和形态也更丰富，并且可以直接获知对应的缺陷位置；采用逐渐增加分辨率的方式进行训练，还额外增加了一个YOLOv5的判别器以对生成样本做筛选，实现了高质量电饭煲内胆缺陷图像的生成；有效提高了基于深度学习的电饭煲内胆缺陷检测的检测精度，有效解决了深度学习过程中数据量不足、数据标注困难的问题。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0018]图1为本专利技术实施例中的电饭煲内胆图像数据增强方法流程图；
[0019]图2为本专利技术实施例中所述的生成对抗网络的结构图；
[0020]图3为本专利技术实施例中所述的逐分辨率训练的示意图。
具体实施方式
[0021]下面将结合附图和实施例，对本专利技术技术方案做进一步详细描述，显然所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，本专利技术的实施方式并不限于此。基于
本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]实施例1：
[0023]如图1所示，本专利技术的所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，包括：
[0024]S1、利用工业摄像头拍摄电饭煲内胆图片，对电饭煲内胆图像进行缺陷标注，构建电饭煲内胆图像的真实样本数据集。
[0025]在工业生产流水线上布置有一个机台，其平面上可传送和放置电饭煲内胆，平面上方有一悬臂挂载工业摄像头，当电饭煲内胆传送到摄像头下方时，将电饭煲内胆抬升，使摄像机居于内胆中心，此时旋转内胆，摄像机开始连续拍摄内胆图像，旋转一周结束后，完成对当前电饭煲数据的采集，然后将当前电饭煲内胆传送走，开始准备下一个电饭煲内胆的图像采集。
[0026]具体地，人工对存在缺陷的电饭煲内胆对应的电饭煲内胆图片进行缺陷标注，记录了应电饭煲内胆图片中缺陷区域的位置和类别。缺陷标注格式是一个文本文件，具体格式为(x1,y1,x2,y2,cls)，(x1,y1)为左上角坐标，(x2,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，包括：S1、通过工业摄像头拍摄电饭煲内胆图片，对电饭煲内胆图片进行缺陷标注，构建电饭煲内胆图像的真实样本数据集；S2、根据真实样本数据集的每一张电饭煲内胆图片生成相应的掩膜二值图，得到掩膜二值图数据集；S3、构建生成对抗网络，初始化生成对抗网络的网络权重，采用逐渐增加分辨率的方式对生成抗网络进行训练；S4、对掩膜二值图数据做随机变换得到扩充掩膜二值图数据集，将扩充掩膜二值图数据集与掩膜二值图数据集混合得到混合掩膜数据集，将混合掩膜数据集的掩膜二值图数据输入训练好的生成对抗网络中，生成伪样本数据集；S5、通过真实样本数据集训练YOLOv5网络作为生成质量判别器，利用生成质量判别器判别伪样本的质量，去除质量低的伪样本，得到筛选后的伪样本数据集；S6、将筛选后的伪样本数据集与真实样本数据集混合，得到增强后的电饭煲内胆图像数据集。2.根据权利要求1所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述对电饭煲内胆图片进行缺陷标注，包括：对存在缺陷的电饭煲内胆对应的电饭煲内胆图片进行缺陷标注，记录应电饭煲内胆图片中缺陷区域的位置和类别。3.根据权利要求2所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述根据真实样本数据集的每一张电饭煲内胆图片生成相应的掩膜二值图，包括：将电饭煲内胆图片初始化一张灰度图，所有像素的灰度值均为0，将缺陷区域的位置内的像素点均设置为255。4.根据权利要求2所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述生成对抗网络，生成对抗网络包括生成器和判别器，生成器为一个12层的UNet网络结构，判别器为六层的卷积神经网络，每个卷积层的大小为3
×
3、步长为2。5.根据权利要求1所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述采用逐渐增加分辨率的方式对生成抗网络进行训练，包括：训练生成对抗网络，将掩膜二值图输入生成器中得到生成图，将生成图输入判别器中获得判别指标；生成器和判别器均先删去部分卷积层，随着训练迭代次数的逐渐增加卷积层数量，直到生成器输出的图像分辨率与真实图像的分辨率一致。6.根据权利要求5所...

【专利技术属性】
技术研发人员：徐浩，李丰润，陆璐，冼允廷，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：