少样本工业图像缺陷检测模型构建方法、系统及装置制造方法及图纸

本发明专利技术公开了少样本工业图像缺陷检测模型构建方法、系统及装置，包括：将工业图像数据集划分为训练集和测试集；对训练集和测试集进行预处理，增强图像对比度；对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；将训练样本数据输入分割网络进行训练，完成检测模型的第一步构建；将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，完成检测模型的第三步构建；根据测试集不同缺陷类型的工业图像的有无缺陷分类结果对检测模型进行评价。本发明专利技术可以提高缺陷图像的检测精度和速度，并对构建模型评价。对构建模型评价。对构建模型评价。

Method, system and device for constructing defect detection model of small sample industrial image

【技术实现步骤摘要】
少样本工业图像缺陷检测模型构建方法、系统及装置


[0001]本专利技术涉及少样本工业图像缺陷检测模型构建领域，尤其是涉及一种少样本工业图像缺陷检测模型构建方法、系统及装置。

技术介绍

[0002]目前工业图像缺陷检测的方法可分为两大类：基于传统机器视觉的方法和基于深度学习的方法。
[0003]传统机器视觉的方法主要是理由利用阈值分割、形态学处理、小波变换、边缘检测等算法来实现缺陷检测。在深度学习中主要使用卷积神经网络来对图像进行特征提取，例如利用分类网络、分割网络、目标检测网络等实现缺陷检测，常用的模型有：ResNet、YOLO、U
‑
Net等。
[0004]基于传统机器视觉的方法需要繁多的预处理步骤，且预处理的方法有着较强的针对性，其中大量参数需要人为设定，仅在单一检测场景下有着较好的性能表现。因此基于传统机器视觉的方法鲁棒性较差，同种检测方法难以应用在多种检测场景。而基于深度学习的方法依靠卷积神经网络优秀的特征提取能力，能够显著提高检测的精度，但此方法需要大量的图像数据去训练网络，并且为数据制作标签也要耗费大量的人力和时间。在实际工业生产中，通常可以获取大量的无缺陷图像，而有缺陷图像获取成本较高。另一方面，工业应用领域对算法的实时性和精度都有着极高的要求，主流的网络模型为了实现高精度都使用了较深的网络，这将造成较大的计算开销，难以实现实时检测。

技术实现思路

[0005]本专利技术的目的在于提供一种少样本工业图像缺陷检测模型构建方法、系统及装置，旨在解决少样本工业图像缺陷检测模型构建。
[0006]本专利技术提供一种基于图像分割的少样本工业图像缺陷检测模型构建方法，包括：
[0007]S1、获取工业图像数据集，将工业图像数据集划分为训练集和测试集；
[0008]S2、对训练集和测试集进行预处理，增强图像对比度；
[0009]S3、对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；
[0010]S4、将训练样本数据输入分割网络进行训练，训练完成得到掩膜图，完成检测模型的第一步构建；
[0011]S5、将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；
[0012]S6、将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，训练完成得到训练集工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建；
[0013]S7、将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果，根据相关评价指标对检测模型进行评价。
[0014]本专利技术还提供一种基于图像分割的少样本工业图像缺陷检测模型构建系统，包
括：
[0015]划分模块：用于获取工业图像数据集，将工业图像数据集划分为训练集和测试集；
[0016]预处理模块：用于对训练集和测试集进行预处理，增强图像对比度；
[0017]训练样本数据模块：用于对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；
[0018]分割网络模块：用于将训练样本数据输入分割网络进行训练，训练完成得到掩膜图，完成检测模型的第一步构建；
[0019]校正模块：用于将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；
[0020]决策网络模块：用于将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，训练完成得到训练集工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建；
[0021]评价模块：用于将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果，根据相关评价指标对检测模型进行评价。
[0022]本专利技术实施例还提供一种少样本工业图像缺陷检测模型构建方法，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。
[0023]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述方法的步骤。
[0024]采用本专利技术实施例，可以在使用少量缺陷样本训练的情况下，显著提高缺陷图像的检测精度和速度，并能在多种检测场景上使用，还可以对构建模型进行评价。
[0025]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0026]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的流程图；
[0028]图2是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的模型流程图；
[0029]图3是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的分割网络示意图；
[0030]图4是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的注意力模块示意图；
[0031]图5是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的决策网络模块示意图；
[0032]图6是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建系统的示意图；
[0033]图7是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建装置的示意图。
[0034]附图标记说明：
[0035]610：划分模块；620：预处理模块；630：训练样本数据模块；640：分割网络模块；650：校正模块；660：决策网络模块；670：评价模块。
具体实施方式
[0036]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]方法实施例
[0038]根据本专利技术实施例，提供了一种基于图像分割的少样本工业图像缺陷检测模型构建方法，图1是本专利技术实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的流程图，如图1所示，具体包括：
[0039]S1、获取工业图像数据集，将工业图像数据集划分为训练集和测试集；
[0040]S2、对训练集和测试集进行预处理，增强图像对比度；
[0041]S2具体包括：
[0042]S21本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割的少样本工业图像缺陷检测模型构建方法，其特征在于，包括：S1、获取工业图像数据集，将工业图像数据集划分为训练集和测试集；S2、对训练集和测试集进行预处理，增强图像对比度；S3、对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；S4、将训练样本数据输入分割网络进行训练，训练完成得到掩膜图，完成检测模型的第一步构建；S5、将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；S6、将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，训练完成得到训练集不同缺陷类型工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建；S7、将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果，根据相关评价指标对检测模型进行评价。2.根据权利要求1所述的方法，其特征在于，所述S2具体包括：S21、计算所述训练集和测试集的灰度直方图；S22、对所述灰度直方图做归一化处理；S23、对所述归一化后的直方图计算最小值像素点和最大值像素点；S24、对所述最小值像素点和最大值像素点逐步进行右移和左移，计算直方图两侧的概率密度之和；S25、所述概率密度之和超过给定的阈值后，记录最小像素点索引和最大像素点索引；S26、对训练集和测试集做灰度拉伸，其计算公式为：output＝(input
‑
min_index)*255/(max_index
‑
min_index)其中input为输入的图像，min_index为所述的最小像素点索引，max_index为所述的最大像素点索引，output为输出图像；S27、对所述输出图像进行逐像素遍历，若像素值大于255，则把该点像素值修改为255，若像素值小于0，则把该点像素值修改为0。3.根据权利要求2所述的方法，其特征在于，所述S4具体包括：将训练样本数据输入分割网络进行训练，其中，分割网络通过PyTorch深度学习框架搭建，所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成；所述编码器由三层构成，第一层的结构为两组3*3卷积+批归一化+ReLU激活进行串联构成的卷积块，后两层的结构为两组空洞卷积+批归一化+ReLU激活进行串联构成的空洞卷积块；编码器的相邻两层中接有一个最大池化下采样层；所述解码器由三层构成，前两层均为两组3*3卷积+批归一化+ReLU激活进行串联，最后一层为两组3*3卷积+批归一化+Sigmoid激活进行串联，相邻解码器中接有一个上采样层；所述注意力块的计算公式为：Y(X)＝X*(Sigmoid(Conv2(ReLU(Conv1(X)))))其中X为编码器第一层或第二层的输出特征图作全局平均池化后的结果，其大小为C*1*1，C为通道数目；Conv1表示通过1*1卷积将特征图通道数变为C/r，Conv2表示通过1*1卷积将特征图通道数还原为C；ReLU和Sigmoid分别为Conv1和Conv2操作后的激活函数；训练完成得到掩膜图，完成检测模型的第一步构建。
4.根据权利要求3所述的方法，其特征在于，所述S5具体包括：S51：对掩膜图进行二值化处理；S52：对所述二值化后的掩膜图做膨胀处理；S53：对所述膨胀后的掩膜图计算轮廓，并计算各个轮廓的面积；S54：比较轮廓面积得到面积最大的轮廓，计算面积最大轮廓的最小外接矩形，记录最小外接矩形坐标信息；S55：根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值，确定缺陷类型，根据缺陷类型在训练集原图上提取缺陷区域。5.根据权利要求4所述的方法，其特征在于，所述S6具体包括：将所述分割网络输出结果与所述缺陷区域进行拼接，得到一个双通道的特征图，使用PyTorch深度学习框架搭建决策网络，所述决策网络包括：四组3*3深度可分类卷积、Sigmoid激活层和全局平均池化层，每组深度可分离卷积后接有一个最大池化下采样层，根据所述双通道特征图训练决策网络，训练完成得到工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建。6.根据权利要求5所述的方法，其特征在于，所述S7具体包括：S71、将预处理后的测试集输入分割网络得到测试掩膜图；S72、将测试掩膜图进行校正得到测试工业图像缺陷区域；S73、将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接，得到一个测试双通道的特征图，将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率，根据缺陷概率判断测试集工业图像是否缺陷；S74、获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量，计算准确率指标；S75、获取所述决策网络在测试集上被正确分类为有缺陷的图像数量与测试集中被分类为缺陷图像的总数量，计算查准率指标；S76、获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量，计算召回率评价指标；S77、获取所述查准率与召回率评价指标，计算检测模型的调和平均评价指标。7.一种基于图像分割的少样本工业图像缺陷检测模型构建系统，其特征在于，包括：划分模块：用于获取工业图像数据集，将工业图像数据集划分为训练集和测试集...

【专利技术属性】
技术研发人员：彭凌西，谢翔，彭绍湖，林煜桐，林焕然，
申请(专利权)人：广州大学，
类型：发明
国别省市：