工业产品表面缺陷检测与定位方法、系统及设备技术方案

本发明专利技术公开了一种工业产品表面缺陷检测与定位方法、系统及设备，首先预处理待检测产品的原始外观图像为预设大小；然后使用语义分割网络实现对产品表面缺陷进行像素级定位；最后将原始外观图像以及语义分割网络的输出作为分类决策网络的输入，进行产品表面缺陷检测与定位；本发明专利技术通过利用一种基于两阶段架构的深度卷积网络的有效方法来解决数据样本需求问题，新的语义分割网络和分类决策网络的提出，适合从少量缺陷样本中学习，但仍然可以得到最优性能。到最优性能。到最优性能。

【技术实现步骤摘要】
工业产品表面缺陷检测与定位方法、系统及设备


[0001]本专利技术属于人工智能、深度学习及图像处理
，涉及一种工业产品表面缺陷检测与定位方法、系统及设备，特别是涉及一种基于分类决策和语义分割的工业产品表面缺陷检测与定位方法、系统及设备。

技术介绍

[0002]基于视觉的工业品表面缺陷检测旨在发现生产的各种工业产品的外观瑕疵，是保障工业产品生产质量、维持生产稳定的重要技术。以往的缺陷检测需要人工筛查，这种方式成本高、效率低，难以覆盖大规模的质检需求。近年来，随着工业成像、计算机视觉和深度学习等领域的新技术层出不穷，基于视觉的工业缺陷检测技术得到了长足的发展，成为了针对产品外观质检的一种有效的解决方案，引发了学术界和工业界的强烈关注。工业缺陷检测不仅可以用来检测各种工业制品，而且具有优秀的检测精度与效率，还能提供简便、安全的操作环境。因此，工业缺陷检测已成为智能制造领域重要的基础研究与技术之一，并被广泛应用于无人质检、智能巡检、生产控制和质量溯源等各种生产与运维场景中。
[0003]表面缺陷检测是一个定位图像中异常区域的问题，如划痕和污点。但在实际应用中，缺少产品表面缺陷样本，且产品表面缺陷的种类多，导致人工标注成本高昂，使得通过传统的深度学习的方法无法满足正常的生产需求。经典的机器视觉方法已经不能满足工业4.0的技术要求，基于深度学习的方法显示出高的灵活性与准确性，传统的手工标准特征提取+SVM/KNN的视觉检测方法不如深度学习相关方法有效。因此，使用最先进的深度学习方法来解决工业产品表面缺陷检测的问题，只需使用少量的训练样本就可以快速适应新类型的产品和表面缺陷检测。
[0004]部分引入深度学习的方法中，将手工设计的特征与支持向量机相结合，来对缺陷类型的图像进行分类，但是这些方法仅限于浅层网络。基于OverFeat网络的方法，利用支持向量机在深度特征的基础上学习分类器，这种方法预训练的特征由于LBP特征，但是这种方法没有在目标域上学习网络，没有充分使用深度学习的潜力。引入ReLU和批量归一化来执行缺陷的分割，并提出一个额外的分类决策网络，对缺陷的存在进行图像的分类，可以提高工业品表面缺陷数据的分类精度。最近，提出的LEDNet架构，用来检测LED芯片上图像上的缺陷，他们所提出网络遵循AlexNet架构，去掉了全连接层，采用类激活图(CAM)，直接使用每个图像的标签进行学习，来对缺陷进行定位，但是这种方法需要大量的训练样本。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提出了一种基于分类决策和语义分割的工业产品表面缺陷检测与定位方法、系统及设备。
[0006]本专利技术的方法所采用的技术方案是：一种工业产品表面缺陷检测与定位方法，包括以下步骤：
[0007]步骤1：对待检测产品的原始外观图像进行预处理，将其切割或填充为预设大小；
[0008]步骤2：使用语义分割网络实现对产品表面缺陷进行像素级定位；
[0009]所述语义分割网络，由5个卷积块组成，前4个卷积块分别由1、2、3、4个由Conv层、BatchNorm层和ReLU层组成的级联卷积层和1个下采样层MaxPooling组成，卷积核大小均为3
×
3，输出通道数分别为16、64、256、1024，池化步长为2；最后一个卷积块由1个卷积层组成，其卷积核大小为1
×
1，输出通道数为1，并通过双线性插值算法上采样到原始输入图像大小；
[0010]步骤3：将步骤1中的原始外观图像以及步骤2中语义分割网络的输出作为分类决策网络的输入，进行产品表面缺陷检测与定位；
[0011]所述分类决策网络，包括3个卷积块、全局最大池化层、全局平均池化层、级联层和线性权重结合层；每个卷积块由1个下采样层和1个卷积层组成，池化步长为2，卷积核大小均为3
×
3，输出通道数分别为16、32、64；将分类决策网络和语义分割网络的输出，即64通道特征图及单通道分割图，分别进行全局最大池化和全局平均池化，再将这4个池化输出级联得到130维特征向量，并与线性权重结合生成最终输出；输出是[0,1]范围内的概率得分，表示异常出现在图像中的概率。
[0012]本专利技术的系统所采用的技术方案是：一种工业产品表面缺陷检测与定位系统，包括以下模块：
[0013]模块1，对待检测产品的原始外观图像进行预处理，将其切割或填充为预设大小；
[0014]模块2，用于使用语义分割网络实现对产品表面缺陷进行像素级定位；
[0015]所述语义分割网络，由5个卷积块组成，前4个卷积块分别由1、2、3、4个由Conv层、BatchNorm层和ReLU层组成的级联卷积层和1个下采样层MaxPooling组成，卷积核大小均为3
×
3，输出通道数分别为16、64、256、1024，池化步长为2；最后一个卷积块由1个卷积层组成，其卷积核大小为1
×
1，输出通道数为1，并通过双线性插值算法上采样到原始输入图像大小；
[0016]模块3，用于将模块1中的原始外观图像以及模块2中语义分割网络的输出作为分类决策网络的输入，进行产品表面缺陷检测与定位；
[0017]所述分类决策网络，包括3个卷积块、全局最大池化层、全局平均池化层、级联层和线性权重结合层；每个卷积块由1个下采样层和1个卷积层组成，池化步长为2，卷积核大小均为3
×
3，输出通道数分别为16、32、64；将分类决策网络和语义分割网络的输出，即64通道特征图及单通道分割图，分别进行全局最大池化和全局平均池化，再将这4个池化输出级联得到130维特征向量，并与线性权重结合生成最终输出；输出是[0,1]范围内的概率得分，表示异常出现在图像中的概率。
[0018]本专利技术的设备所采用的技术方案是：一种工业产品表面缺陷检测与定位设备，包括：
[0019]一个或多个处理器；
[0020]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的工业产品表面缺陷检测与定位方法。
[0021]本专利技术与现有方法相比，具有以下优点：
[0022]①
使用少量样本即可训练。本专利技术提出的网络结构分为两个阶段，第一阶段实现
语义分割，对产品表面缺陷进行像素级分类，并用像素级损失函数来训练该网络，可以有效地将每个像素作为一个单独的训练样本，从而增加训练样本数量，防止过拟合；第二阶段实现二元图像分类，包括一个建立在语义分割网络之上的分类决策网络，并共享使用语义分割网络的输出及其特征，可以克服深度学习中样本数量少的问题。
[0023]②
计算成本低。本专利技术提出的网络模型比DeepLab等网络的速度更快、精度更高，但本专利技术所提出的模型只有15.7百万参数，而原始U
‑
Net和DeepLabV3分别有31.1百万和41.1百万参数，是本专利技术提出网络模型参数量的两倍以上。
...

【技术保护点】

【技术特征摘要】
1.一种工业产品表面缺陷检测与定位方法，其特征在于，包括以下步骤：步骤1：对待检测产品的原始外观图像进行预处理，将其切割或填充为预设大小；步骤2：使用语义分割网络实现对产品表面缺陷进行像素级定位；所述语义分割网络，由5个卷积块组成，前4个卷积块分别由1、2、3、4个由Conv层、BatchNorm层和ReLU层组成的级联卷积层和1个下采样层MaxPooling组成，卷积核大小均为3
×
3，输出通道数分别为16、64、256、1024，池化步长为2；最后一个卷积块由1个卷积层组成，其卷积核大小为1
×
1，输出通道数为1，并通过双线性插值算法上采样到原始输入图像大小；步骤3：将步骤1中的原始外观图像以及步骤2中语义分割网络的输出作为分类决策网络的输入，进行产品表面缺陷检测与定位；所述分类决策网络，包括3个卷积块、全局最大池化层、全局平均池化层、级联层和线性权重结合层；每个卷积块由1个下采样层和1个卷积层组成，池化步长为2，卷积核大小均为3
×
3，输出通道数分别为16、32、64；将分类决策网络和语义分割网络的输出，即64通道特征图及单通道分割图，分别进行全局最大池化和全局平均池化，再将这4个池化输出级联得到130维特征向量，并与线性权重结合生成最终输出；输出是[0,1]范围内的概率得分，表示异常出现在图像中的概率。2.根据权利要求1所述的工业产品表面缺陷检测与定位方法，其特征在于：步骤1中，输入图像如果分辨率大于预设大小，则将其切割为预设大小的图像块；如果输入图像分辨率小于预设大小，则采用镜像填充图像块边界，将其填充为预设大小的图像。3.根据权利要求1所述的工业产品表面缺陷检测与定位方法，其特征在于：步骤2中所述语义分割网络，是训练好的语义分割网络；其训练过程采用DiceTopK组合损失函数，其损失函数为：其中，N为样本总数，C为样本类别，y
i
为第i个数据的真实值，为语义分割网络输出的第i个数据的预测值；分别表示DiceTopK组合损失函数、Dice损失函数、TopK损失函数。4.根据权利要求1所述的工业产品表面缺陷检测与定位方法，其特征在于：步骤2中所述语义分割网络，是训练好的语义分割网络；其训练过程采用使用带有交叉熵损失的二元分类方法，其损失函数为：其中，N为样本总数，y
i
为第i个数据的真实值，为语义分割网络输出的第i个数据的预测值。
5...

【专利技术属性】
技术研发人员：熊炜，田紫欣，陈奕博，强观臣，郑大定，汪锋，邹勤，王松，李利荣，宋海娜，李婕，涂静敏，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：