一种基于半监督学习的主板表面缺陷检测方法技术

本发明专利技术公开了一种基于半监督学习的主板表面缺陷检测方法，属于主板表面缺陷检测技术领域。所述方法利用YOLOX目标检测网络对待检测主板的CPU风扇接线进行缺陷检测，并对螺丝进行定位，再使用改进的GANomaly异常检测网络对定位后的螺丝进行二次检测，获得螺丝的最终检测结果；本申请构建了一个从粗到细的级联检测网络，在GANormaly异常检测网络中嵌入SSPCAB模块，从而提出改进的GANomaly异常检测模型，加强了特征提取能力，提高了模型检测准确性。而且本申请基于无监督的异常检测方法，减少对缺陷样本的依赖和提高检测精度。减少对缺陷样本的依赖和提高检测精度。减少对缺陷样本的依赖和提高检测精度。

【技术实现步骤摘要】
一种基于半监督学习的主板表面缺陷检测方法


[0001]本专利技术涉及一种基于半监督学习的主板表面缺陷检测方法，属于主板表面缺陷检测


技术介绍

[0002]随着我国计算机制造业的蓬勃发展，高标准、高质量产品的需求也逐渐旺盛。电脑主板是计算机制造业生产的重要产品，在生产的过程中，不可避免的会产生缺陷，这些缺陷会对主板的质量和性能造成不利的影响。为了提高产品的合格率，生产商往往会设置一个质检的环节。但传统的人工质检容易出错，每年需要持续投入大量的人力物力成本；而且人工质检采用纸质版质检报告的形式也存在着异常追溯困难，历史数据查询效率低，无法进行有效产品质量追踪改善；另外人工质检对质检完毕后的异常情况汇总等工作也无法高效完成；人工质检还存在管理上的风险，漏检、未检和质检人员人身安全都是作业过程中存在的问题。
[0003]与人工质检相比，基于深度学习的表面缺陷检测能够达到产品质检的要求，并能有效避免人工质检的弊病，但现有基于深度学习的表面缺陷检测技术同样也存在问题。比如，针对电脑主板生产主板过程中存在的固定主板的螺丝缺失、松动、型号不一致，CPU风扇接线未插到位、插歪、插错、插反和漏插等缺陷问题，现有检测技术在进行主板缺陷检测时，需要考虑光照不均匀和强反光、背景复杂、受检目标小、样本分布不均匀、缺陷样本少等问题，而且由于缺陷固件和正常固件特征十分接近，现有技术检测时对此误检率较高。
[0004]对于这些问题，已有学者提出一些检测方法，如目前主流的一些目标检测算法。但是这些方法对数据量有严重的依赖性，需要大量的缺陷样本，而在实际生产中，由于缺陷样本出现的概率较低，且缺陷种类多种多样，导致在实际应用检测方法时，难以收集到大量的所有种类的缺陷样本。因此直接将主流的基于有监督学习的缺陷检测算法应用于主板缺陷检测，并不能很好地解决主板缺陷检测的难点问题，检测效果无法满足企业实际需求。还有一些研究利用目标检测算法和分类检测算法相结合，即先通过目标检测算法定位到目标位置，再通过分类检测算法对目标进行分类，但该方法所用到的分类检测算法依然存在需要大量缺陷样本的问题，而且由于缺陷固件和正常固件特征十分接近导致分类不佳。
[0005]综上，在实际应用时，当前基于深度学习的主板表面缺陷检测方法可能还存在着以下一些问题：(1)检测模型的训练过程中通常需要大量的缺陷(异常)图像样本。在实际生产中，由于缺陷样本出现的概率较低，且缺陷种类多种多样，传统的基于有监督学习的缺陷检测方法实际应用困难。(2)基于区域的对象检测方法在目标检测领域已经取得了突破性的成果，但是直接应用于缺陷检测并不能很好地解决主板缺陷检测的所有难点问题，检测效果无法满足企业实际需求。(3)主板螺丝属于小目标检测，原始图像易受到背景、光照干扰等因素的影响，直接使用传统的目标检测方法效果不佳。

技术实现思路

[0006]为了解决目前主板缺陷检测方法存在的需要大量缺陷样本与实际应用中缺少缺陷样本的矛盾导致的检测结果不佳的问题，本专利技术提供了一种基于半监督学习的主板表面缺陷检测方法，通过对GANomaly模型进行改进，并将改进后的GANomaly模型与YOLOX模型相结合，构建了一个从粗到细的级联检测网络，首先利用YOLOX目标检测算法对待检测主板的固件进行定位和检测，再使用改进的GANomaly异常检测网络对定位后的主板螺丝进行二次检测，提高缺陷检测精度。
[0007]一种基于半监督学习的主板表面缺陷检测方法，所述方法针对主板生产过程中存在的螺丝和CPU风扇接线存在的缺陷，利用YOLOX目标检测网络对待检测主板的CPU风扇接线进行缺陷检测，并对螺丝进行定位，再使用改进的GANomaly异常检测网络对定位后的螺丝进行二次检测，获得螺丝的最终检测结果；
[0008]其中，所述改进的GANomaly异常检测网络包含自编码器G、编码器E和判别网络D三个子网络，所述自编码器G包括编码器G
E
和解码器G
D
，其中，在编码器G
E
中增加三个SSPCAB模块，用于通过学习利用上下文信息去预测或重建被屏蔽的信息以获得高精度的重建结果。
[0009]可选的，所述方法包括：
[0010]获取主板图像，将所述主板图像输入YOLOX目标检测检测网络得到CPU风扇接线检测结果，同时输出螺丝位置信息；
[0011]根据YOLOX目标检测检测网络输出的螺丝位置信息对所述主板图像进行剪切并调整尺寸，记为其中h为图像的高，w为图像的宽，c为通道维数；
[0012]将剪切并调整尺寸后得到的图像输入所述改进的GANomaly异常检测网络，通过所述编码器G
E
将x映射到一个低维向量d表示通道维数，即z＝G
E
(x)；通过所述解码器G
D
从低维向量恢复数据得到重建图像即通过所述编码器E将重建图像再映射到一个低维向量即以考虑原始图像和重建图像在潜在特征空间上的距离在异常评判中的作用；利用SSPCAB模块预测或重建被屏蔽的信息以获得高精度的重建结果；通过所述判别网络D预测给定输入的类标签，对原始图像x和重建图像进行分类，将原始图像x判别为真，重建图像判别为假，通过使用对抗训练提高图像重建质量；最终得到螺丝检测结果。
[0013]可选的，所述改进的GANomaly异常检测网络中SSPCAB模块由masked convolution层和通道注意力机制两部分组成；
[0014]所述masked convolution层对特征图感受野部分像素点不做卷积操作，只需要选取感受野中四个角落位置的像素点进行卷积操作后再求和，经过ReLU激活函数后得到一个值用来代表该感受野的特征表示；所述通道注意力机制使用SENet通道注意力模块以确保SSPCAB模块的输入和输出之间进行非线性处理，同时对通道维度的特征进行自适应校准。
[0015]可选的，所述SSPCAB模块中，设为masked convolutional层的输入特征图；对输入X周围增加k
′
+d个像素的零填充，设置stride为1，输出通道数为c；当对输入的某个感受野使用masked convolutional kernel执行卷积操作时，只考虑该感受野中四个角落的子卷积核的所在位置的输入值，忽略其他信息，每个K
i
与相应位置的输入之间执行
卷积运算，再对这四个结果求和得到单个数值，再经过ReLU激活函数后作为卷积运算后中心像素点M的值，最终得到masked convolutional层的输出convolutional层的输出表示该卷积核的四个角落的子卷积核，其中表示定义子卷积核的大小的超参数，c为输入通道数；表示中心像素点，d表示子卷积核的边缘到中心像素点M的距离，感受野的边长为k＝2k
′
+2d+1，k
′
和d为超参数；
[0016]则通道注意力机制输入即为在每个通道维度上执行全局平均池化得到特征向量随后经过两次全连接层；首本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督学习的主板表面缺陷检测方法，其特征在于，所述方法针对主板生产过程中存在的螺丝和CPU风扇接线存在的缺陷，利用YOLOX目标检测网络对待检测主板的CPU风扇接线进行缺陷检测，并对螺丝进行定位，再使用改进的GANomaly异常检测网络对定位后的螺丝进行二次检测，获得螺丝的最终检测结果；其中，所述改进的GANomaly异常检测网络包含自编码器G、编码器E和判别网络D三个子网络，所述自编码器G包括编码器G
E
和解码器G
D
，其中，在编码器G
E
中增加三个SSPCAB模块，用于通过学习利用上下文信息去预测或重建被屏蔽的信息以获得高精度的重建结果。2.根据权利要求1所述的方法，其特征在于，所述方法包括：获取主板图像，将所述主板图像输入YOLOX目标检测检测网络得到CPU风扇接线检测结果，同时输出螺丝位置信息；根据YOLOX目标检测检测网络输出的螺丝位置信息对所述主板图像进行剪切并调整尺寸，记为其中h为图像的高，w为图像的宽，c为通道维数；将剪切并调整尺寸后得到的图像输入所述改进的GANomaly异常检测网络，通过所述编码器G
E
将x映射到一个低维向量d表示通道维数，即z＝G
E
(x)；通过所述解码器G
D
从低维向量恢复数据得到重建图像即通过所述编码器E将重建图像再映射到一个低维向量即以考虑原始图像和重建图像在潜在特征空间上的距离在异常评判中的作用；利用SSPCAB模块预测或重建被屏蔽的信息以获得高精度的重建结果；通过所述判别网络D预测给定输入的类标签，对原始图像x和重建图像进行分类，将原始图像x判别为真，重建图像判别为假，通过使用对抗训练提高图像重建质量；最终得到螺丝检测结果。3.根据权利要求2所述的方法，其特征在于，所述改进的GANomaly异常检测网络中SSPCAB模块由masked convolution层和通道注意力机制两部分组成；所述masked convolution层对特征图感受野部分像素点不做卷积操作，只需要选取感受野中四个角落位置的像素点进行卷积操作后再求和，经过ReLU激活函数后得到一个值用来代表该感受野的特征表示；所述通道注意力机制使用SENet通道注意力模块以确保SSPCAB模块的输入和输出之间进行非线性处理，同时对通道维度的特征进行自适应校准。4.根据权利要求3所述的方法，其特征在于，所述SSPCAB模块中，设为masked convolutional层的输入特征图；对输入X周围增加k
′
+d个像素的零填充，设置stride为1，输出通道数为c；当对输入的某个感受野使用masked convolutional kernel执行卷积操作时，只考虑该感受野中四个角落的子卷积核的所在位置的输入值，忽略其他信息，每个K
i
与相应位置的输入之间执行卷积运算，再对这四个结果求和得到单个数值，再经过ReLU激活函数后作为卷积运算后中心像素点M的值，最终得到masked convolutional层的输出表示该卷积核的四个角落的子卷积核，其中表示定义子卷积核的大小的超参数，c为输入通道数；表示中心像素点，d表示子卷积核的边缘到中心像素点M的距离，感受野的边长为k＝2k
′
+2d+1，k
′
和d为超参数；则通道注意力机制输入即为在每个通道维度上执行全局平均池化得到特
征向量随后经过两次全连接层；首先通过第一个全连接层将通道维数降到再经过ReLU函数激活后进入第...

【专利技术属性】
技术研发人员：李岳阳，鄢宁，罗海驰，
申请(专利权)人：江南大学，
类型：发明
国别省市：