一种基于多头不平衡半监督网络的工业图像缺陷检测方法技术

本发明专利技术涉及到工业图像缺陷检测技术领域，具体涉及到一种基于多头不平衡半监督网络的工业图像缺陷检测方法。本发明专利技术提供的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，面向类不平衡半监督缺陷检测中的更高效的端到端架构，使用多分类器头兼顾表征的有效性及分类的平衡与准确性，将类不平衡半监督框架融入目前流行的目标检测框架中，可充分应对工业图像异常检测中正负样本严重失衡、标签数据缺乏等问题，从而提高实际缺陷检测任务的准确率，具有更高的检测精度。具有更高的检测精度。具有更高的检测精度。

【技术实现步骤摘要】
一种基于多头不平衡半监督网络的工业图像缺陷检测方法


[0001]本专利技术涉及到工业图像缺陷检测
，具体涉及到一种基于多头不平衡半监督网络的工业图像缺陷检测方法。

技术介绍

[0002]工业图像缺陷及异常检测一般被看作是图像目标检测与分类任务在工业领域的具体应用。目前已有的基于深度学习的工业图像异常检测算法主要分为监督学习型、无监督学习型以及半监督学习型。
[0003]其中，基于传统监督学习的工业图像缺陷检测要求训练集标签不可或缺，且样本必须均具有完整标签。代表性的工作有：基于Siamese Network的异常检测方法；基于ShuffleNet的异常检测方法；基于Faster R
‑
CNN的异常检测方法；以及基于U
‑
Net的异常检测方法。然而，在工业图像中找出缺陷区域并进行有效标注十分费力，且收集大量的缺陷样本往往不切实际。因此，基于监督学习的异常检测并不能适用于所有的工业图像质检领域。
[0004]基于无监督学习的工业图像缺陷检测主要利用重建损失进行模型训练与异常判断。代表性的工作有：基于Autoencoder的异常检测框架；基于GAN的异常检测方法；以及基于特征学习的异常检测框架。相较于监督学习模式下的异常检测而言，无监督学习省去了训练中对大量标记数据的依赖，减少了人工参与。然而，由于缺少了关键的监督信息，无监督模型的分类准确率以及鲁棒性仍有待提高。
[0005]半监督学习融合了监督学习与无监督学习的特点，在仅有少量标记样本及大量无标记样本的条件下，其训练效果逼近甚至是超越监督学习。代表性的工作有：基于少量标签样本的半监督方法，以及基于弱标签的半监督方法，以及最新的基于人工生成异常的半监督方法。此外，与本专利技术最接近的工作有unbiased teacher方法以及半监督伪标签目标检测方法。然而，以上方法均未充分考虑实际应用中类别不平衡对半监督目标检测准确率造成的严重威胁，仅仅简单的在同一分类头进行重采样或者重加权被证明会影响特征提取效果，从而不可避免地导致异常样本不能被很好地表征，进而影响其检测准确率。
[0006]在类不平衡半监督学习最新研究中，针对简单的在同一分类头进行重采样或者重加权导致的特征提取退化问题，最近，有研究人员引入了一个附加到现有半监督算法的辅助平衡分类器层，以有效地在训练中同时兼顾到高质量特征表示和分类准确率。随后也有提出了一个名为CoSSL的三并行模块协同学习框架用于有效的基于伪标签的类不平衡半监督方法，具有解耦的表示和分类器学习。类似地，有人提出了一个用于类不平衡半监督学习问题的三阶段标签传播和重新分配框架，该框架包含三个阶段，其中特意在第二阶段提出了一个额外的离线标签传播阶段，以获得更为稳定的伪标签。然而，目前针对类不平衡半监督学习的前沿研究通常侧重于训练中的平衡伪标签策略，并没有过多考虑标签传播效率低下的问题。与此同时，在目标(异常)检测领域，类不平衡半监督学习算法的有效融入目前仍处于起步探索阶段。

技术实现思路

[0007]为了解决以上现有技术的不足，本专利技术的目的在于提供一种基于多头不平衡半监督网络的工业图像缺陷检测方法，解决以下问题：
[0008]1.如何将类不平衡半监督学习方法融入目标检测模型中，以充分应对工业图像异常检测中正负样本严重失衡、标签数据缺乏等问题，从而提高缺陷检测的准确率；
[0009]2.如何在类不平衡半监督条件下实现伪标签的可靠传播并对未标记的样本进行合理筛选；
[0010]3.如何在类不平衡情况下获得兼顾表征有效性及分类平衡准确性的目标检测模型，从而有效提高小类别(异常数据)的检测精度。
[0011]本专利技术采用的技术方案如下：一种基于多头不平衡半监督网络的工业图像缺陷检测方法，包括以下步骤：
[0012]S1、创建模型并初始化模型参数；
[0013]S2、构建工业图像的数据集合；
[0014]S3、创建优化目标和优化器；
[0015]S4、采用S1模型处理S2的数据；
[0016]S5、根据S4处理后的数据是否符合需求来判断当前模型是否有所提升；
[0017]S6、根据S5的判断结果，若有提升则结束，若无提升则重复步骤S4、S5，直到前模型有所提升或达到最大的步骤S4的重复次数；
[0018]所述步骤S1的创建模型并初始化模型参数包括监督分支头模型、半监督分支头模型和无监督分支头模型。
[0019]进一步的，所述步骤S4包括以下步骤：
[0020]A1、随机抽取S2的数据；
[0021]A2、将数据预处理后迭入模型中计算损失；
[0022]A3、利用S3的优化器更新模型参数。
[0023]进一步的，所述步骤S6中包括以下步骤：
[0024]B1、判断A3步骤的模型参数是否比当前模型有所提升，若有则在更新并保存模型参数后判断是否达到S4步骤的最大重复次数，若否则直接判断是否达到S4步骤的最大重复次数；
[0025]B2、根据B1步骤判断的是否达到S4步骤的最大重复次数，若是则结束，若否则重复步骤4、步骤5。
[0026]进一步的，所述S2步骤的数据包括有标签数据和无标签数据。
[0027]值得说明的是，对于所述步骤S1的所创建模型并初始化模型参数的监督分支头模型、半监督分支头模型和无监督分支头模型。在创建模型并初始化模型参数时，首先为了兼顾信息丰富的特征提取效果和准确的平衡分类结果，因此，采用了3网络分支头架构，即监督分支头模型、半监督分支头模型和无监督分支头模型。同时为了将类不平衡半监督学习方法有效融入目标检测模型中，本专利技术利用伪标签作为RPN和ROIhead的显式监督，从而缓解RPN和ROIhead中对极少标签样本的过拟合问题。其次，为了尽量不影响Faster
‑
RCNN目标检测的已有结构，并且简化半监督网络架构，仅对ROIhead的分类端进行更改。具体地，在ROIHead的分类层前嫁接了3个网络分支头，分别为监督分支头模型、半监督分支头模型以
及无监督分支头模型。三个分支头模型说明如下：
[0028]对于监督分支头模型，为了有效利用置信度高的伪标签数据进行监督训练，并尽量减轻错误标签对模型稳定训练带来的威胁，此处专利技术提出了采用广义PageRank(GPR)来捕获样本特征之间的相关性，从而进行可靠的伪标签。此外，监督损失函数采用了具有重加权策略的交叉熵损失函数，记为loss
sup
。
[0029]本专利技术构建了一个批次(batch size＝4,RTX3090 GPU)内候选目标的动态小图，以完全适应原始mini
‑
batch SGD的训练过程，并没有显著增加模型的运行时间。首先，通过共享特征提取器g(
·
)后获得了候选感兴趣bounding box对应图像的深度特征，将其记为box对应图像的深度特征，将其记为d
m
是提取的特征维度，B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多头不平衡半监督网络的工业图像缺陷检测方法，其特征在于，包括以下步骤：S1、创建模型并初始化模型参数；S2、构建工业图像的数据集合；S3、创建优化目标和优化器；S4、采用S1模型处理S2的数据；S5、根据S4处理后的数据是否符合需求来判断当前模型是否有所提升；S6、根据S5的判断结果，若有提升则结束，若无提升则重复步骤S4、S5，直到前模型有所提升或达到最大的步骤S4的重复次数；所述步骤S1的创建模型并初始化模型参数包括监督分支头模型、半监督分支头模型和无监督分支头模型。2.根据权利要求1所述的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，其特征在于：所述步骤S4包括以下步骤：A1、随机...

【专利技术属性】
技术研发人员：韩晓晨，
申请(专利权)人：奇智科技北京有限公司，
类型：发明
国别省市：