基于引入自动记忆机制对抗自编码器的异常区域检测方法技术

本发明专利技术属于图像处理技术领域，并具体公开了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法。包括：在工业现场图像划分的训练集和测试集中，训练集仅包含OK样本，测试集包含OK和NG样本；设计具备自动记忆机制的对抗自编码器模型；使用训练集训练，测试集评价，得到最优模型；构建训练集样本异常值的统计模型，得出判别OK/NG的判别阈值。将待检测样本输入已训练网络模型，生成器重构得到重构图，获取异常值，若小于判别阈值判定为OK，否则判定为NG，将输入图与重构图输入比较模块得到异常区域位置。本发明专利技术仅使用OK样本作为训练集，能够判别OK/NG，定位异常区域位置，并且NG样本召回率较高，检测速度较快。

Anomaly detection method based on introducing automatic memory mechanism against self encoder

【技术实现步骤摘要】
基于引入自动记忆机制对抗自编码器的异常区域检测方法
本专利技术属于图像处理
，更具体地，涉及一种基于引入自动记忆机制对抗自编码器的异常区域检测方法。
技术介绍
表面异常检测是实现工业生产质量管理的主要方法。近年来，深度学习由于其强大的特征提取能力逐渐成为主流的表面异常检测方法，其通过对大量高质量的已标记数据训练，学习样本数据的内在规律和表示层次，最终实现表面异常检测。现有异常检测方法针对以上问题，有以下三种方法：1)分割决策网络，先分割后检测，融合特征信息与分割信息实现检测，少量样本可实现检测，但要求像素级标签，耗时耗力。2)人为制造异常，将修复异常作为训练目标，不需要采集异常样本，就可以实现检测和分割，但存在认知局限和系统性偏差，容易导致模型偏置。3)仅使用OK样本作为训练集完成模型构建，可检测未知异常，契合工业数据特征，但方法上还存在诸多问题(如实时性、重构过拟合等)亟待解决。现有深度学习方法主要为生成对抗网络和深度自编码器，其主要存在以下问题：1)重构过拟合，深度自编码器为重构网络，将重构误差作异常值，使用合格数据训练，合格数据重构误差小于异常数据。但在实际应用中发现，往往异常数据也能够很好地重构，且重构误差小于正常数据，导致判别出现错误。2)实现实时检测困难，现有用于异常检测任务中的对抗生成网络，在测试时迭代计算，浪费大量的计算资源和时间，不符合产线中实时检测的要求。3)判别方法不适用，现有判别方法有两种，在像素层面比较，噪声较大，导致判别误差较大；在整体特征层面比较，但异常特征往往表现为局部特征，判别容易出现错误。4)阈值的确定依赖于已标记数据，且已标记数据数量越多，质量越好，阈值越准确，但工业数据无法提供相当数量的已标记数据。因此，本领域亟待提出一种仅使用OK样本作为训练集的二分类异常区域检测方法，加快检测速度，一定程度上解决重构过拟合问题，并具有较高的准确率、召回率以及鲁棒性。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，该方法仅使用OK样本作为训练集，能够判别OK/NG并定位异常位置。本专利技术提出的自动记忆对抗自编码器能够实现实时检测并一定程度上解决了重构过拟合问题，具有较高的准确率、召回率以及鲁棒性。为实现上述目的，本专利技术提出了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，包括以下步骤：S1将采集得到的合格的工业图像和不合格的工业图像进行处理后生成图像数据集，定义合格的工业图像为OK样本，不合格的工业图像为NG样本，将OK样本按照一定的比例划分为训练集和测试集，将NG样本放入测试集中，将训练集中的OK样本随机均分为训练集A和训练集B，其中，所述比例的取值范围为2/3～4/5；S2设计网络结构，构建自动记忆对抗自编码器模型，包括含自动记忆机制的生成器模块、权值共享的判别器模块、统计模块以及对比模块；S3将步骤S1中训练集A中的样本输入生成器模块中生成重构图，并将该重构图与训练集B中的样本输入判别器模块，进行图像对比，根据对比结果对自动记忆对抗自编码器模型进行迭代训练，得到参数化模型；S4将所述测试集中的样本输入自动记忆对抗自编码器模型中，对该自动记忆对抗自编码器模型进行性能测试，在一定的训练轮数内，选择最优的参数化模型；S5将训练集样本输入最优的参数化模型中，得到训练集样本异常值的集合，统计模块根据训练集样本异常值的集合建立统计学模型，得出判别OK/NG的判别阈值；S6将采集的待检测样本输入最优的参数化模型中，得到该样本的异常值，若该异常值小于判别阈值，则判定待检测图合格，结束计算，否则，判定待检测图不合格，通过对比模块提取待检测图的异常位置。作为进一步优选的，所述生成器模块包括编码器、记忆模块、解码器；所述判别器模块包括权值共享的马尔可夫判别器和生成对抗判别器；步骤S3具体包括以下步骤：第一步，构建局部特征一致性损失，将训练集A中的样本输入生成器模块中生成重构图，将重构图和训练集B中的样本输入判别器模块，分别得到重构图的局部特征矩阵和样本的局部特征矩阵，并以此构建局部特征一致性损失；第二步，构建重构图真实性损失，将重构图片输入生成对抗判别器，得到判别值，从而得到重构图真实性损失；第三步，构建对抗损失，将样本输入生成对抗判别器，得到判别值，从而得到对抗损失；第四步，构建综合损失，根据局部特征一致性损失、重构图真实性损失以及对抗损失确定最终损失，并以此对自动记忆对抗自编码器模型进行迭代训练，得到参数化模型。作为进一步优选的，所述局部特征一致性损失Lcon为：Lcon＝|f(xb)-f(G(xa)|1。作为进一步优选的，所述重构图真实性损失Lrec为：Lrec＝1-D(G(xa))。作为进一步优选的，所述对抗损失Ladv为：作为进一步优选的，所述最终损失L为：L＝λadvLadv+λconLcon+λrecLrec其中，λadv、λcon、λrec为权重参数。作为进一步优选的，所述生成器模块包括依次连接的编码器、第一残差块、记忆模块、第二残差块以及解码器；其中，编码器由若干下采样层组成，每个下采样层包括一个卷积层、一个BatchNormalization层以及一个ReLU激活层；记忆模块包含一个卷积层，以及三个门结构，遗忘门、输入门和输出门；解码器由若干个上采样层组成，前面的上采样层每层包含一个上采样卷积层、一个BatchNormalization层和以及一个ReLU激活层，最后一层将激活层函数改为Tanh；所述马尔可夫判别器包含若干个下采样层，第一个下采样层由卷积层和LeakyReLU激活层组成，后面的下采样层每层包含一个卷积层、一个BatchNormalization层以及一个LeakyReLU激活层；生成对抗判别器包含若干下采样层，前几层与马尔可夫判别器结构相同并共享参数，最后一层为卷积层；作为进一步优选的，所述统计模块将训练集中所有样本的异常值通过假设检验的方法建模为统计模型，设置置信度为n，估计异常值均值上限，将其作为判别阈值，其中，n的取值范围为90％～99％；所述位置提取模块包括预处理层、分割层和后处理层，其中，预处理层包括双边滤波器去噪单元和局部方差处理单元，分割层所采用的方法为局部自适应阈值分割，后处理层通过区域生长得到最终的异常位置。作为进一步优选的，步骤S5中，提取待检测图的异常位置具体包括以下步骤：首先，对待检测样本进行去噪处理，然后采用局部方差计算方法，获得待检测样本中像素值急剧变化的部分；接着，采用局部阈值法，对待检测样本中像素值急剧变化的部分实现自适应阈值的图像二值化，得到带有连通域的二值化图像；最后，确定各连通域的像素点个数，选出像素点个数瞒住要求的连通域，获得待检测图的异常位置图。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：本文档来自技高网...

【技术保护点】
1.一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，其特征在于，包括以下步骤：/nS1将采集得到的合格工业图像和不合格工业图像进行处理后生成图像数据集，定义合格的工业图像为OK样本，不合格的工业图像为NG样本，将OK样本按照一定的比例划分为训练集和测试集，将NG样本放入测试集中，将训练集中的OK样本随机均分为训练集A和训练集B；/nS2设计网络结构，构建自动记忆对抗自编码器模型，包括含自动记忆机制的生成器模块、权值共享的判别器模块以及统计模块和对比模块；/nS3将步骤S1中训练集A中的样本输入生成器模块中生成重构图，并将该重构图与训练集B中的样本输入判别器模块，进行图像对比，根据对比结果对自动记忆对抗自编码器模型进行迭代训练，得到参数化模型；/nS4将所述测试集中的样本输入自动记忆对抗自编码器模型中，对该自动记忆对抗自编码器模型进行性能测试，并根据性能测试的结果选择最优的参数化模型；/nS5将训练集样本输入最优的参数化模型中，得到训练集样本异常值的集合，统计模块根据训练集样本异常值的集合建立统计学模型，进而得出判别OK/NG的判别阈值；/nS6将采集的待检测样本输入最优的参数化模型中，得到该样本的异常值，若该异常值小于判别阈值，则判定待检测图合格，结束计算，否则，判定待检测图不合格，通过对比模块提取待检测图的异常位置。/n...

【技术特征摘要】
1.一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，其特征在于，包括以下步骤：
S1将采集得到的合格工业图像和不合格工业图像进行处理后生成图像数据集，定义合格的工业图像为OK样本，不合格的工业图像为NG样本，将OK样本按照一定的比例划分为训练集和测试集，将NG样本放入测试集中，将训练集中的OK样本随机均分为训练集A和训练集B；
S2设计网络结构，构建自动记忆对抗自编码器模型，包括含自动记忆机制的生成器模块、权值共享的判别器模块以及统计模块和对比模块；
S3将步骤S1中训练集A中的样本输入生成器模块中生成重构图，并将该重构图与训练集B中的样本输入判别器模块，进行图像对比，根据对比结果对自动记忆对抗自编码器模型进行迭代训练，得到参数化模型；
S4将所述测试集中的样本输入自动记忆对抗自编码器模型中，对该自动记忆对抗自编码器模型进行性能测试，并根据性能测试的结果选择最优的参数化模型；
S5将训练集样本输入最优的参数化模型中，得到训练集样本异常值的集合，统计模块根据训练集样本异常值的集合建立统计学模型，进而得出判别OK/NG的判别阈值；
S6将采集的待检测样本输入最优的参数化模型中，得到该样本的异常值，若该异常值小于判别阈值，则判定待检测图合格，结束计算，否则，判定待检测图不合格，通过对比模块提取待检测图的异常位置。


2.根据权利要求1所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，其特征在于，所述生成器模块包括编码器、记忆模块、解码器；所述判别器模块包括权值共享的马尔可夫判别器和生成对抗判别器；步骤S3具体包括以下步骤：
第一步，构建局部特征一致性损失，将训练集A中的样本xa输入生成器模块中生成重构图G(xa)，将重构图G(xa)和训练集B中的样本xb输入判别器模块，分别得到重构图G(xa)的局部特征矩阵f(G(xa))和样本xb的局部特征矩阵f(xb)，并以此构建局部特征一致性损失Lcon；
第二步，构建重构图真实性损失，将重构图片G(xa)输入生成对抗判别器，得到判别值D(G(xa))，从而得到重构图真实性损失Lrec；
第三步，构建对抗损失，将样本xb输入生成对抗判别器，得到判别值D(xb)，从而得到对抗损失Ladv；
第四步，构建综合损失，根据局部特征一致性损失Lcon、重构图真实性损失Lrec以及对抗损失...

【专利技术属性】
技术研发人员：牛通之，李斌，牛拴龙，邱园红，李言洲，李威风，闫福强，彭亚茹，李贝，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42