【技术实现步骤摘要】
本专利技术涉及工业图像异常检测，具体为基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法。
技术介绍
1、工业图像的表面缺陷/异常检测是指识别图像中的异质或意想不到的模式，是正常和异常的分类任务。然而，收集全面的异常图像并用有监督方法来进行表面缺陷检测极具挑战性，因为充足的异常样本难以获取，并且实际应用中的异常模式也是无限的。因此，只使用正常样本进行缺陷检测模型训练的一类学习的设置，即半监督范式，更具有实用价值。
2、最近，很多研究提出一些方法来检测新的输入图像是否与训练数据的分布相匹配。为了描述正常模式的分布，基于重建的模型试图训练一个只会重建正常特征的模型，并期望与图像中异常区域相对应的特征具有更大的重建误差，然而深度学习重建能力和泛化能力之间的矛盾不能很好地保证这一期望；基于特征表示的模型试图使用基于imagenet预训练的编码器对正常特征进行特征嵌入和统计建模，尽管此类模型的异常检测精度一般较高，但劣势也很明显：(1)在源域数据集上预训练的编码器不能保证提取的目标域数据集中的正常和异常的特征具有区分性；(2)为了保证细粒度的异常检测，此类模型的特征表示大多都基于patch级别，因此无法使用位置信息和邻域信息建模patch之间的复杂逻辑关系；(3)基于特征表示的模型的检测速度难以满足工业场景的实时性需求。最重要的是，大多数现有的半监督模型仅对局部结构异常具有良好的检测性能，而对逻辑异常的检测性能较差，部分原因在于逻辑异常的检测要求模型在一个大的感受野内对图像中各个patch之间的长距离依赖充分建模，这对
技术实现思路
1、本专利技术的目的在于提供基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，包括生成式预训练网络和异常分割网络，其特征在于；
4、所述生成式预训练网络和异常分割网络共同完成半监督工业图像的表面缺陷检测；
5、所述生成式预训练网络用于完成工业图像去噪的自监督任务，以完成特征编码器的预训练；
6、所述异常分割网络用于完成工业图像异常分割的自监督任务，以完成一类分类解码器的训练；
7、半监督工业图像异常检测方法具体包括以下步骤：
8、s1、生成式预训练网络：该网络基于具体的图像表面缺陷检测数据集，并结合掩模自编码器完成对特征编码器的预训练；
9、s2、异常模拟策略：异常模拟策略从结构和逻辑两个角度进行异常模拟，模型将正常样本与广泛的模拟异常样本进行对比，以建立模型对正常模式的紧凑描述；
10、s3、优化目标：全卷积网络将生成式预训练网络作为生成器，然后引入全卷积的马尔可夫判别器构成生成对抗网络，使用对抗损失和l1损失完成生成对抗网络的优化，以生成更高质量的图片，此外，在生成器的瓶颈结构处使用基于l2距离的辅助损失以优化编码器对深层特征的提取，针对异常分割网络，全卷积网络同时使用预测值和真实值之间的l1损失ll1和焦点损失lf来优化模型参数。
11、作为本专利技术的一种优选方案：所述s1的生成式预训练网络具体包括以下步骤：
12、s1.1、全卷积网络将输入的图像大小固定在256×256；
13、s1.2、基于网络结构将图像均匀划分为s×s的patch，并随机选取p％的patch进行掩模操作；
14、s1.3、将掩模后的图像输入到预训练网络中，通过去掩模操作完成图像重建任务。
15、作为本专利技术的一种优选方案：所述s1.3中预训练网络需要在小领域内学习正常图像中各元素间的相对位置关系，所述s1.2的网格掩模的基础上还需要叠加随机位置和更大尺度的大掩模。
16、作为本专利技术的一种优选方案：所述s2的异常模拟策略具体包括以下步骤：
17、s2.1、全卷积网络将二值化后的柏林噪声和目标前景相乘得到掩模图像m，掩模图像在噪声源图像in中提取异常前景图像；
18、s2.2、对异常前景图像进行传统的数据增强操作；
19、s2.3、全卷积网络将异常前景图像叠加到正常图像i上生成模拟异常图像ia，叠加公式为
20、作为本专利技术的一种优选方案：所述全卷积网络的异常模拟策略分为结构异常模拟和逻辑异常模拟两个支路；
21、所述结构异常模拟中，噪声源图像in来自两个数据源，其中一个是dtd纹理数据集，用于模拟异源结构异常，另一个是将正常图像i随机排列组合后得到的图像，用于模拟同源结构异常；
22、所述逻辑异常模拟中，全卷积网络需控制柏林噪声的参数和二值化阈值使生成的掩模图像m的前景区域集中。
23、作为本专利技术的一种优选方案：所述逻辑异常模拟中全卷积网络需要利用卷积神经网络提取的深层特征图进行建模，且全卷积网络还需要利用自注意力建模全局范围内所有patch间的稠密关系和利用图卷积建模跨领域的、远程patch间的稀疏关系。
24、作为本专利技术的一种优选方案：所述稠密关系中，对于编码器输出的深层特征应用自注意力建模全局范围内所有patch间稠密关系的遵从公式为和z＝wdh(x)，其中wd表示稠密相似度矩阵、f(·)和g(·)分别表示特征转换和维度调整函数。
25、作为本专利技术的一种优选方案：所述稀疏关系中，对于编码器输出的深层特征需要先将其转化为图结构g(v,e)，其中v为节点集合，v＝{vi}i＝1:hw且然后构建图中节点之间的相似度矩阵ws，再借助ws对每一个节点索引与其相似的k各节点建立连接关系，即得到e＝{eij}i＝1:hw,j＝1:k。
26、作为本专利技术的一种优选方案：所述相似度矩阵ws的构建方法具体包括以下步骤：
27、s9.1、对x进行二维的sine-cosine位置编码，得到空间特征图其中cp表示为位置编码的维度；
28、s9.2、通过公式wp＝cossim(p,pt)计算p与pt余弦相似度得到位置相似度矩阵wp∈rn×n；
29、s9.3、使用余弦相似度再次计算得到稠密相似度矩阵wd'，然后使用wd'减去位置相似度矩阵得到构建图结构的稀疏相似度矩阵ws∈rn×n，整个过程公式为ws＝cossim(f(x),g(x)t)-wp；
30、s9.4、完成图g(v,e)的构建，然后对图中的每个节点vi进行相对最大图卷积其中j＝1:k，得到节点集合v'，在对v'进行维度调整，得到二维特征图
31、s9.5、最后对全局稠密信息的特征z和v”在通道维度上拼接，并通过更新函数u(·)得到sg模块的输出公式为x'＝u([z,v”])。
32、作为本专利技术的一种优选方案：所述s3中的优化生成器和判别器分别通过本文档来自技高网...
【技术保护点】
1.基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，包括生成式预训练网络和异常分割网络，其特征在于；
2.根据权利要求1所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述S1的生成式预训练网络具体包括以下步骤：
3.根据权利要求2所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述S1.3中预训练网络需要在小领域内学习正常图像中各元素间的相对位置关系，所述S1.2的网格掩模的基础上还需要叠加随机位置和更大尺度的大掩模。
4.根据权利要求1所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述S2的异常模拟策略具体包括以下步骤：
5.根据权利要求4所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述全卷积网络的异常模拟策略分为结构异常模拟和逻辑异常模拟两个支路；
6.根据权利要求5所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述逻辑异常模拟中全卷积网络需要利用
7.根据权利要求6所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述稠密关系中，对于编码器输出的深层特征应用自注意力建模全局范围内所有Patch间稠密关系的遵从公式为和Z＝Wdh(X)，其中Wd表示稠密相似度矩阵、f(·)和g(·)分别表示特征转换和维度调整函数。
8.根据权利要求6所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述稀疏关系中，对于编码器输出的深层特征需要先将其转化为图结构G(V,E)，其中V为节点集合，V＝{vi}i＝1:HW且然后构建图中节点之间的相似度矩阵Ws，再借助Ws对每一个节点索引与其相似的K各节点建立连接关系，即得到E＝{eij}i＝1:HW,j＝1:K。
9.根据权利要求8所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述相似度矩阵Ws的构建方法具体包括以下步骤：
10.根据权利要求1所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述S3中的优化生成器和判别器分别通过以下公式完成：其中xm为生成器的输入，x为真实图像，最后生成器预训练网络的优化目标表示为：异常分割网络的优化目标表示为：其中α表示为不同损失函数间的平衡因子。
...【技术特征摘要】
1.基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，包括生成式预训练网络和异常分割网络，其特征在于；
2.根据权利要求1所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述s1的生成式预训练网络具体包括以下步骤：
3.根据权利要求2所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述s1.3中预训练网络需要在小领域内学习正常图像中各元素间的相对位置关系，所述s1.2的网格掩模的基础上还需要叠加随机位置和更大尺度的大掩模。
4.根据权利要求1所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述s2的异常模拟策略具体包括以下步骤：
5.根据权利要求4所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述全卷积网络的异常模拟策略分为结构异常模拟和逻辑异常模拟两个支路；
6.根据权利要求5所述的基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法，其特征在于：所述逻辑异常模拟中全卷积网络需要利用卷积神经网络提取的深层特征图进行建模，且全卷积网络还需要利用自注意力建模全局范围内所有patch间的稠密关系和利用图卷积建模跨领域的、远程patch间的稀疏关...
【专利技术属性】
技术研发人员：刘静，杨明辉，滕祥意，杨智伟，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。