一种基于核心记忆库残差的图像异常检测方法技术

本发明专利技术公开了一种基于核心记忆库残差神经网络的图像异常检测方法，包括：获取图像数据；通过编码器提取特征，在训练集正样本特征上利用核心集采样策略构建具有代表性的正样本记忆库；训练阶段输入经过异常模拟策略后的图像

【技术实现步骤摘要】
一种基于核心记忆库残差的图像异常检测方法


[0001]本专利技术涉及视觉检测

、
图像异常检测
，特别是涉及一种基于核心记忆库残差的图像异常检测方法
。

技术介绍

[0002]近年来，计算机视觉和深度学习等技术得到了迅速发展，基于深度学习的视觉检测已经取得了巨大的成功
。
然而受限于异常样本的数据稀缺问题
、
异常类的未知性问题以及数据标注问题，一般的基于监督学习的视觉缺陷检测方法难以应用
。
为此，目前研究提出了深度图像异常检测任务，旨在开发在训练期间不需要使用大量有标注异常数据的情况下检测异常的算法，在解决视觉检测的上述缺点方面具有巨大潜力
。
[0003]目前深度图像异常检测方法可分为基于图像重构的方法
、
基于表示的方法等
。
基于图像重构的方法多根据重建正常图像后的误差来定位异常
。GANomaly
将
GAN
中对抗训练的思想引入到传统
AE
的训练框架中，同时在生成器后接入了额外的编码器
。Venkataramanan
等人将
VAE、GAN
等手段结合起来，首次将注意力机制引入异常检测领域
。
然而重建模型在推理阶段易受到异常区域的影响，图像中的异常区域也被有效重建，从而使得异常判别无效
。
基于表示的方法通常通过比较高维的待测样本的特征与正常特征来进行异常检测
。Cohen
等人提出了
SPADE
，其基于异常图像和恒定数量的相似正常图像之间的对齐，使用
KNN
和多尺度特征金字塔进行缺陷检测和异常定位
。Dedard
等提出的
PaDiM(]Defard T,Setkov A,Loesch A,et al.PaDiM:a patch distribution modeling framework for anomaly detection and localization.In:Proceedings of International Conference on Pattern Recognition.Cham:Springer,2021.475
–
489)
方法进一步将多元高斯分布建模于图像块的粒度上，从而实现了像素级分割
。Zavrtanik
等人提出的
DRAEM
选择了各种纹理图像作为有缺陷的背景，采用噪声生成方法来创建异常并将它们叠加在正常图像上，所提出的方法学习正常图像及其合成异常的联合表示
。
虽然其训练阶段的时间少，但是推理阶段需要复杂的特征匹配，且其主要通过将图像划分为分块并将分块分类为异常或正常类别来定位异常区域，实现粗略异常定位结果，其结果不具备可解释性
。
同时，图像异常检测研究中还存在以下难点：一是在图像异常检测当中一般仅有正常样本可供使用，正常样本仅包含有限的信息，仅利用正常样本训练得到的异常检测模型对实际异常样本的检测存在一定的风险
。
二由于异常的多样性，很难识别不同尺度大小的所有异常
。
三是正常样本与异常样本往往存在差距过小问题，同时图像具有复杂的结构纹理背景，模型还需要足以容纳正常样本的类内差异，避免将正常区域误检为缺陷
。
[0004]综上所述，如何检测多样缺陷实现更精准的异常定位等问题，是目前本领域技术人员急需解决的技术问题
。

技术实现思路

[0005]本专利技术的目的在于提供基于核心记忆库残差的图像异常检测方法，以解决上述背
景技术中提出的问题
。
[0006]本专利技术至少通过如下技术方案之一实现
。
[0007]一种基于核心记忆库残差神经网络的图像异常检测方法，包括：
[0008]获取图像数据；
[0009]通过编码器提取图像特征，在训练集正样本特征上利用核心集采样策略构建正样本记忆库；
[0010]在异常检测模型训练阶段输入经过异常模拟策略后的图像，推断阶段输入待识别图像获取特征，在正样本记忆库中查询与待识别图像获取特征最接近的正样本特征；
[0011]将编码器前三层输出的特征及其与最接近的正样本特征的残差拼接输入多尺度融合模块，获取增强特征；
[0012]将增强特征与解码器特征连接，利用干扰挖掘策略，逐步细化分割结果，获取异常识别与定位结果
。
[0013]进一步地，图像数据包括获取模拟异常样本图像：选取两个数据集，利用异常模拟策略从两个数据集获取模拟异常样本
。
[0014]进一步地，通过编码器提取特征，在训练集正样本特征上利用核心集采样策略构建具有代表性的正样本记忆库，包括：
[0015]采用在
ImageNet
数据集训练好的模型作为编码器，固定编码器的参数，获取图像特征，作为训练集正样本特征；
[0016]在训练集正样本特征上利用核心集采样策略构建正样本记忆库
。
[0017]进一步地，利用核心集采样策略构建正样本记忆库，包括：
[0018]对训练集正样本特征进行降维，获取特征集
M
，初始化核心集
M
C
；
[0019]循环使用极小化极大优化函数选择核心集，经选择的特征加入核心集
M
c
，直至达到设置的核心集大小，具体优化函数如下：
[0020][0021]其中表示每次选择加入核心集的最优特征，
m
表示从训练集正样本特征中选择的特征，
n
表示从现有核心集中选择的特征
。
[0022]进一步地，训练阶段输入经过异常模拟策略后的图像，推断阶段输入待识别图像获取特征，在正样本记忆库中查询与待识别图像获取特征最接近的正样本特征包括：
[0023]给定处于训练或推理阶段的输入图像；
[0024]固定编码器的前三层参数，获取输入特征；
[0025]在记忆库中利用最近邻搜索查询与输入特征最接近的正样本特征获取残差特征
。
[0026]进一步地，将待识别图像获取的特征及其与最接近的正样本特征的残差输入多尺度融合模块，获取增强特征，包括：
[0027]将固定编码器网络的前三层输出的特征与其与最接近正样本的残差拼接获得残差特征
CI
；将残差特征
CI
通过双向特征金字塔网络实现多尺度信息交互，最终获取不同尺度的增强特征
。
[0028]进一步地，双向特征金字塔网利用特征融合模块融合输入特征，包括：
[0029]将各个特征尺度拼接，将拼接后得到的特征通过通道注意力模块，得到加权结果，
通道注意力机制表达为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，包括：获取图像数据；通过编码器提取图像特征，在训练集正样本特征上利用核心集采样策略构建正样本记忆库；在异常检测模型训练阶段输入经过异常模拟策略后的图像，推断阶段输入待识别图像获取特征，在正样本记忆库中查询与待识别图像获取特征最接近的正样本特征；将编码器前三层输出的特征及其与最接近的正样本特征的残差拼接输入多尺度融合模块，获取增强特征；将增强特征与解码器特征连接，利用干扰挖掘策略，逐步细化分割结果，获取异常识别与定位结果
。2.
根据权利要求1所述的一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，图像数据包括获取模拟异常样本图像：选取两个数据集，利用异常模拟策略从两个数据集获取模拟异常样本
。3.
根据权利要求1所述的一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，通过编码器提取特征，在训练集正样本特征上利用核心集采样策略构建具有代表性的正样本记忆库，包括：采用在
ImageNet
数据集训练好的模型作为编码器，固定编码器的参数，获取图像特征，作为训练集正样本特征；在训练集正样本特征上利用核心集采样策略构建正样本记忆库
。4.
根据权利要求3所述的一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，利用核心集采样策略构建正样本记忆库，包括：对训练集正样本特征进行降维，获取特征集
M
，初始化核心集
M
C
；循环使用极小化极大优化函数选择核心集，经选择的特征加入核心集
M
C
，直至达到设置的核心集大小，具体优化函数如下：其中表示每次选择加入核心集的最优特征，
m
表示从训练集正样本特征中选择的特征，
n
表示从现有核心集中选择的特征
。5.
根据权利要求1所述的一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，训练阶段输入经过异常模拟策略后的图像，推断阶段输入待识别图像获取特征，在正样本记忆库中查询与待识别图像获取特征最接近的正样本特征包括：给定处于训练或推理阶段的输入图像；固定编码器的前三层参数，获取输入特征；在记忆库中利用最近邻搜索查询与输入特征最接近的正样本特征获取残差特征
。6.
根据权利要求1所述的一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，将待识别图像获取的特征及其与最接近的正样本特征的残差输入多尺度融合模块，获取增强特征，包括：将固定编码器网络的前三层输出的特征与其与最接近正样本的残差拼接获得残差特征
CI
；
将残差特征
CI
通过双向特征金字塔网络实现多尺度信息交互，最终获取不同尺度的增强特征
。7.
根据权利要求6所述的一种基于核心记忆库残差神经网络的图像异常检测方法，其特征在于，双向特征金字塔网利用特征融合模块融合输入特征，包括：将各个特征尺度拼接，将拼接后得到的特征通过通道注意力模块，得到加权结果，通道注意力机制表达为：
M
C
(F)
＝
σ
(MLP(AvgPool(F))+MLP(MaxPool(F)))M
C
(F)
表示通道注意力模块生成的特征图，
F
表示输入的特征，
σ
表示
sigmoid
激活函数，
MLP
表示多层感知器
、AvgPool(F)
表示对特征进行平均池化，
MaxPool(F)
表示对特征进行全局最大池化；将通道注意力模块生成的特征图经过空间注意力模块，最终进行加权获取增强特征，...

【专利技术属性】
技术研发人员：刘艳霞，李宇虹，周月，赖浩宇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：