一种基于修复重构的图像异常检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于修复重构的图像异常检测方法及装置，方法包括：步骤

【技术实现步骤摘要】
一种基于修复重构的图像异常检测方法及装置


[0001]本专利技术涉及异常检测
，尤其涉及一种基于修复重构的图像异常检测方法及装置
。

技术介绍

[0002]产品的表面异常检测是近年来制造业中格外关注的一项技术问题，检测算法的关键在于从图像中提取出能够辨识异常的特征，再依据特征进行异常检测
。
[0003]现有的图像异常检测方法可以分为基于传统的方法和基于深度学习的方法两大类别
。
基于传统方法的异常检测技术大致包含六个类别：基于模板匹配
、
基于统计模型
、
基于图像分解
、
基于频域分析
、
基于稀疏编码重构和基于分类面构建的异常检测方法
。
基于深度学习的方法大致包含四个类别：基于距离度量
、
基于分类面构建
、
基于图像重构和结合传统方法的异常检测方法
。
[0004]基于重构的方法训练自动编码器
、
变分自动编码器或生成对抗网络这样的神经网络体系结构，只重构正常的训练图像，因此，异常图像可以被发现，因为它们没有得到很好的重构，为了定位异常，基于重构的方法通常将像素级的重构误差作为异常评分
。
这类方法非常直观且具有很强的可解释性，但性能往往不够高，会出现重构误差过大的问题，导致无法有效的区分正常图像和异常图像
。

技术实现思路

[0005]本专利技术的目的就在于为了解决上述问题而提供一种基于修复重构的图像异常检测方法及装置，本专利技术可以消除重构误差过大的问题，更精准地实现异常检测与定位
。
[0006]本专利技术通过以下技术方案来实现上述目的：
[0007]一种基于修复重构的图像异常检测方法及装置，包括以下步骤：
[0008]步骤
1、
采集正常产品的表面图像数据，并对数据做预处理操作；
[0009]步骤
2、
对正常图像数据进行局部遮掩操作；
[0010]步骤
3、
图像修复重构，训练无监督异常检测模型；
[0011]步骤
4、
基于训练好的无监督异常检测模型，对待检产品图像进行异常检测与定位
。
[0012]进一步地，步骤1中数据预处理的方法，包括但不限于：图像清洗
、
图像切割
、
数据增强等
。
[0013]进一步地，步骤2中局部遮掩的方法包括：局部遮掩的方法包括：输入原始正常图像，对其进行
n
次局部遮掩操作，得到
n
张遮掩后的“残缺图”，这
n
张“残缺图”中被遮掩掉的图像小块交集为空，并集即为原始正常图像
。
[0014]进一步地，步骤3中图像修复重构的方法为：将步骤2中的
n
张“残缺图”输入到图像修复重构网络，得到
n
张“修复图”，将
n
张“修复图”中被修复的图像小块提取出来，合并即可得到和原图像一样尺寸的重构图像
。
[0015]进一步地，所述图像修复重构网络基于
U2‑
Net
网络进行改进，使用可变形卷积替换网络中所有的3×3卷积，并引入动态剪枝策略，降低模型参数量
。
[0016]进一步地，所述可变形卷积针对每个卷积上的每个点都学习一个偏移量
Δ
p
n
，为不同的特征层建立自适应的卷积结构，特征图的计算公式如下：
[0017][0018]进一步地，所述动态剪枝策略为引入
Mask Layer
，对特征图的通道进行
Mask
，每一个特征图后都接一个
mask
向量，对特征通道进行采样，从而降低特征维度；具体做法为：对于任意一层卷积后的特征图
L
，随机初始化向量
e
l
，该向量的长度即为该层特征图的通道数；
e
l
是可学习的
mask
参数，乘以一个缩放系数
s
，再经过
sigmoid
激活函数即可得到
mask
向量；训练阶段，
s
取1‑
s
max
之间的随机数，此时的
mask
向量为
soft mask
；推理阶段，直接给
s
分配一个很大的值
s
max
来对
mask
向量进行二值化，从而获得修剪后的特征提取网络；计算公式如下所示：
[0019]f
l
′
＝
f
l
*m
l
[0020]m
l
＝
sigmoid(se
l
)
[0021]s
＝
rand(1,s
max
)
[0022]其中，
f
l
为原始特征图，
f
l
′
为剪枝后的特征图
。
[0023]进一步地，步骤3中训练无监督异常检测模型的方法：基于损失函数优化模型，损失函数由
L2距离损失
、
图像相似度度量损失
L
SSIM
和
L
GMSD
、
以及稀疏损失
L
S
组成，如下所示：
[0024]Loss
＝
L2+
λ1L
SSIM
+
λ2L
GMSD
+
λ3L
S
[0025][0026]其中，
L
为卷积层数，
K
l
为第
l
层卷积的
kernel size
，
c
l
是第
l
层卷积的通道数
,||m
l
||1表示第
l
层
mask
向量的1‑
范数
。
[0027]进一步地，步骤4中产品图像异常检测与定位的方法：将待检产品图像输入到训练好的异常检测模型中，输出对应的修复重构图像；对比重构图和原图，计算相似度得到异常得分图；对异常得分图做平滑处理，并设定分割阈值，实现异常检测和异常定位；所述平滑处理的方法，包括但不限于：滤波，图像形态学处理
。
[0028]本专利技术另一方面还提供了一种基于修复重构的无监督异常检测装置，包括数据采集模块和异常检测模块；
[0029]数据采集模块，将相机固定在产品生产线上，用于采集工业产品的表面图像数据；
[0030]异常检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于修复重构的图像异常检测方法，其特征在于，包括以下步骤：步骤
1、
采集正常产品的表面图像数据，并对数据做预处理操作；步骤
2、
对正常图像数据进行局部遮掩操作；步骤
3、
图像修复重构，训练无监督异常检测模型；步骤
4、
基于训练好的无监督异常检测模型，对待检产品图像进行异常检测与定位
。2.
如权利要求1所述的一种基于修复重构的图像异常检测方法，其特征在于，步骤2中局部遮掩的方法包括：局部遮掩的方法包括：输入原始正常图像，对其进行
n
次局部遮掩操作，得到
n
张遮掩后的“残缺图”，这
n
张“残缺图”中被遮掩掉的图像小块交集为空，并集即为原始正常图像
。3.
如权利要求2所述的一种基于修复重构的图像异常检测方法，其特征在于，步骤3中图像修复重构的方法为：将步骤2中的
n
张“残缺图”输入到图像修复重构网络，得到
n
张“修复图”，将
n
张“修复图”中被修复的图像小块提取出来，合并即可得到和原图像一样尺寸的重构图像
。4.
如权利要求3所述的一种基于修复重构的图像异常检测方法，其特征在于，所述图像修复重构网络基于
U2‑
Net
网络进行改进，使用可变形卷积替换网络中所有的3×3卷积，并引入动态剪枝策略，降低模型参数量
。5.
如权利要求4所述的一种基于修复重构的图像异常检测方法，其特征在于，所述可变形卷积针对每个卷积上的每个点都学习一个偏移量
Δ
p
n
，为不同的特征层建立自适应的卷积结构，特征图的计算公式如下：
6.
如权利要求4所述的一种基于修复重构的图像异常检测方法，其特征在于，所述动态剪枝策略为引入
Mask Layer
，对特征图的通道进行
Mask
，每一个特征图后都接一个
mask
向量，对特征通道进行采样，从而降低特征维度；具体做法为：对于任意一层卷积后的特征图
L
，随机初始化向量
e
l
，该向量的长度即为该层特征图的通道数；
e
l
是可学习的
mask
参数，乘以一个缩放系数
s
，再经过
sigmoid
激活函数即可得到
mask
向量；训练阶段，
s
取1‑
s
max
之间的随机数，此时的
mask
向量为
soft mask
；推理阶段，直接给
s...

【专利技术属性】
技术研发人员：郑敏娥，胡亮，陶原野，展华益，
申请(专利权)人：四川长虹电子控股集团有限公司，
类型：发明
国别省市：