一种基于多层级特征重构的图像局部异常检测方法技术

本发明专利技术公开了一种基于多层级特征重构的图像局部异常检测方法，涉及检测方法技术领域，本发明专利技术通过深度卷积网络，提取待检测图像的不同层次表征，然后对获得的表征集合进行对齐与聚合，构建极具特征区分能力的图像多层级表征，随后通过预先在无异常或无故障图像样本上进行训练的自编码器进行多层级表征重构，再计算图像各像素位置处多层级表征重构误差的欧式距离，从获得图像各个像素处的异常得分，最后通过二值化异常得分得到异常或瑕疵区域，其能运行在无异常样本工业场景下，能有效地检测出各种可能出现的工业异常或瑕疵，适应日益升级优化的工业生产场景；模型训练和测试过程均是端到端和基于数据驱动的，建模便捷，识别性能高。性能高。性能高。

【技术实现步骤摘要】
一种基于多层级特征重构的图像局部异常检测方法


[0001]本专利技术涉及检测方法
，具体为一种基于多层级特征重构的图像局部异常检测方法。

技术介绍

[0002]近年来，随着现代制造业的转型升级走向智能制造，越来越多企业开始采用工业机器人技术，使得机器人在汽车装配、工业零部件制造、电子消费品生产乃至食品生产等领域得到了越来越广泛的应用。机器视觉系统作为机器人的“眼睛”，其能够借助工业像机获得被检测物体的图像，通过计算机从图像中提取有效信息并进行分析，进而实现工业生产中各类产品的自动化检测和评估，由于机器视觉能克服人工评判的主观性缺点，更加客观地、智能地评估产品质量，提高生产自动化程度，且可应用到人工视觉难以适应的场景，故而机器视觉技术在工业产品异常或瑕疵检测有着广发的应用前景。
[0003]工业产品的异常或瑕疵往往出现在产品的局部区域，也即表现为相应图像的局部异常，因此，用于工业产品异常检测的机器视觉系统成功的关键在于设计有效的基于计算机程序自动化处理的图像局部异常检测分析和处理方法，现有的图像局部异常检测方法主要有基于模板匹配的变化检测以及基于机器学习模型的异常分类，其中，基于模板匹配的方法需要寻求“标准”图像作为参照，但在实际工业应用中，待检测对象通常形态多变，基于匹配的方法往往难以适应，基于机器学习模型的异常分类方法通常需要基于大量人工标注的异常样本来进行监督训练，而在很多工业生产过程中，由于生产工艺的持续升级，异常或瑕疵样本非常稀少，此外，异常的种类是繁多的，基于预定义的好的异常类别来进行分类，不能有效地发现新的异常或瑕疵，因此，在当前基于机器视觉的工业异常检测领域，亟需研发新的异常检测方法来适应不断优化升级的逐渐智能化的工业生产过程，尤其是能运行在无异常样本或少量标注样本场景下，且能有效地检测出各种可能的局部异常或瑕疵的检测方法。
[0004]因此，针对现有技术的不足，本专利技术提供了一种基于多层级特征重构的图像局部异常检测方法，其能运行在无异常样本工业场景下，能有效地检测出各种可能出现的工业异常或瑕疵。

技术实现思路

[0005]本专利技术要解决的技术问题在于，现有的图像局部异常检测方法存在不能有效地运行在无异常样本工业场景下，不能有效地发现各种可能出现的工业异常或瑕疵的缺点，不能满足日益升级优化的工业生产场景的要求，针对现有技术中的缺陷，提供了一种基于多层级特征重构的图像局部异常检测法。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于多层级特征重构的图像局部异常检测方法，包括以下步骤：
[0007]S1、给定待检测图像x(设其宽为w，高为h，通道数为c)，使用预训练好的深度卷积
网络φ获取该图像不同层次表征的集合{φ
l
},l＝1,2,
…
,L；
[0008]S2、根据步骤S1中获得的表征集合{φ
l
},，构建图像x的多层级表征f；
[0009]S3、将步骤S2获得的多层级表征f，输入卷积自编码器r(
·
,θ)进行表征重构，得到重构的多层级表征r(f,θ)，且其宽为w，高为h，通道数为c
f
；
[0010]S4、根据步骤S3获得的重构的多层级表征r(f,θ)与步骤S2获得的多层级表征f，在图像各像素位置处多层级表征重构误差的欧式距离，获得图像各个像素处的异常得分：
[0011]S5、根据用户给定的分割阈值T，将步骤S4获得异常得分A
i,j
二值化，得到异常或瑕疵区域，即将异常得分大于T的位置用1表示，其他位置用0表示。
[0012]进一步优化本技术方案，所述步骤S1中，φ
l
表示卷积网络的第l层输出，构成图像x的第l层次的表征，且设其宽为w
l
，高为h
l
，通道数为c
l
。
[0013]进一步优化本技术方案，步骤S2中，所述图像的多层级表征f通过以下步骤获得：
[0014]S21、将表征集合{φ
l
}中所有层次表征，逐一进行双线性插值，并构建与图像x对齐的表征集合
[0015]S22、对步骤S21中获得的表征集合进行通道拼接或聚合形成图像x的多层级表征f。
[0016]进一步优化本技术方案，所述步骤S21中，其中，的宽为w，高为h，通道数为c
l
。
[0017]进一步优化本技术方案，所述步骤S22中，其中，所获得表征f的宽为w，高为h，通道数为
[0018]进一步优化本技术方案，所述步骤S3中，其中，θ为卷自编码器r(
·
,θ)的参数，需要预先在无异常或无故障图像样本上进行训练，即通过以下优化目标获得：
[0019][0020]进一步优化本技术方案，其中，N为正常图像样本的数量，为第n个正常图像样像素位置(i,j)处的多层级表征，r
i,j
(f
(n)
,θ)为相应的通过卷积自编码器重构得到的多层级表征，i＝1,2,
…
,h,j＝1,2,
…
,w。
[0021]进一步优化本技术方案，步骤S4中，获得图像各个像素处的异常得分公式为：A
i,j
＝||f
i,j
‑
r
i,j
(f,θ)||2。
[0022]进一步优化本技术方案，其中，A
i,j
为待检测图像x像素位置(i,j)处的异常得分，f
i,j
为待检测图像x像素位置(i,j)处的多层级表征，r
i,j
(f,θ)为相应的通过卷积自编码器重构得到的多层级表征。
[0023]与现有技术相比，本专利技术提供了一种基于多层级特征重构的图像局部异常检测方法，具备以下有益效果：
[0024]该基于多层级特征重构的图像局部异常检测方法，本专利技术通过深度卷积网络，提取待检测图像的不同层次表征，然后对获得的表征集合进行对齐与聚合，构建极具特征区分能力的图像多层级表征，随后通过预先在无异常或无故障图像样本上进行训练的自编码
器进行多层级表征重构，再计算图像各像素位置处多层级表征重构误差的欧式距离，从获得图像各个像素处的异常得分，最后通过二值化异常得分得到异常或瑕疵区域，本专利技术方法，首先使用在图像处理领域广泛使用的深度学习技术，其能较好地适应各种复杂的工业异常检测场景；由于不需要预先标注和分类样本，其有效地运行在无异常样本工业场景下，能有效地发现各种可能出现的工业异常或瑕疵的缺点，适应日益升级优化的工业生产场景；模型训练和测试过程均是端到端和基于数据驱动的，建模便捷，识别性能高，也为基于机器视觉的图像局部异常检测邻域提供了一种新的解决方案。
附图说明
[0025]图1是本专利技术实施例提供的基于多层级图像表征重构的异常检测方法的流程图；
[0026]图2是本专利技术实施例提供的基于多层级图像表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层级特征重构的图像局部异常检测方法，其特征在于，包括以下步骤：S1、给定待检测图像x(设其宽为w，高为h，通道数为c)，使用预训练好的深度卷积网络φ获取该图像不同层次表征的集合{φ
l
},l＝1,2,
…
,L；S2、根据步骤S1中获得的表征集合{φ
l
},，构建图像x的多层级表征f；S3、将步骤S2获得的多层级表征f，输入卷积自编码器r(
·
,θ)进行表征重构，得到重构的多层级表征r(f,θ)，且其宽为w，高为h，通道数为C
f
；S4、根据步骤S3获得的重构的多层级表征r(f,θ)与步骤S2获得的多层级表征f，在图像各像素位置处多层级表征重构误差的欧式距离，获得图像各个像素处的异常得分：S5、根据用户给定的分割阈值T，将步骤S4获得异常得分A
i,j
二值化，得到异常或瑕疵区域，即将异常得分大于T的位置用1表示，其他位置用0表示。2.根据权利要求1所述的一种基于多层级特征重构的图像局部异常检测方法，其特征在于，所述步骤S1中，φ
l
表示卷积网络的第l层输出，构成图像x的第l层次的表征，且设其宽为w
l
，高为h
l
，通道数为C
l
。3.根据权利要求1所述的一种基于多层级特征重构的图像局部异常检测方法，其特征在于，步骤S2中，所述图像的多层级表征f通过以下步骤获得：S21、将表征集合{φ
l
}中所有层次表征，逐一进行双线性插值，并构建与图像x对齐的表征集合S22、对步骤S21中获得的表征集合进行通道拼接或聚合形成图像x的多层级表征f。4.根据权利要求...

【专利技术属性】
技术研发人员：齐志泉，杨洁，
申请(专利权)人：无锡市妙图科技有限公司，
类型：发明
国别省市：