无监督工业图像异常检测模型建立方法、检测方法及系统技术方案

本发明专利技术公开了一种无监督工业图像异常检测模型建立方法、检测方法及系统，属于工业图像处理领域，包括：建立并训练用于深度特征提取的源域神经网络和目标域神经网络，并建立映射神经网络，得到初始的无监督工业图像异常检测模型，其中，映射神经网络用于实现源域神经网络提取的源域深度特征图和目标域神经网络提取的目标域深度特征图之间的映射；将工业图像数据集中的训练样本输入源域神经网络和目标域神经网络，以最小化训练样本的L2损失为目标，优化映射神经网络的参数，得到训练后的无监督工业图像异常检测模型，其中，训练样本为合格工业样品的图像。提升无监督下工业图像异常检测的性能，降低人工成本，提高产线质检自动化、智能化水平。智能化水平。智能化水平。

【技术实现步骤摘要】
无监督工业图像异常检测模型建立方法、检测方法及系统


[0001]本专利技术属于工业图像处理领域，更具体地，涉及一种无监督工业图像异常检测模型建立方法、检测方法及系统。

技术介绍

[0002]随着工业4.0、数字化、智能化制造等发展模式的提出，工业生产线的自动化、智能化升级改造需求不断增加，对产品质量进行自动化检测是不可或缺的环节，例如检测产品的外观损伤、异位等异常情况。目前，大多数行业仍主要依赖人工经验对产品质量进行检测，如3C行业、半导体、纺织行业等，检测人员长期工作容易因疲劳而导致效率低下、检测出现偏差等。基于图像处理的工业图像异常检测技术因此得到发展，取代人工对产品进行有效质量检测，可以提升生产线的产品质量检测性能和生产效率。
[0003]基于图像处理的工业图像异常检测的流程包括图像数据采集、图像特征提取、图像特征编码、异常评分以及检测。传统的图像特征提取方式往往依赖于行业专家的长期经验知识来设计，在不同场景下难以泛化运用。基于深度学习的工业图像检测技术不依赖于手工设计特征提取，直接对获取到的工业产品图像数据进行训练和分析。然而，工业产品的异常数据发生频率往往较低，难以获取和收集，特别是在生产线运行早期，生产设备运行状态良好，采集到的图像大部分是正常产品的图像，往往难以形成数据充分的有监督分类训练方式，来训练深度神经网络进行异常数据判别。因此，需要解决工业图像中无异常数据标注、异常样本种类繁杂不可知的异常检测难题。

技术实现思路

[0004]针对现有技术的缺陷和改进需求，本专利技术提供了一种无监督工业图像异常检测模型建立方法、检测方法及系统，其目的在于提升无监督下工业图像异常检测的性能，降低人工成本，提高产线质检自动化、智能化水平。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种无监督工业图像异常检测模型建立方法，包括：S1，建立并训练用于深度特征提取的源域神经网络和目标域神经网络，并建立映射神经网络，得到初始的无监督工业图像异常检测模型，其中，所述映射神经网络用于实现所述源域神经网络提取的源域深度特征图和所述目标域神经网络提取的目标域深度特征图之间的映射；S2，将工业图像数据集中的训练样本输入所述源域神经网络和所述目标域神经网络，以最小化所述训练样本的L2损失为目标，优化所述映射神经网络的参数，得到训练后的无监督工业图像异常检测模型，其中，所述训练样本为合格工业样品的图像。
[0006]更进一步地，所述映射神经网络为单向映射神经网络，用于将所述源域深度特征图单向映射为所述目标域深度特征图，所述L2损失为：
[0007][0008]其中，Loss
DFM
为单向映射神经网络下训练样本的L2损失，为源域深度特征图经映射神经网络转换后的特征图，F
T
为目标域深度特征图，w和h分别为特征图的宽度和高度，c
T
为目标域深度特征图的通道数，||
·
||2为L2范数。
[0009]更进一步地，所述映射神经网络为单层双向映射神经网络，用于所述源域深度特征和所述目标域深度特征之间的单层级双向映射，所述L2损失为：
[0010][0011]其中，Loss
B
‑
DFM
为双向映射神经网络下训练样本的L2损失，F
T
、F
S
分别为目标域深度特征图、源域深度特征图，c
T
、c
S
分别为F
T
、F
S
的通道数，分别为F
T
、F
S
经映射神经网络转换后的特征图，w和h分别为特征图的宽度和高度，||
·
||2为L2范数。
[0012]更进一步地，所述映射神经网络为多层双向映射神经网络，用于所述源域深度特征和所述目标域深度特征之间的多层级双向映射，所述L2损失为：
[0013][0014][0015][0016]其中，Loss
MB
‑
DFM
为多层双向映射神经网络下训练样本的L2损失，w
k
和h
k
分别为第k个层级的特征图的宽度和高度，分别为第k个层级的目标域深度特征图、源域深度特征图，分别为的通道数，的通道数，分别为经第k个层级双向映射神经网络转换后的特征图，为第k个层级双向映射神经网络中从源域深度特征图到目标域深度特征图的映射神经网络参数，MNN(
·
；
·
)为从源域深度特征图到目标域深度特征图的映射神经网络模型，为第k个层级双向映射神经网络中从目标域深度特征图到源域深度特征图的映射神经网络参数，RMNN(
·
；
·
)为从目标域深度特征图到源域深度特征图的映射神经网络，k＝1,2,
…
,K，K为多层双向映射神经网络的总层数，K＞1，||
·
||2为L2范数。
[0017]更进一步地，所述映射神经网络用于计算输入至所述无监督工业图像异常检测模型的图像的得分图：
[0018][0019][0020]其中，AS为所述得分图，用于表征输入至所述无监督工业图像异常检测模型的图像的异常程度分布；AS
k
为所述映射神经网络中第k个层级输出的映射误差；K为映射神经网络的总层数，K＝1表示映射神经网络为单层映射神经网络，K＞1表示所述映射神经网络为多层映射神经网络；resize(
·
)为双线性插值函数；λ的取值为0或1，λ＝0表示映射神经网
络为单向映射神经网络，λ＝1表示映射神经网络为双向映射神经网络；分别为第k个层级的目标域深度特征图、源域深度特征图，分别为经第k个层级双向映射神经网络转换后的特征图，||
·
||2为L2范数。
[0021]更进一步地，所述映射神经网络还用于根据所述得分图与异常分数阈值之间的大小关系，判断输入至所述无监督工业图像异常检测模型的图像是否异常。
[0022]更进一步地，所述映射神经网络还用于计算所述得分图的极大值，并根据所述极大值与异常分数阈值之间的大小关系，判断输入至所述无监督工业图像异常检测模型的图像是否异常。
[0023]按照本专利技术的另一个方面，提供了一种无监督工业图像异常检测方法，包括：将待检测工业样品的图像输入如上所述的无监督工业图像异常检测模型建立方法所获得的无监督工业图像异常检测模型中，得到所述待检测工业样品的异常判断结果。
[0024]按照本专利技术的另一个方面，提供了一种无监督工业图像异常检测模型建立系统，包括：建立模块，用于建立并训练用于深度特征提取的源域神经网络和目标域神经网络，并建立映射神经网络，得到初始的无监督工业图像异常检测模型，其中，所述映射神经网络用于实现所述源域神经网络提取的源域深度特征图和所述目标域神经网络提取的目标域深度特征图之间的映射；训练模块，用于将工业图像数据集中的训练样本输入所述源域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督工业图像异常检测模型建立方法，其特征在于，包括：S1，建立并训练用于深度特征提取的源域神经网络和目标域神经网络，并建立映射神经网络，得到初始的无监督工业图像异常检测模型，其中，所述映射神经网络用于实现所述源域神经网络提取的源域深度特征图和所述目标域神经网络提取的目标域深度特征图之间的映射；S2，将工业图像数据集中的训练样本输入所述源域神经网络和所述目标域神经网络，以最小化所述训练样本的L2损失为目标，优化所述映射神经网络的参数，得到训练后的无监督工业图像异常检测模型，其中，所述训练样本为合格工业样品的图像。2.如权利要求1所述的无监督工业图像异常检测模型建立方法，其特征在于，所述映射神经网络为单向映射神经网络，用于将所述源域深度特征图单向映射为所述目标域深度特征图，所述L2损失为：其中，Loss
DFM
为单向映射神经网络下训练样本的L2损失，为源域深度特征图经映射神经网络转换后的特征图，F
T
为目标域深度特征图，w和h分别为特征图的宽度和高度，c
T
为目标域深度特征图的通道数，||
·
||2为L2范数。3.如权利要求1所述的无监督工业图像异常检测模型建立方法，其特征在于，所述映射神经网络为单层双向映射神经网络，用于所述源域深度特征和所述目标域深度特征之间的单层级双向映射，所述L2损失为：其中，Loss
B
‑
DFM
为双向映射神经网络下训练样本的L2损失，F
T
、F
S
分别为目标域深度特征图、源域深度特征图，c
T
、c
S
分别为F
T
、F
S
的通道数，分别为F
T
、F
S
经映射神经网络转换后的特征图，w和h分别为特征图的宽度和高度，||
·
||2为L2范数。4.如权利要求1所述的无监督工业图像异常检测模型建立方法，其特征在于，所述映射神经网络为多层双向映射神经网络，用于所述源域深度特征和所述目标域深度特征之间的多层级双向映射，所述L2损失为：多层级双向映射，所述L2损失为：多层级双向映射，所述L2损失为：其中，Loss
MB
‑
DFM
为多层双向映射神经网络下训练样本的L2损失，w
k
和h
k
分别为第k个层级的特征图的宽度和高度，分别为第k个层级的目标域深度特征图、源域深度特征图，分别为的通道数，的通道数，分别为经第k个层级双向映射神经网络转换后的特征图，为第k个层级双向映射神经网络中从源域深度特征图到目标域深度特征图的映射神经网络参数，MNN(
·
；
·
)为从源域深度特征图到目标域深度特征图的映
射神经网络模型，为第k个层级双向映射神经网络中从目标域深度特征图到源域深度...

【专利技术属性】
技术研发人员：李新宇，万千，高艺平，高亮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：