基于多尺度标准化流的无监督笔记本外观缺陷检测方法技术

本发明专利技术涉及工业缺陷检测技术领域，公开了一种基于多尺度标准化流的无监督笔记本外观缺陷检测方法，将采集得到的笔记本电脑外观图像，依次输入到多尺度特征提取网络模型以及缺陷检测模型，得到检测结果；训练方法包括：获取笔记本电脑的原始外观图像后进行数据预处理，得到训练数据集；构造基于ResNet50网络和特征金字塔网络的多尺度特征提取网络模型，提取训练数据集中外观图像的多尺度特征；构造基于多尺度标准化流网络的缺陷检测模型，以多尺度特征作为缺陷检测模型的输入，通过计算损失函数对缺陷检测模型进行训练。本发明专利技术能很好地定位不同尺度不同类型的缺陷，有着良好的检测效果与缺陷定位效果。与缺陷定位效果。与缺陷定位效果。

【技术实现步骤摘要】
基于多尺度标准化流的无监督笔记本外观缺陷检测方法


[0001]本专利技术涉及工业缺陷检测
，具体涉及一种基于多尺度标准化流的无监督笔记本外观缺陷检测方法。

技术介绍

[0002]伴随信息技术的不断普及，智能制造开始逐步发展，有关智能制造的国家工业发展战略不断地被提出。
[0003]在工业制造领域，保证生产产品的质量至关重要。具体在笔记本电脑生产线上，及时检测出电脑的外观表面缺陷才能确保产品的最终交付。传统的表面缺陷检测主要基于人工目检，而传统人工检测方法存在费时费力、容易出现误检漏检、难以匹配日益提升的生产效率等问题。随着计算机技术的快速发展，基于机器视觉的AOI(Automated Optical Inspection)技术逐渐取代了人工目检表面缺陷。
[0004]目前基于机器视觉的表面缺陷检测方法主要分为两类：
[0005]1)基于支持向量机的缺陷检测方法；此类方法的算法复杂度低，检测速度快，并且易于嵌入到机械设备中，但检测精度不高，容易出现漏检误检，且由于需要人工设计特征，非常依赖具有经验的工程师。
[0006]2)基于深度学习的缺陷检测方法；相对于传统机器学习检测算法，深度学习检测算法在具有足够训练样本数据的条件下能实现高精度的检测，且不依赖于人工设计特征，可迁移性好。但在实际工业生产场景中，很难收集到完整的表面缺陷数据集，一些缺陷类型可能在之前的生产过程中从未出现过，这势必导致深度学习检测算法在缺失缺陷类型的检测效果差，并且大部分深度学习检测算法在一些微小缺陷类型上表现较差，此外对大量样本数据的收集和标注也是费时费力，成本高昂。

技术实现思路

[0007]为解决上述技术问题，本专利技术提供一种基于多尺度标准化流的无监督笔记本外观缺陷检测方法。
[0008]为解决上述技术问题，本专利技术采用如下技术方案：
[0009]一种基于多尺度标准化流的无监督笔记本外观缺陷检测方法，将在笔记本电脑生产线上实时采集得到的笔记本电脑外观图像，依次输入到多尺度特征提取网络模型以及缺陷检测模型，得到笔记本电脑外观缺陷的检测结果；其中，对多尺度特征提取网络模型以及缺陷检测模型的进行训练时，包括以下步骤：
[0010]步骤一、将笔记本电脑的原始外观图像进行预处理后，组成训练数据集；
[0011]步骤二、构造基于ResNet50网络和特征金字塔网络的多尺度特征提取网络模型，提取训练数据集中外观图像的多尺度特征；
[0012]步骤三、构造基于多尺度标准化流网络的缺陷检测模型，以步骤二中提取得到的多尺度特征作为缺陷检测模型的输入，通过计算损失函数对缺陷检测模型进行训练。
[0013]具体地，步骤一中将笔记本电脑的原始外观图像进行预处理时，利用工业相机在笔记本电脑生产线上对笔记本电脑的原始外观图像进行采集，然后通过随机角度旋转方法或平移方法对原始外观图像进行预处理。
[0014]具体地，步骤二中构造的多尺度特征提取网络模型包括ResNet50骨干网络；对ResNet50骨干网络使用公开数据集ImageNet进行预训练，得到初始参数，并保证ResNet50骨干网络的初始参数在多尺度特征提取网络模型以及缺陷检测模型的训练过程中保持不变；训练数据输入ResNet50骨干网络，分别得到ResNet50骨干网络五个阶段Stage0、Stage1、Stage2、Stage3、Stage4的最后一层输出的特征图C0、C1、C2、C3、C4。
[0015]具体地，步骤二中的多尺度特征提取网络模型还包括基于特征金字塔网络构建的多尺度特征提取网络；多尺度特征提取网络包括一条自顶向下的特征融合路径一和一条自底向上的特征融合路径二；
[0016]特征融合路径一中自顶向下依次包括特征图M4、M3、M2、M1，顶层特征图M4为直接对特征图C4进行1*1卷积降低通道数目得到，其余特征图M
i
,i＝1,2,3通过一个浅层特征图C
i
和一个深层特征图M
i+1
融合得到；
[0017]特征融合路径二中自底向上依次包括特征图P1、P2、P3、P4，底层特征图P1直接复制M1的值，其余特征图P
i
,i＝2,3,4通过一个浅层特征图P
i
‑1和一个深层特征图M
i
融合得到；
[0018]最后将[M2,M3,M4]和[P2,P3,P4]沿通道维度拼接成多尺度特征[y1,y2,y3]。
[0019]具体地，步骤三中构造的缺陷检测模型为由多个耦合块串联而成的耦合块链，耦合块即多尺度标准化流子网络；输入缺陷检测模型的多尺度特征依次经过耦合块链中的每个耦合块，且每经过一个耦合块对输入特征进行一次仿射可逆变换，经过多次仿射可逆变换将特征空间Y中的未知分布ρ
Y
映射到具有高斯分布ρ
Z
的潜在空间Z：
[0020]f(y
(1)
,
…
,y
(s)
)＝[z
(1)
,
…
,z
(s)
]＝z；
[0021]其中f表示多尺度标准化流网络，y＝[y
(1)
,
…
,y
(s)
]∈Y，y为外观图像x的图像特征，y
(s)
为y中第s个尺度的特征，z＝[z
(1)
,
…
,z
(s)
]∈Z，z为变换后与y对应的多尺度特征张量，z
(s)
为与y
(s)
对应的同尺度特征张量，s为特征尺度。
[0022]具体地，耦合块A对输入特征进行仿射可逆变换时，包括以下步骤：
[0023]S31：首先使用置换注意力机制融合耦合块输入特征的视觉信息与语义信息，得到融合特征张量
[0024]S32：将融合特征张量沿通道维度进行均匀划分得到特征和
[0025]S33：将划分后的特征和输入到跨尺度全卷积子网络，跨尺度全卷积子网络首先通过1*1的卷积扩张特征和的通道维度，再利用双线性插值上采样和跨步卷积下采样进行不同尺度特征之间的信息融合，最后分别按通道进行划分得到缩放参数s和偏移参数t；
[0026]利用特征y
in,1
作为输入得到参数s1(y
in,1
)和t1(y
in,1
),作用于y
in,2
得到特征y
out,2
；再利用特征y
out,2
作为输入得到参数s2(y
out,2
)和t2(y
out,2
)，作用于y
in,1
得到特征y
out,1
：
[0027][0028][0029]其中
⊙
为逐元素乘法，γ1与γ2为可学习的参数；
[0030]S34：最后将特征和按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度标准化流的无监督笔记本外观缺陷检测方法，其特征在于，将在笔记本电脑生产线上实时采集得到的笔记本电脑外观图像，依次输入到多尺度特征提取网络模型以及缺陷检测模型，得到笔记本电脑外观缺陷的检测结果；其中，对多尺度特征提取网络模型以及缺陷检测模型的进行训练时，包括以下步骤：步骤一、将笔记本电脑的原始外观图像进行预处理后，组成训练数据集；步骤二、构造基于ResNet50网络和特征金字塔网络的多尺度特征提取网络模型，提取训练数据集中外观图像的多尺度特征；步骤三、构造基于多尺度标准化流网络的缺陷检测模型，以步骤二中提取得到的多尺度特征作为缺陷检测模型的输入，通过计算损失函数对缺陷检测模型进行训练。2.根据权利要求1所述的基于多尺度标准化流的无监督笔记本外观缺陷检测方法，其特征在于，步骤一中将笔记本电脑的原始外观图像进行预处理时，利用工业相机在笔记本电脑生产线上对笔记本电脑的原始外观图像进行采集，然后通过随机角度旋转方法或平移方法对原始外观图像进行预处理。3.根据权利要求1所述的基于多尺度标准化流的无监督笔记本外观缺陷检测方法，其特征在于，步骤二中构造的多尺度特征提取网络模型包括ResNet50骨干网络；对ResNet50骨干网络使用公开数据集ImageNet进行预训练，得到初始参数，并保证ResNet50骨干网络的初始参数在多尺度特征提取网络模型以及缺陷检测模型的训练过程中保持不变；训练数据输入ResNet50骨干网络，分别得到ResNet50骨干网络五个阶段Stage0、Stage1、Stage2、Stage3、Stage4的最后一层输出的特征图C0、C1、C2、C3、C4。4.根据权利要求3所述的基于多尺度标准化流的无监督笔记本外观缺陷检测方法，其特征在于，步骤二中的多尺度特征提取网络模型还包括基于特征金字塔网络构建的多尺度特征提取网络；多尺度特征提取网络包括一条自顶向下的特征融合路径一和一条自底向上的特征融合路径二；特征融合路径一中自顶向下依次包括特征图M4、M3、M2、M1，顶层特征图M4为直接对特征图C4进行1*1卷积降低通道数目得到，其余特征图M
i
，i＝1，2，3通过一个浅层特征图C
i
和一个深层特征图M
i+1
融合得到；特征融合路径二中自底向上依次包括特征图P1、P2、P3、P4，底层特征图P1直接复制M1的值，其余特征图P
i
，i＝2，3，4通过一个浅层特征图P
i
‑1和一个深层特征图M
i
融合得到；最后将[M2，M3，M4]和[P2，P3，R4]沿通道维度拼接成多尺度特征[y1，y2，y3]。5.根据权利要求1所述的基于多尺度标准化流的无监督笔记本外观缺陷检测方法，其特征在于，步骤三中构造的缺陷检测模型为由多个耦合块串联而成的耦合块链，耦合块即多尺度标准化流子网络；输入缺陷检测模型的多尺度特征依次经过耦合块链中的每个耦合块，且每经过一个耦合块对输入特...

【专利技术属性】
技术研发人员：赵云波，张杰，李泽瑞，康宇，吕文君，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：