一种屏幕缺陷分类方法、电子设备及存储介质技术

本申请是关于一种屏幕缺陷分类方法、电子设备及存储介质。该屏幕缺陷分类方法包括：对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像，预处理包括：滤波、阈值分割、缺陷面积和边缘分析、尺度调整和降采样。缺陷样本图像包括缺陷ROI区域，缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸，通过屏幕缺陷检测网络对缺陷样本图像进行分类，得到屏幕缺陷图像的缺陷类型。本申请通过结合预处理和屏幕缺陷检测网络，能够快速准确的获取包含缺陷ROI区域的缺陷样本图像，带有准确的缺陷ROI区域的缺陷样本图像能够提高屏幕缺陷检测网络的分类准确率。另外，本申请还能够解决传统算法需要根据不同缺陷类型调整参数和运算步骤的问题。的问题。的问题。

【技术实现步骤摘要】
一种屏幕缺陷分类方法、电子设备及存储介质


[0001]本申请涉及屏幕缺陷检测
，尤其涉及一种屏幕缺陷分类方法、电子设备及存储介质。

技术介绍

[0002]屏幕缺陷分类方法可以检测出屏幕缺陷ROI区域，降低产品过检率和漏检率。现有的屏幕缺陷分类方法主要分为两类，一类是传统图像处理算法，另一类是卷积神经网络算法。传统图像处理算法根据不同类型的缺陷调整算法参数和算法步骤的顺序，增加了维护的工作量。卷积神经网络算法在采集缺陷ROI区域时，通常采用滑窗采集的方式，部分缺陷对应的图像区域跨度较大，可能导致采集的缺陷ROI区域不完整，使得屏幕缺陷分类准确率低。
[0003]传统图像处理算法使得维护工作量增加，卷积神经网络算法采集的缺陷ROI区域可能不完整，使得屏幕缺陷分类准确率低。

技术实现思路

[0004]本申请第一方面提供一种屏幕缺陷分类方法，包括：对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像，所述预处理包括：对所述输入的屏幕缺陷图像进行滤波，得到滤波后的图像；对所述滤波后的图像进行阈值分割，得到阈值分割后的图像；对所述阈值分割后的图像进行缺陷面积和边缘分析，得到缺陷分割图像；对所述缺陷分割图像进行尺度调整，得到尺度调整图像；对所述尺度调整图像进行降采样，得到所述缺陷样本图像；所述缺陷样本图像包括缺陷ROI区域，所述缺陷ROI区域为与所述屏幕缺陷图像中背景区域的颜色和轮廓皆不一致的图像区域；所述缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸；通过所述屏幕缺陷检测网络对所述缺陷样本图像进行分类，得到所述屏幕缺陷图像的缺陷类型；所述屏幕缺陷检测网络为使用特征融合训练图像和特征融合训练标签训练得到的网络。
[0005]进一步地，在所述得到缺陷样本图像之后，还包括：对缺少缺陷样本图像的缺陷类型进行样本扩充，获得缺陷训练图像；所述对缺少缺陷样本图像的缺陷类型进行样本扩充，包括：对所述缺陷样本图像进行旋转、平移、镜像和随机裁剪中的一种或多种处理后生成虚拟缺陷样本图像，将所述虚拟缺陷样本图像加入到同类型的所述缺陷样本图像。
[0006]进一步地，在所述获得缺陷训练图像之后，还包括：将无缺陷训练图像和所述缺陷训练图像进行特征融合，得到所述特征融合训练图像和所述特征融合训练标签，其中，所述无缺陷训练图像为对不含屏幕缺陷的图像进行所述预处理得到的图像；
所述特征融合使用混类增强MixUp法，包括：根据以下公式基于融合权重函数的两个分布参数得到融合权重：λ=Beta（α,β）；其中，λ为所述融合权重，α为第一分布参数，β为第二分布参数；根据以下公式基于所述融合权重对所述无缺陷训练图像和所述缺陷训练图像进行加权融合，得到所述特征融合训练图像：mixed_batch
x
=λ*batch
x1
+(1
‑
λ)*batch
x2
；其中，mixed_batch
x
为特征融合训练图像，batch
x1
为所述无缺陷训练图像，batch
x2
为所述缺陷训练图像；根据以下公式对所述无缺陷训练图像对应的标签和所述缺陷训练图像对应的标签进行加权融合，得到所述特征融合训练标签：mixed_batch
y
=λ*batch
y1
+(1
‑
λ)*batch
y2
；其中，mixed_batch
y
为特征融合训练标签，batch
y1
为所述无缺陷训练图像对应的标签，batch
y2
为所述缺陷训练图像对应的标签。
[0007]所述屏幕缺陷检测网络，包括：输入层，用于获取图像；2个64通道的卷积层，用于根据输入层获取的图像输出图像第一层特征；2个128通道的卷积层，用于根据所述图像第一层特征输出图像第二层特征；2个256通道的卷积层，用于根据所述图像第二层特征输出图像第三层特征；4个512通道的卷积层，用于根据所述图像第三层特征输出图像第四层特征；最大池化层，对所述图像第四层特征使用最大池化的方式进行池化后输出池化后的图像特征，用于减少图像的特征和保持图像特征不变；全连接层，用于对池化后的图像特征进行加权求和，输出各个分类的概率；输出层，用于根据各个分类的概率，使用归一化指数函数输出分类结果。
[0008]进一步地，在所述得到所述屏幕缺陷图像的缺陷类型之后，还包括：增加分类准确率低的缺陷类型对应的缺陷训练图像；调整所述屏幕缺陷检测网络的训练参数；对未经训练的屏幕缺陷检测网络使用增加后的缺陷训练图像，训练所述未经训练的屏幕缺陷检测网络，得到优化后的屏幕缺陷检测网络。
[0009]所述缺少缺陷样本图像的缺陷类型，包括：白点状亮度不均匀、异物晕开或边缘漏光。
[0010]进一步地，Beta为贝塔分布，第一分布参数α设置为0.5，第二分布参数β设置为0.5。
[0011]所述屏幕缺陷检测网络的训练参数，包括：学习率、最大迭代次数或激活函数。
[0012]本申请第二方面提供一种电子设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行本申请提供的任一种屏幕缺陷分类方法。
[0013]本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行本申请提供的任一种屏幕缺陷分类方法。
[0014]本申请提供的技术方案可以包括以下有益效果：本申请提供一种屏幕缺陷分类方法，对输入的屏幕缺陷图像进行预处理，能够快速准确的获取包含缺陷ROI区域的缺陷样本图像，将缺陷样本图像输入屏幕缺陷检测网络进行分类，带有准确的缺陷ROI区域的缺陷样本图像能够提高屏幕缺陷检测网络的分类准确率。通过结合预处理和屏幕缺陷检测网络，还能够解决传统算法需要根据不同缺陷类型调整参数和运算步骤的问题。
[0015]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0016]通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
[0017]图1是本申请实施例示出的屏幕缺陷图像的缺陷分类的流程示意图；图2是本申请实施例示出的屏幕缺陷检测网络的训练方法的流程示意图；图3是本申请实施例示出的屏幕缺陷检测网络的结构示意图；图4是本申请实施例示出的优化屏幕缺陷检测网络的流程示意图；图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
[0018]下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种屏幕缺陷分类方法，其特征在于，包括：对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像，所述预处理包括：对所述输入的屏幕缺陷图像进行滤波，得到滤波后的图像；对所述滤波后的图像进行阈值分割，得到阈值分割后的图像；对所述阈值分割后的图像进行缺陷面积和边缘分析，得到缺陷分割图像；对所述缺陷分割图像进行尺度调整，得到尺度调整图像；对所述尺度调整图像进行降采样，得到所述缺陷样本图像；所述缺陷样本图像包括缺陷ROI区域，所述缺陷ROI区域为与所述屏幕缺陷图像中背景区域的颜色和轮廓皆不一致的图像区域；所述缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸；通过所述屏幕缺陷检测网络对所述缺陷样本图像进行分类，得到所述屏幕缺陷图像的缺陷类型；所述屏幕缺陷检测网络为使用特征融合训练图像和特征融合训练标签训练得到的网络。2.根据权利要求1所述的一种屏幕缺陷分类方法，其特征在于，在所述得到缺陷样本图像之后，还包括：对缺少缺陷样本图像的缺陷类型进行样本扩充，获得缺陷训练图像；所述对缺少缺陷样本图像的缺陷类型进行样本扩充，包括：对所述缺陷样本图像进行旋转、平移、镜像和随机裁剪中的一种或多种处理后生成虚拟缺陷样本图像，将所述虚拟缺陷样本图像加入到同类型的所述缺陷样本图像。3.根据权利要求2所述的一种屏幕缺陷分类方法，其特征在于，在所述获得缺陷训练图像之后，还包括：将无缺陷训练图像和所述缺陷训练图像进行特征融合，得到所述特征融合训练图像和所述特征融合训练标签，其中，所述无缺陷训练图像为对不含屏幕缺陷的图像进行所述预处理得到的图像；所述特征融合使用混类增强MixUp法，包括：根据以下公式基于融合权重函数的两个分布参数得到融合权重：λ=Beta（α,β）；其中，λ为所述融合权重，α为第一分布参数，β为第二分布参数；根据以下公式基于所述融合权重对所述无缺陷训练图像和所述缺陷训练图像进行加权融合，得到所述特征融合训练图像：mixed_batch
x
=λ*batch
x1
+(1
‑
λ)*batch
x2
；其中，mixed_batch
x
为特征融合训练图像，batch
x1
为所述无缺陷训练图像，batch
x2
为所述缺陷训练图像；根据以下公式对所述无缺陷训练图像对应的标签和所述缺陷训练图像对应的标签进行加权融合，得到所述特征融合训练标签：mixed_batch...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：高视科技苏州有限公司，
类型：发明
国别省市：