一种基于语义分割的图像复合缺陷的检测方法及系统技术方案

本发明专利技术涉及屏幕检测技术领域，公开一种基于语义分割的图像复合缺陷的检测方法及系统，包括以下步骤：S1.构建语义分割网络模型；S2.获取第一图像集，将第一图像数据集输入初始化后语义分割网络模型进行预训练；S3.根据需要检测缺陷类型的数量，设置预训练好的语义分割网络模型的输出层的通道数；S4.获取第二图像数据集，将第二图像数据集输入预训练后的语义分割网络模型进行训练，得到具有复合缺陷检测能力的语义分割网络模型；S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型得到缺陷预测图。本发明专利技术解决了现有技术存在依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题，且具有效率高、误差小的特点。误差小的特点。误差小的特点。

【技术实现步骤摘要】
一种基于语义分割的图像复合缺陷的检测方法及系统


[0001]本专利技术涉及屏幕检测
，更具体的，涉及一种基于语义分割的图像复合缺陷的检测方法及系统。

技术介绍

[0002]在手机生产领域中，LCD屏幕的用量大，品质要求高，因此，需要对LCD屏幕进行缺陷检测，以排除有缺陷的LCD屏幕。在对LCD屏幕进行检测时，需要同时满足LCD屏幕缺陷检测的快速性和准确性。
[0003]现有技术通常采用到深度学习语义分割方法对获取的LCD屏幕图像进行检测。语义分割是计算机视觉中的一个重要分支，主要任务是根据输入的图像，使用对应的类标记输入图像的每个像素。
[0004]深度学习在语义分割领域上的应用，体现在采用对图像特征使用卷积层进行上下采样的方法，不依赖于像素块方法，这种方法单个像素感受野固定，在检测速度与准确率难以同时获得较好的水平。语义分割的主要是通过卷积层进行下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别的映射关系，通过上采样根据每个像素对应的高维特征进行像素分类。
[0005]LCD屏幕缺陷检测主要面临着手机屏幕存在纹理背景，对图像预处理与缺陷存在与否的判断造成负面影响、LCD屏幕缺陷种类多，每种缺陷的图像特征存在明显差异，难以通过单个算法进行所有缺陷的检测与分类、LCD屏幕的缺陷样品少，缺陷品和合格品的比例严重失调，得到的检测算法泛化能力低，易出现过拟合的问题。
[0006]传统的表面缺陷检测算法一般根据缺陷特征信息，人为地设计每个缺陷的识别算法，一般使用图像滤波，形态学操作，图像二值化处理，边缘计算等。传统的表面缺陷检测算法一般可实现调整不同的参数实现能够较快速地识别屏幕缺陷，但是存在每一种具有不同特征地缺陷都需要对其单独地设计识别算法、泛化能力差，对成像要求高，当背景信息改变时需要及时地对算法的参数进行调整以实现最佳的检测效果的缺点。
[0007]根据现有的一些用于缺陷检测的语义分割模型，比如采用经典的U
‑
Net模型进行缺陷检测，在面临单个缺陷的情况下能够有效的进行检测，但是当多种缺陷存在时，由于U
‑
Net模型输出是连续的，我们人为地将多种缺陷标记为离散的数值，同一个模型在缺陷边缘与缺陷交叉重叠区域检测效果差，更多地会每个缺陷使用一个U
‑
Net模型。因此采用U
‑
Net模型对多种缺陷检测会导致计算速度慢，占用资源多，对环境地硬件要求高。同时每种缺陷之间的检测网络相互独立，数据集的构成也需要保证每种缺陷数量。
[0008]现有技术有一种多层级的智能手机屏幕缺陷检测方法，包括步骤：人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；利用深度残差网络和特征金字塔网络对数据集进行多尺度缺陷区域特征抽取，得到多尺度特征图像；抽取目标兴趣检测区域。
[0009]然而现有技术存在缺陷检测时依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题。因此如何专利技术一种误差小、效率高、不依赖人为设计的屏幕表面复合缺陷检测方法，
是本
亟需解决的问题。

技术实现思路

[0010]本专利技术为了解决现有技术中依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题，提供了一种基于语义分割的图像复合缺陷的检测方法，其具有效率高、误差小的特点。
[0011]为实现上述本专利技术目的，采用的技术方案如下：
[0012]一种基于语义分割的图像复合缺陷的检测方法，包括以下步骤：
[0013]S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；
[0014]S2.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；
[0015]S3.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；
[0016]S4.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；
[0017]S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。
[0018]优选的，所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。
[0019]进一步的，所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。
[0020]更进一步的，所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3
×
3普通卷积层、稀疏度为6的3
×
3的空洞卷积层、稀疏度为12的3
×
3的空洞卷积层、稀疏度为18的3
×
3的空洞卷积层。
[0021]更进一步的，所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1
×
1卷积层、作为输出层的3
×
3卷积层；
[0022]其中所述的1
×
1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；
[0023]叠加后的特征图通过3
×
3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。
[0024]更进一步的，在步骤S1中，将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、宽为3且通道数大于16的卷积替换为深度可分离卷积；
[0025]所述的深度可分离卷积具体为：先逐通道对特征图进行3
×
3卷积，再跨通道进行1
×
1卷积，实现横向与纵向信息分开卷积；
[0026]所述的深度可分离卷积的计算参数量为:H
F
·
W
F
·
D
I
·
(H
C
·
W
C
+D
O
)；
[0027]其中，H
C
表示卷积核的长，W
C
表示卷积核的宽，H
F
表示特征图的长，W
F
表示特征图的宽,D
I
表示深度可分离卷积的输入通道数、D
O
表示深度可分离卷积的输出通道数。
[0028]更进一步的，在步骤S5中，对第二图像数据集进行数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的图像复合缺陷的检测方法，其特征在于：包括以下步骤：S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；S2.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；S3.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；S4.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。2.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。3.根据权利要求2所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。4.根据权利要求3所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3
×
3普通卷积层、稀疏度为6的3
×
3的空洞卷积层、稀疏度为12的3
×
3的空洞卷积层、稀疏度为18的3
×
3的空洞卷积层。5.根据权利要求3所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1
×
1卷积层、作为输出层的3
×
3卷积层；其中所述的1
×
1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；叠加后的特征图通过3
×
3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。6.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：在步骤S1中，将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、宽为3且通道数大于16的卷积替换为深度可分离卷积；所述的深度可分离卷积具体为：先逐通道对特征图进行3
×
3卷积...

【专利技术属性】
技术研发人员：任志刚，黄梓豪，吴宗泽，赖家伦，钟振志，周坤，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：