一种显示面板外观缺陷检测方法技术

本发明专利技术属于显示面板检测技术领域，公开了一种显示面板外观缺陷检测方法，将显示面板图像增强处理裁剪为多个子图像；采用图像语义分割标注工具用多边形框对若干子图像进行标注，把子图像中的缺陷区域标示出来；由未经标注的子图像与标注后的子图像组成图像对；选取图像对中的部分作为训练集，余下的作为测试集；用训练集数据来训练改进型deeplab v3+深度学习语义分割模型，采用测试集来验证该模型；改进型deeplab v3+深度学习语义分割模型采用SENet分类网络作为骨干网络；采用训练好的改进型deeplab v3+深度学习语义分割模型对待测显示面板图像进行预测，输出目标缺陷的形状、面积。

A Method for Detecting Appearance Defects of Display Panel

【技术实现步骤摘要】
一种显示面板外观缺陷检测方法
本专利技术属于显示面板的自动化缺陷检测
，更具体地，涉及一种显示面板外观缺陷检测方法。
技术介绍
随着电子产品的普及与快速更新换代，对LCD屏幕、OLED屏幕有着极大的产量需求。在屏幕生产过程中，由于原材料、生产工艺、意外等情况，屏幕上可能出现各种缺陷，例如破片、气泡、划伤、缺角、裂痕等，缺陷产品会影响其性能或降低用户体验，是不允许流入市场的，因此需要对生产的显示屏进行检测。对显示屏的检测包括外观检测和背光检测，外观缺陷检测的现有方法包括：(1)传统AutomaticOpticInspection(自动光学检测，AOI)方法：先要提取ROI区域，再用传统方法算法检测，这种方法受背景、光照等因素影响较大，并且对不同缺陷采用不同的算法处理，检测多种缺陷时处理时间比较长。(2)深度学习的分类和检测方法：这些方法的优点是标注简单，分类只需要对整个图像进行标记，检测只需要对目标缺陷用矩形框标注，但也因为这个原因，检测出的目标面积和实际的目标面积之间有出入，无法用面积来卡控缺陷的输出。(3)深度学习的语义分割方法：检测出的目标是像素级别的，可以很好地从检测结果判断缺陷的形状，面积等特性，其缺点在于标注需要很大的工作量。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种显示面板外观缺陷检测方法，其目的在于将深度学习语义分割的方法用于外观缺陷检测，有效地提升外观缺陷检测的准确度。为实现上述目的，按照本专利技术的一个方面，提供了一种显示面板外观缺陷检测方法，包括如下步骤：(1)将显示面板图像进行增强处理后作为检测图像，并将每个检测图像裁剪为多个子图像；(2)采用图像语义分割标注工具用多边形框对若干子图像进行标注，把子图像中的缺陷区域标示出来；(3)由未经标注的子图像与标注后的子图像组成图像对；选取图像对中的部分作为训练集，余下的作为测试集；(4)用训练集数据来训练深度学习语义分割模型，采用测试集来验证该模型，直到达到预设的准确度；(5)采用训练好的深度学习语义分割模型对待测显示面板图像进行预测，输出目标缺陷的形状、面积。优选地，上述显示面板外观缺陷检测方法，其深度学习语义分割模型采用deeplabv3+深度学习语义分割模型，所述deeplabv3+深度学习语义分割模型采用SENet分类网络作为骨干网络。优选地，上述显示面板外观缺陷检测方法，训练集或测试集之中的样本输入到deeplabv3+深度学习语义分割模型，先经过编译器处理，利用模型中的SENet分类网络提取原图的特征，利用模型中的空洞空间金字塔池化层增加特征图的感受野。优选地，上述显示面板外观缺陷检测方法，SENet分类网络提取原图特征的方法包括：对原图特征经过卷积变换产生新的具有多个通道的特征信号，通过注意力模块来学习出每个通道的权重，使得有效的特征图谱权重大，无效或效果小的特征图谱权重小。优选地，上述显示面板外观缺陷检测方法，通过注意力模块来学习出各通道权重的过程中，先将特征的空间性压缩掉，仅保留通道维度，再为每个特征通道生成一个权重，用于显式地建模通道之间的相关性，最后将权重加权到原来的通道上，构成不同通道间重标定。优选地，上述显示面板外观缺陷检测方法，训练集或测试集之中的样本输入到改进型deeplabv3+深度学习语义分割模型进行encoder后，结合encoder得到的特征信息进行上采样操作，输出预测图像。优选地，上述显示面板外观缺陷检测方法，预测图像为语义分割的结果，预测图像的像素值对应于预设缺陷类型。优选地，上述显示面板外观缺陷检测方法，用像素值0代表背景、1代表气泡缺陷、2代表破片缺陷、3代表裂纹缺陷、4代表缺角缺陷、5代表划伤缺陷。优选地，上述显示面板外观缺陷检测方法，采用mIOU准确度来表征改进型deeplabv3+深度学习语义分割模型的准确度；mIOU准确度为测试集的实际值和预测值这两个集合的交集与并集之比。优选地，上述显示面板外观缺陷检测方法，子图像统一为512*512大小的三通道RGB图像。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本专利技术提供的显示面板外观缺陷检测方法，采用深度学习语义分割模型，将分类网络作为深度学习语义分割里的骨干网络，用于显示面板外观缺陷检测；一方面，适应性强，特别是对于背景和缺陷比较接近，或光照不均匀的特殊情况，用传统方法处理时需要增加额外的开销来应对这些特殊情况，而采用本专利技术提供的方法只需要用这些特殊样本来训练模型，让模型学习特殊样本的特征，再做预测时也相对准确，不用增加额外的处理时间。另一方面，相对于深度学习的分类和检测方法，采用本专利技术的方法能直接输出目标缺陷的形状，面积；又一方面，相对现有的语义分割方法，采用分类网络SENet作为骨干网络，通过网络去学习特征权重，使得有效的特征图谱权重大，无效或效果小的特征图谱权重小，使得检测准确度得到了很大提升。附图说明图1是本专利技术实施例中采用的深度学习语义分割模型示意图；图2是本专利技术实施例中采用的深度学习语义分割模型中的SENet分类网络示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。参照图1，实施例提供的显示面板外观缺陷检测方法，包括如下步骤：(1)采集显示面板图像；(2)预处理：将显示面板图像进行增强处理后作为检测图像，并将每个面板检测图像裁剪为多个大小为K*K像素的子图像；其中子图像的像素K*K依据显卡的处理频率以及显存确定；(3)标注：采用labelme图像语义分割标注工具，用多边形框把子图像中的缺陷区域标示出来；(4)建立训练集和测试集：对若干子图像进行标注，由未经标注的子图像与标注后的子图像组成原图和标注图像对；选取图像对中的部分作为训练集，余下的作为测试集；在一个实施例中，选取图像对中的90％作为训练集，其余10％作为测试集；(5)用训练集数据来训练深度学习语义分割模型，采用测试集来验证该模型，直到测试集的平均交并比mIOU(MeanIntersectionoverUnion)准确度不再提升；其中，mIOU准确度是语义分割的标准表征，为实际值和预测值这两个集合的交集与并集之比；(6)采用训练好的深度学习语义分割模型对待测显示面板图像进行预测，将待测显示面板图像裁剪成子图像输入到该模型，输出目标缺陷的形状、面积。在一个优选的实施例中，深度学习语义分割模型采用一种在deeplabv3+深度学习语义分割模型上做了改进的模型；deeplabv3+深度学习语义分割模型是谷歌在2018年3月开源的一个模型，在谷歌的deeplabv3+深度学习语义分割模型的开源代码中，DCNN采用mobilenet或Xception；在本专利技术中对该模型进行改进，采用SENet(Squeeze-and-ExcitationNetworks)注意力机制模块作为DCCN。参照图1，实施例中所采用的改进型deeplabv3+深度学习语义分割模型，训练集或测试集之中的样本输入到该本文档来自技高网...

【技术保护点】
1.一种显示面板外观缺陷检测方法，其特征在于，包括如下步骤：(1)将显示面板图像进行增强处理后作为检测图像，并将每个检测图像裁剪为多个子图像；(2)采用图像语义分割标注工具用多边形框对若干子图像进行标注，把子图像中的缺陷区域标示出来；(3)由未经标注的子图像与标注后的子图像组成图像对；选取图像对中的部分作为训练集，余下的作为测试集；(4)用训练集数据来训练深度学习语义分割模型，采用测试集来验证该模型，直到达到预设的准确度；(5)采用训练好的深度学习语义分割模型对待测显示面板图像进行预测，输出目标缺陷的形状、面积。

【技术特征摘要】
1.一种显示面板外观缺陷检测方法，其特征在于，包括如下步骤：(1)将显示面板图像进行增强处理后作为检测图像，并将每个检测图像裁剪为多个子图像；(2)采用图像语义分割标注工具用多边形框对若干子图像进行标注，把子图像中的缺陷区域标示出来；(3)由未经标注的子图像与标注后的子图像组成图像对；选取图像对中的部分作为训练集，余下的作为测试集；(4)用训练集数据来训练深度学习语义分割模型，采用测试集来验证该模型，直到达到预设的准确度；(5)采用训练好的深度学习语义分割模型对待测显示面板图像进行预测，输出目标缺陷的形状、面积。2.如权利要求1所述的的显示面板外观缺陷检测方法，其特征在于，所述深度学习语义分割模型采用deeplabv3+深度学习语义分割模型，所述deeplabv3+深度学习语义分割模型采用SENet分类网络作为骨干网络。3.如权利要求2所述的显示面板外观缺陷检测方法，其特征在于，训练集或测试集之中的样本输入到深度学习语义分割模型，先经过编译器处理，利用所述SENet分类网络提取原图的特征，利用模型中的空洞空间金字塔池化层增加特征图的感受野。4.如权利要求2或3所述的显示面板外观缺陷检测方法，其特征在于，SENet分类网络提取原图特征的方法包括：对原图特征经过卷积变换产生新的具有多个通道的特征...

【专利技术属性】
技术研发人员：梁勇，郑增强，张胜森，吴川，周雄，
申请(专利权)人：武汉精立电子技术有限公司，武汉精测电子集团股份有限公司，
类型：发明
国别省市：湖北,42