一种基于卷积神经网络的TFT-LCD模组白印检测方法技术

本发明专利技术涉及一种基于卷积神经网络的TFT‑LCD模组白印检测方法，属于工业缺陷检测领域。该方法包括图像预处理和缺陷检测；图像预处理为：通过相机采集待检测样本；通过仿射变换将待检测的整块模组区域校正为矩形；由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要。相较于其它级联式检测方法，该方法检测过程一步到位，可以有效降低阈值的数量，进而降低了培训成本与维护成本。单单以算法而言，神经网络算法的通用性本身就高于非神经网络的算法。

A TFT-LCD Module White Print Detection Method Based on Convolutional Neural Network

The invention relates to a TFT LCD module white print detection method based on convolution neural network, which belongs to the field of industrial defect detection. The method includes image preprocessing and defect detection; image preprocessing is: collecting samples to be detected by camera; correcting the whole module area to be detected to rectangle by affine transformation; due to the optical interference effect of modules, regular moire lines exist in the image to be detected by camera; removing moire lines in order to improve the accuracy of detection; saving detection time and zooming. The image captured by the camera saves the detection time, and the scaled size meets the needs of the detection network. Compared with other cascade detection methods, this method can effectively reduce the number of thresholds, thereby reducing the training costs and maintenance costs. In terms of algorithm alone, the generality of neural network algorithm itself is higher than that of non-neural network algorithm.

【技术实现步骤摘要】
一种基于卷积神经网络的TFT-LCD模组白印检测方法
本专利技术属于工业缺陷检测领域，涉及一种基于卷积神经网络的TFT-LCD模组白印检测方法。
技术介绍
我国是全球第一大TFT-LCD液晶模组生产国，相关企业以基本实现生产自动化，但是对于其质量检测基本仍采用人力检测的方式。人力检测缺陷有如下缺陷：1)检测标准因人而异，难以做到统一。2)检测速度慢，必须投入大量人力，否则难以匹配自动化生产设备生产的速度。3)漏检率会随着连续工作时间的长度大幅增加故而该产业急需智能化缺陷检测设备以提高生产良率，已达到节约成本的目标。而TFT-LCD模组缺陷中，Mura类的白印缺陷是一种常见的缺陷类型，检测难度高。现有的智能检测设备，其检测方法难以做到通用，往往出现更换新产品需要大量时间调整参数才能达较理想的检测效果，甚至需要更换其他方法。但是，随着企业正逐步走向柔性生产，这种长时间调参的方法难以达到企业的实际要求。对于Mura类的缺陷，现今已有的检测方案如下：1)基于ICA学习和多通道融合的TFT-LCDmura缺陷检测方法该方案首先通过收集大量的缺陷样本，通过FastICA算法从中分离出相互独立的图像基，以此重建图像。然后利用背景差分算法，通过设置多个阈值降低干扰项。最后利用Mura缺陷的颜色特征通过多通道融合的方法检测Mura缺陷。2)基于缺陷区域预判和水平集的TFT-LCDMura缺陷检测算法该算法首先通过缺陷预判定算法找到潜在的缺陷区域，剔除该ROI区域后拟合得到背景特征图。然后原图减去背景特征图后得到残差图像。最后通过一种基于阈值的水平集方法对残差图像进行分割来检测Mura缺陷。3)基于样本学习和人眼视觉特性的mura缺陷检测方法该方法首先对待检测图进行预处理以降低干扰并分割出潜在的Mura缺陷。再利用PCA学习大量的无缺陷样本，建立模型以重建背景图像，然后获取差分图像。最后建模实现阈值与背景的关系模型实现Mura缺陷的分割。然而，现有的检测方法大多是级联判断的方法。即先通过图像处理或者模式识别的的方法找到疑似白印缺陷的ROI区域，再通过建模精确地判断ROI区域是否是白印缺陷。该方法具有如下缺陷：1)需要设置大量的阈值参数，阈值参数会随着产品类型的改变而变动。对于新的产品，需要大量的时间调参才能满足需求，难以满足企业柔性生产的需求。2)配置参数需要长时间的培训，增加了维护的成本。3)难以量化检测的严格程度。对于较浅的白印缺陷漏检率较高。4)需要撕去模组的保护膜检测，或者必须严格保证保护膜干净程度。否则会大大增加Mura缺陷的误检率。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于卷积神经网络的TFT-LCD模组白印检测方法。本专利技术主要解决的问题是：1)大规模减少阈值参数的数量。2)实现可量化的检测严格程度的设置。3)加快检测速度，降低漏检率与误检率。4)降低维护成本，方便一线员工操作。5)尽可能排除保护膜上存在的不可避免的干扰项。为达到上述目的，本专利技术提供如下技术方案：一种基于卷积神经网络的TFT-LCD模组白印检测方法，该方法包括图像预处理和缺陷检测；所述图像预处理包括以下步骤：S1：通过相机采集待检测样本；S2：由于相机的位置或者待检测TFT-LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形；S3：由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；S4：为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要；所述缺陷检测的网络为20层卷积神经网络，其中：1)convolution卷积方式是标准的3×3尺寸的跨通道卷积方法；2)IN_MobileV2是基于MobileV2模块改进的新的卷积模块；利用IN显著提高亮度、色调变化特性的鲁棒性特点，以泛化不同类型模组的显示特性与同一类型模组在不同设置下的显示特性，降低误检率与漏检率；3)MobileV1与Mobilev2的作用均是减少参数量以轻量化网络；其中，DW是非跨通的深度卷积，PW是跨通道的点卷积；该卷积神经网络的缺陷检测在第11层与第14层实现，采用设置Anchors的方式进行缺陷检测与位置回归；对每个检测层设置3个anchor，通过对白印缺陷样本的聚类，第11层的Anchor尺寸值为[(13,13),(10,20)，(20，10)]，第14层的Anchor尺寸值为[(25,25),(20,40),(40,20)]。进一步，所述卷积神经网络在微调时：1)在IN_MobileV2block的特征提取能力显著高于MobileV1block，将IN_MobileV2放置在网络的前半部分；2)不在网络后期使用全连接层。进一步，所述缺陷检测的模块间有如下替代方案：1)使用IN_MobileV2-2模块或者IN_MobileV2-3模块替换主干网络的IN_MobileV2模块；2)使用标准的MobileV2模块替换IN_MobileV2模块；3)缺陷检测层，即11层与14层的Anchors尺寸值和数量值均能够微调。本专利技术的有益效果在于：(1)相较于其它级联式检测方法，该方法检测过程一步到位，可以有效降低阈值的数量，进而降低了培训成本与维护成本。单单以算法而言，神经网络算法的通用性本身就高于非神经网络的算法。(2)该模型基于Tensorflow-1.0实现，固化后的模型体积为5M～10M。模型体积小，在检测过程中不需要GPU加速，进一步降低设备成本。(3)对于新的模组类型，只需要添加该模组的样本在预训练模型上继续训练即可。随着不同种类模组的样本的添加，网络的泛化性会越来越强，即模型的通用性越来越高。实验证明，在GPU下，只需要采集200个缺陷样本约500个缺陷，训练4个小时即可达到平均95％以上的检测正确率。(4)该算法可以保证在驱动的输入电流与电压的不稳定时检测结果的稳定性，可以应用于全自动化的检测设备中。(5)对于4种不同类型的模组的缺陷样本，其检测结果的平均值如表1所示：表1平均检测结果统计表白印缺陷明显程度漏检率(％)误检率(％)较明显<0.1<0.1一般<0.2<0.5不明显<1.2<3.0这里需要着重声明的是：良好的预训练模型是加快训练的有效手段，为了得到一个良好的预训练模型，项目前期应尽可能多的收集不同类别模组的缺陷样本。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为图像预处理流程；图2为检测模块；图3为IN_Mobilev2Block；图4为Mobilev2Block；图5为Mobilev1Block；图6为IN_Mobilev2-2Block；图7为IN_Mobilev2-3Block。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。1.组成结构本专利技术的主要包括两个组成部分，分别是【图像预处理】部分与【缺陷检测】部分。【图像预处理】部分的流程如图1所示，其主要内容是：1)通过相机采集待检测样本。2)由于相机的位置或者待检测TFT-LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形。3)由于模组的光学本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的TFT‑LCD模组白印检测方法，其特征在于：该方法包括图像预处理和缺陷检测；所述图像预处理包括以下步骤：S1：通过相机采集待检测样本；S2：由于相机的位置或者待检测TFT‑LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形；S3：由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；S4：为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要；所述缺陷检测的网络为20层卷积神经网络，其中：1)convolution卷积方式是标准的3×3尺寸的跨通道卷积方法；2)IN_MobileV2是基于MobileV2模块改进的新的卷积模块；利用IN显著提高亮度、色调变化特性的鲁棒性特点，以泛化不同类型模组的显示特性与同一类型模组在不同设置下的显示特性，降低误检率与漏检率；3)MobileV1与Mobilev2的作用均是减少参数量以轻量化网络；其中，DW是非跨通的深度卷积，PW是跨通道的点卷积；该卷积神经网络的缺陷检测在第11层与第14层实现，采用设置Anchors的方式进行缺陷检测与位置回归；对每个检测层设置3个anchor，通过对白印缺陷样本的聚类，第11层的Anchor尺寸值为[(13,13),(10,20)，(20，10)]，第14层的Anchor尺寸值为[(25,25),(20,40),(40,20)]。...

【技术特征摘要】
1.一种基于卷积神经网络的TFT-LCD模组白印检测方法，其特征在于：该方法包括图像预处理和缺陷检测；所述图像预处理包括以下步骤：S1：通过相机采集待检测样本；S2：由于相机的位置或者待检测TFT-LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形；S3：由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；S4：为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要；所述缺陷检测的网络为20层卷积神经网络，其中：1)convolution卷积方式是标准的3×3尺寸的跨通道卷积方法；2)IN_MobileV2是基于MobileV2模块改进的新的卷积模块；利用IN显著提高亮度、色调变化特性的鲁棒性特点，以泛化不同类型模组的显示特性与同一类型模组在不同设置下的显示特性，降低误检率与漏检率；3)MobileV1与Mobilev2的作用均是减少参数量以轻量化网络；其中，DW是非跨通的深度卷积，PW是跨通道的点卷积；该卷积神经网络的缺陷检测在第1...

【专利技术属性】
技术研发人员：孔令峰，胡宗亮，潘科，詹慧妹，谢涛，
申请(专利权)人：重庆信息通信研究院，重庆电子信息中小企业公共服务有限公司，
类型：发明
国别省市：重庆,50