一种AOI缺陷检测方法技术

本发明专利技术属于显示面板自动光学检测技术领域，公开了一种AOI缺陷检测方法，建立缺陷检测模型，缺陷检测模型包括生成器网络和判别器网络，缺陷检测模型用于获得缺陷相关信息；利用正样本建立训练集，利用训练集训练生成器网络和判别器网络；利用训练获得的生成器网络和判别器网络更新缺陷检测模型，获得更新后的缺陷检测模型；采集待检测面板图像；将待检测面板图像输入至更新后的缺陷检测模型中，进行缺陷检测，并获得缺陷检测信息。本发明专利技术解决了现有技术中基于监督式学习的面板缺陷检测方法存在的漏检明显异常区域、大量正样本利用不充分、负样本少的问题，能够提高整个AOI系统的缺陷检出能力，降低检测成本。

AOI defect detection method

【技术实现步骤摘要】
一种AOI缺陷检测方法
本专利技术涉及显示面板自动光学检测
，尤其涉及一种AOI缺陷检测方法。
技术介绍
自动光学检测系统（AOI）在工业中应用十分广泛，它可以代替人来完成一系列具有高度重复性和有一定风险的工作，具有速度快，精度高，可靠性好，无接触无损，性价比高和功能容易扩充等特点，大大提高了生成效率。在显示面板制造流水线中的AOI系统中有一个面板缺陷检测系统，其检测精准度对厂商制造的面板质量有着极为重要的保证。对于显示面板的缺陷检测，不论是外观检测还是模组点屏检测，首先由高精度相机对面板进行高质量多视角的拍图，然后利用AOI系统的检测算法对面板可能存在的缺陷进行检测和标定，并对不同的缺陷做出相应的处理。高精度相机拍出来的原始图像有着非常高的分辨率，典型的如6000x15000，而显示面板上面的缺陷形态不一，有的缺陷较为明显（如外观检缺陷），而有的缺陷肉眼都不可见，如亮暗点缺陷和某些MURA缺陷。LCD/OLED的AOI缺陷检测系统的首要任务就是从高精度相机得到的高分辨率图像中定位可能的缺陷，及时发现面板存在的问题并进一步提高产线的良品率。由于输入图像分辨率非常高，同时缺陷相对而言非常微小，这就对缺陷检测视觉算法提出了较高的要求。当前在显示面板AOI检测系统中进行缺陷检测的视觉算法主要基于两类，其一为基于规则和逻辑的传统计算机视觉算法，其二为基于样本数据的机器学习算法，其中主要以CNN为核心的深度学习视觉算法为主。对于传统计算机视觉算法，主要是基于手工特征提取的方式进行缺陷的检测，例如基于层次特征提取、阈值变换、数学形态学的传统缺陷分割算法。对于此类算法，由于理论依据充分，其检测结果具有可解释性强的特点。然而基于传统计算机视觉的算法由于要考虑到缺陷在可能高维度空间的不同变化情况，其调节超参数相应也会增多，同时传统算法的鲁棒性较差，不能很好适应缺陷形态的变化，手工提取的特征效果也不稳定，算法的效果进一步打折扣。如上所述，由于传统算法特征提取稳定性差，需调节参数多，因此近来显示面板缺陷检测逐渐转向基于深度学习算法。同样依据现场不同的需求，深度神经网络也有区别。对于某些现场，先是由传统计算机视觉的滑窗匹配算法对缺陷进行一个大致定位，然后由分类网络进行精确分类；对于要求高的现场，需要直接利用检测网络进行缺陷的精确定位，而对于更高要求的现场，还需要利用分割网络进行缺陷的精确分割。对于上述的所有分类检测分割网络，其都是基于显示面板缺陷样本进行学习的，而且所有的样本都是已知缺陷，且进行了人工的标注，因此目前的基于深度学习的面板缺陷检测算法大多是监督式学习的。工业实践表明，在显示面板上的缺陷形态千变万化，缺陷样本根本就不可能将所有种类给覆盖，旧的缺陷被人为归为新的一类同时，新的未知的缺陷（以下称为异常缺陷）又相继出现。由于采用的是监督式学习，类别在训练时候必须是恒定不变的，因此CNN只能自动提取出在训练集中的类别特征，而对于实际现场中出现的异常缺陷，由于不出现在训练集中，因此CNN在大多数情况下会漏检这类缺陷（异常缺陷），而这些异常缺陷一般都是较为明显的大范围的明显的异常，客户是无法接受这样的明显异常漏检。基于监督式学习的缺陷检测还有一个缺点，就是其训练集合依赖的数据集都是负样本，也就是被人工标注好的已知缺陷。然而在显示面板的工业缺陷检测领域，面板行业业界的良品率是非常高的，换言之样本集合中有大量的正样本，而负样本非常少。基于监督式学习的方式恰恰抛弃了数量占绝大多数的正样本，转而只利用少量的负样本进行学习。由于样本数量非常少，常常要进行一定程度的数据扩充，而数据扩充无法解决样本少的根本问题，扩充的数据只能对缺陷检测的精确度有小幅度的提升，而无法从根本上解决监督式分类检测分割在显示面板这个特定场景下的负样本在高维空间稀疏问题。
技术实现思路
本申请实施例通过提供一种AOI缺陷检测方法，解决了现有技术中基于监督式学习的面板缺陷检测方法存在的漏检明显缺陷、大量正样本利用不充分、负样本少的问题。本申请实施例提供一种AOI缺陷检测方法，包括以下步骤：建立缺陷检测模型，所述缺陷检测模型包括生成器网络和判别器网络，所述缺陷检测模型用于获得缺陷相关信息，所述缺陷相关信息包括输入样本的异常得分、和/或异常区域的具体位置信息；利用正样本建立训练集，利用所述训练集训练所述生成器网络和所述判别器网络；利用训练获得的所述生成器网络和所述判别器网络更新所述缺陷检测模型，获得更新后的缺陷检测模型；采集待检测面板图像；将所述待检测面板图像输入至所述更新后的缺陷检测模型中，进行缺陷检测，并获得所述待检测面板的所述缺陷相关信息。优选的，所述异常区域的具体位置信息包括异常区域轮廓、和/或异常区域边界框。优选的，所述生成器网络采用Unet结构，输入图像经过N层（N>=1）下采样、N层上采样处理后得到重构图像；所述下采样包括三个子处理过程，依次为LeakyRelu层、卷积层、批归一化层；所述上采样包括三个子处理过程，依次为Relu层、转置卷积层、批归一化层。优选的，所述判别器网络的输入图像经过N（N>=1）层下采样、特征提取、卷积处理后得到输出得分；所述下采样、所述特征提取均包括三个子处理过程，依次为LeakyRelu层、卷积层、批归一化层；所述卷积处理包括两个子处理过程，依次为卷积层、sigmoid层。优选的，所述缺陷检测模型包括依次连接的异常GAN前向模块和特征信息提取模块；所述异常GAN前向模块包括依次连接的生成器网络和判别器网络，用于获得输入样本的异常得分和残差图；所述特征信息提取模块包括依次连接的残差图开闭操作模块、异常区域轮廓提取模块、轮廓过滤模块，用于根据残差图获得异常区域轮廓和异常区域边界框。优选的，所述利用训练集训练所述生成器网络和所述判别器网络为：针对每一个正样本，真实图像作为输入图像，经过生成器网络后生成重构图像；所述重构图像输入至判别器网络，输出重构得分、重构特征；所述真实图像作为输入图像，直接经过所述判别器网络后输出真实得分、真实特征；根据所述真实图像、所述重构图像、所述真实特征、所述重构特征、所述真实得分、所述重构得分获得最小化的生成器损失函数和判别器损失函数。优选的，所述生成器损失函数包括残差损失、对抗损失、特征损失；所述判别器损失函数包括真实图对抗损失、重构图对抗损失；利用所述训练集根据所述生成器损失函数、所述判别器损失函数交替地通过反向传播训练对应网络。优选的，每一轮训练结束后，通过验证集进行测试，计算出AUC值作为此轮训练的测试指标；全部训练结束后，保存AUC值最高时对应的生成器网络和判别器网络，并将其用于更新的所述缺陷检测模型中。优选的，在将所述待检测面板图像输入至所述更新后的缺陷检测模型中之前，还包括：对所述待检测面板图像进行前处理；所述前处理包括：对所述待检测面板图像进行ROI区域提取，获取ROI区域图；对所述本文档来自技高网...

【技术保护点】
1.一种AOI缺陷检测方法，其特征在于，包括以下步骤：/n建立缺陷检测模型，所述缺陷检测模型包括生成器网络和判别器网络，所述缺陷检测模型用于获得缺陷相关信息，所述缺陷相关信息包括输入样本的异常得分、和/或异常区域的具体位置信息；/n利用正样本建立训练集，利用所述训练集训练所述生成器网络和所述判别器网络；/n利用训练获得的所述生成器网络和所述判别器网络更新所述缺陷检测模型，获得更新后的缺陷检测模型；/n采集待检测面板图像；/n将所述待检测面板图像输入至所述更新后的缺陷检测模型中，进行缺陷检测，并获得所述待检测面板的所述缺陷相关信息。/n

【技术特征摘要】
1.一种AOI缺陷检测方法，其特征在于，包括以下步骤：
建立缺陷检测模型，所述缺陷检测模型包括生成器网络和判别器网络，所述缺陷检测模型用于获得缺陷相关信息，所述缺陷相关信息包括输入样本的异常得分、和/或异常区域的具体位置信息；
利用正样本建立训练集，利用所述训练集训练所述生成器网络和所述判别器网络；
利用训练获得的所述生成器网络和所述判别器网络更新所述缺陷检测模型，获得更新后的缺陷检测模型；
采集待检测面板图像；
将所述待检测面板图像输入至所述更新后的缺陷检测模型中，进行缺陷检测，并获得所述待检测面板的所述缺陷相关信息。


2.根据权利要求1所述的AOI缺陷检测方法，其特征在于，所述异常区域的具体位置信息包括异常区域轮廓、和/或异常区域边界框。


3.根据权利要求1所述的AOI缺陷检测方法，其特征在于，所述生成器网络采用Unet结构，输入图像经过N层（N>=1）下采样、N层上采样处理后得到重构图像；
所述下采样包括三个子处理过程，依次为LeakyRelu层、卷积层、批归一化层；所述上采样包括三个子处理过程，依次为Relu层、转置卷积层、批归一化层。


4.根据权利要求1所述的AOI缺陷检测方法，其特征在于，所述判别器网络的输入图像经过N（N>=1）层下采样、特征提取、卷积处理后得到输出得分；
所述下采样、所述特征提取均包括三个子处理过程，依次为LeakyRelu层、卷积层、批归一化层；所述卷积处理包括两个子处理过程，依次为卷积层、sigmoid层。


5.根据权利要求2所述的AOI缺陷检测方法，其特征在于，所述缺陷检测模型包括依次连接的异常GAN前向模块和特征信息提取模块；
所述异常GAN前向模块包括依次连接的生成器网络和判别器网络，用于获得输入样本的异常得分和残差图；
所述特征信息提取模块包括依次连接的残差图开闭操作模块、异常区域轮廓提取模块、轮廓过滤模块，用于根据残差图获得异常区域轮...

【专利技术属性】
技术研发人员：詹东旭，张胜森，郑增强，
申请(专利权)人：武汉精立电子技术有限公司，武汉精测电子集团股份有限公司，
类型：发明
国别省市：湖北;42