一种显示屏复杂画面的缺陷检测方法技术

本发明专利技术公开了一种显示屏复杂画面的缺陷检测方法，具体基于规则进行大量模拟数据生成来驱动孪生深度卷积网络模型，将缺陷建模为与正常检测画面的区别而不对缺陷形态进行直接建模，通过孪生特征的多级融合与三维注意力解码，从而得到了一个能检测与正常画面不同区域的网络模型，用于未知形态的复杂显示屏缺陷像素级检测。本发明专利技术的方法解决了显示屏复杂画面的缺陷细粒度检测问题，且不需要实际缺陷样本及标注，具有未知形态缺陷检测的泛化性。具有未知形态缺陷检测的泛化性。具有未知形态缺陷检测的泛化性。

【技术实现步骤摘要】
一种显示屏复杂画面的缺陷检测方法


[0001]本专利技术属于图像处理技术，具体涉及机器视觉领域的显示屏显示缺陷、材料表面缺陷检测。

技术介绍

[0002]材料表面缺陷是指以脏污、斑点、划痕、断裂等形式存在的材料问题，并广泛存在于纺织品、钢铁、PCB板及LCD(Liquid Crystal Display)显示屏等工业品。材料表面缺陷检测是工业生产中的重要流程，若检测失败，将导致经济损失甚至材料安全问题。其中，LCD缺陷检测常利用精心设计的特定画面来进行缺陷检测，包括RGB纯色画面、黑白画面、灰阶过渡画面、人脸画面等等。人脸画面是一种包含了文字、RGB色块、灰阶过渡、人脸的复合检测画面，利用该类画面可以暴露异常显示屏点、线、不规则等多种缺陷。
[0003]目前主流的表面缺陷机器视觉检测算法有三大类：一大类属于图片级检测，即只判断图片是否包含异常，但不给出具体的缺陷像素位置，在显示屏缺陷检测的应用场景中显然不适用。第二类则是语义分割算法，该类算法被广泛应用于遥感图像地物分类、自然图像场景理解等诸多像素级分类领域，也可用于缺陷检测，但需要通过大量样本来学习分割目标的形态特征。第三类则是基于流模型样本分布建模的异常检测算法，通过学习大量正常样本的数据分布并映射为已知分布，当输入异常样本时由于与原分布偏差较大而被检出，但该类方法只能给出缺陷的模糊位置。
[0004]综上，目前主流机器视觉缺陷检测方法在显示屏缺陷检测应用场景中存在四方面问题，包括：1)基于图片级检测与异常检测的算法难以给出精确的缺陷像素级位置；2)异常显示屏样品数量少、涉及商业保密造成的缺陷样本难以获取，使多数基于大量数据驱动的机器视觉模型失效；3)缺陷本身形态不固定、分布不规则导致的缺陷特征难以用语义分割一类的算法进行外观建模；4)复杂的显示屏生产环节导致了缺陷的不可控性，因此已收集的缺陷样本难以应对未知形态缺陷检测的问题。

技术实现思路

[0005]为解决现有技术存在的上述问题，本专利技术提出了一种显示屏复杂画面的缺陷检测方法。
[0006]本专利技术的具体技术方案为：一种显示屏复杂画面的缺陷检测方法，包括以下步骤：
[0007]S1、对多类显示屏复杂画面进行2类缺陷图像及对应标注图的模拟生成，其中，线缺陷采用要素集排列组合及区域随机排布方式，异常点缺陷采用多阈值分割及点集随机聚类方式，得到模拟缺陷训练数据集；
[0008]S2、每次训练中，并行的将模拟缺陷与对应正常检测图像输入多级孪生卷积网络，得到多尺度孪生特征图，按对应尺度在通道维度进行拼接，得到多尺度孪生特征对；
[0009]S3、下一级尺度孪生特征对上采样后，与上一级尺度的孪生特征对拼接，经过多级非线性点卷积层对通道特征进行重加权；将重加权后的通道特征经过一组空洞率为0/1/2
的3
×
3空洞卷积以在不同局部空间范围进行特征融合，得到孪生多尺度融合特征；
[0010]S4、对孪生多尺度融合特征，分别从水平、垂直与通道三个方向生成加权向量，并将加权向量经过多级全连接与Relu激活层，得到最终的三维加权向量；此三个加权向量分别与孪生多尺度融合特征的三个维度重加权，然后将重加权特征图经过1
×
1卷积层降维为二通道，经过Softmax进行归一化为二通道概率图，得到表示缺陷与正常区域的二值图；
[0011]S5、计算输出二通道概率图与模拟标注图的交叉熵损失，并利用梯度反向传播最小化该损失，修正孪生卷积网络参数；
[0012]S6、以步骤S2
‑
S5的方式遍历模拟数据集中所有样本，得到可用于未知形态复杂显示屏的缺陷检测模型。
[0013]S7、输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测，输出代表缺陷与正常区域的二值预测图。
[0014]进一步的，步骤S1具体基于10类复合检测画面模拟生成线和异常点缺陷及相应的模拟标注二值图，二值图上1和0分别代表缺陷及正常区域，包括以下子步骤：
[0015]S11：线缺陷通过要素集随机组合及区域随机排布方式生成，其要素集包括线的宽度(3
‑
30个像素间隔为3，共10种)、颜色(黑/白/红/黄/蓝，共5种)、透明度(0％
‑
50％间隔10％，共5种)、数量(1
‑
5根线)，当生成K条线时将画面划分为K部分，每根线在区域内进行随机位置排布。
[0016]S12：异常点缺陷采用多阈值分割及点集随机聚类方式生成，以间隔为5设定50
‑
200共30个灰度级分割阈值，然后对正常检测画面以随机选取的某个阈值进行二值化分割，得到二值分割图；取二值分割图的边缘点集，利用K均值随机聚类将边缘点集划分为10个子点集，每个子点集随机赋予某种RGB颜色，得到最终的异常缺陷颜色及位置点集。
[0017]S13、将生成的线与异常点缺陷，进行高斯模糊后，叠加到被施加偏差干扰的正常检测画面，其中，偏差干扰包括亮度、对比度、饱和度各10％以内，RGB三通道色偏20个灰度级以内，ISO颜色噪声0.01
‑
0.03，强度噪声0.1
‑
0.3，所有偏差数值选取满足均匀分布；
[0018]进一步的，在步骤S2中：所使用的孪生多级网络可为任意的深度卷积神经网络并选取中间3级作为输出(输出层级尺度以0.5倍逐级下降)，在使用时并行地接收两张图像输入，进行一次代价函数计算及网络参数更新。
[0019]每次训练时，将缺陷图像(Not good,NG图)与对应的正常检测图像(OK图)并行输入到多级孪生卷积网络，得到多尺度孪生特征图NG1/NG2/NG3以及OK1/OK2/OK3，并将对应尺度的孪生特征图并按通道维度进行拼接，即
[0020][0021]F
i
＝concat(NG
i
,OK
i
),i＝1,2,3
[0022]其中，concat表示按通道维度拼接，H
i
、W
i
与C
i
分别为第i层特征图的宽、高和通道数量；H
i
＝2H
i+1
,W
i
＝2W
i+1
，即前一级特征图的尺寸是下一级的两倍，拼接后得到孪生特征对F
i
(i＝1,2,3)。
[0023]进一步的，步骤S3中下一级尺度特征F
i+1
对上采样后，与上一级尺度的特征F
i
拼接，得到拼接后的孪生特征对F
i,i+1
，即
[0024]F
i,i+1
＝concat(F
i
,UP2×
(F
i+1
)),i＝1,2
[0025]其中，UP2×
表示2倍上采样，拼接后的孪生特征分别经过K级1
×
1卷积C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示屏复杂画面的缺陷检测方法，包括以下步骤：S1、对多类显示屏复杂画面进行2类缺陷图像及对应标注图的模拟生成，其中，线缺陷采用要素集排列组合及区域随机排布方式，异常点缺陷采用多阈值分割及点集随机聚类方式，得到模拟缺陷训练数据集；S2、每次训练中，将模拟缺陷与对应正常检测图像并行输入多级孪生卷积网络，得到多尺度孪生特征图，按对应尺度在通道维度进行拼接，得到多尺度孪生特征对；S3、下一级尺度孪生特征对上采样后，与上一级尺度的孪生特征对拼接，经过多级非线性点卷积层对通道特征进行重加权；将重加权后的通道特征经过一组空洞率为0/1/2的3
×
3空洞卷积以在不同局部空间范围进行特征融合，得到孪生多尺度融合特征；S4、对孪生多尺度融合特征，分别从水平、垂直与通道三个方向生成加权向量，并将加权向量经过多级全连接与Relu激活层，得到最终的三维加权向量；此三个加权向量分别与孪生多尺度融合特征的三个维度重加权，然后将重加权特征图经过1
×
1卷积层降维为二通道，经过Softmax进行归一化为二通道概率图，得到表示缺陷与正常区域的二值图；S5、计算输出二通道概率图与模拟标注图的交叉熵损失，并利用梯度反向传播最小化该损失，修正孪生卷积网络参数；S6、以步骤S2
‑
S5的方式遍历模拟数据集中所有样本，得到可用于未知形态复杂显示屏的缺陷检测模型；S7、输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测，输出代表缺陷与正常区域的二值预测图。2.根据权利要求1所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤S1具体基于10类复合检测画面模拟生成线和异常点缺陷及相应的模拟标注二值图，二值图上1和0分别代表缺陷及正常区域，包括以下子步骤：S11：线缺陷通过要素集随机组合及区域随机排布方式生成，其要素集包括线的宽度(3
‑
30个像素间隔为3，共10种)、颜色(黑/白/红/黄/蓝，共5种)、透明度(0％
‑
50％间隔10％，共5种)、数量(1
‑
5根线)，当生成K条线时将画面划分为K部分，每根线在区域内进行随机位置排布；S12：异常点缺陷采用多阈值分割及点集随机聚类方式生成，以间隔为5设定50
‑
200共30个灰度级分割阈值，然后对正常检测画面以随机选取的某个阈值进行二值化分割，得到二值分割图；取二值分割图的边缘点集，利用K均值随机聚类将边缘点集划分为10个子点集，每个子点集随机赋予某种RGB颜色，得到最终的异常缺陷颜色及位置点集；S13、将生成的线与异常点缺陷，进行高斯模糊后，叠加到被施...

【专利技术属性】
技术研发人员：陈怀新，刘壁源，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：