基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法技术

本发明专利技术属于深度学习的图像识别领域，具体公开了一种基于AYOLOv3‑Tiny新框架的PAD导光板缺陷可视化检测方法，包括在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416*416的小图像，输入上位机里的具有在线生成能力的PAD导光板缺陷检测模型中，输出获得带有缺陷标记及置信度的导光板图像，用以实现对导光板上的点、线、面缺陷的进行预测缺陷的位置以及类别。

【技术实现步骤摘要】
基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
本专利技术属于深度学习的图像识别领域，具体为基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法。
技术介绍
导光板(lightguideplate)是液晶显示器(LiquidCrystalDisplay)背光源的主要部件，通过各种疏密、大小不一的导光点控制光的散射方向，把冷阴极灯管的线光源转化为均匀面光源，为液晶显示器提供稳定的光源。在导光板的丝印制作、化学蚀刻、激光加工和撞点加工等生产制造过程中，由于原料成分、设备使用情况、加工工艺以及人工操作等因素的影响，其表面不可避免地会出现亮点、线划伤、刮伤等加工缺陷，有缺陷的导光板会直接影响液晶屏的显示效果。根据缺陷的形状，将缺陷分为三大类：点缺陷、线缺陷与面缺陷。点缺陷主要指的是在导光板内部形成的点状缺陷，主要包括亮点与压伤。在塑化过程中，塑胶原料因温度过低从而导致不能完全熔化、成型机周围粉尘较重或者塑胶原料不干净，掺杂着白色的杂质等，会呈现出亮点缺陷，而线缺陷与面缺陷指的是在导光板表面形成的线状和面状缺陷，主要表现为导光板表面出现划伤与刮伤痕迹。在导光板生产过程中，由于导光板接触面的不洁净，如抛光机、滚轮清洁等，或者与运输皮带存在相对位移，导致导光板在运动过程中产生较大的摩擦，从而在导光板表面形成条状划痕或者面状刮伤痕迹。目前，国内导光板缺陷检测主要依靠人工操作去完成，但人工检测缺陷的局限性非常明显，主要在于：(1)人工检测环境不佳，工人长期面对导光板，会严重损害员工视力；(2)导光板缺陷检测主要凭借人眼判断识别，存在着人为主观因素，难以形成可以量化的质量标准；(3)人工操作易受到多种因素干扰，如外界环境，人眼疲劳等，使得实际检测效率与精度都会受到一定的影响；(4)导光板检测复杂度高，难度大，缺陷种类多，员工很难掌握相关检测技术。目前手机导光板缺陷检测主要通过验光人员人工完成，在检验治具的打光条件下，点亮导光板，检测人员目测导光板某处或多处是否出现亮点、划伤、刮伤等缺陷，从而判定导光板是否存在缺陷。由于人工检测缺陷的各种局限性，人工亮点检测的精度、效率、稳定性等很难适应企业的要求。为取得高质量导光板检测图像，需要采用高分辨率的线扫相机进行取像，获得的导光板缺陷图像大小在420M左右。在工业现场，企业要求在6秒之内完成对一张导光板的缺陷检测，这也对缺陷的检测效率提出了更高的要求。
技术实现思路
本专利技术要解决的技术问题是基于AYOLOv3-Tiny新框架，提出一种PAD导光板缺陷可视化检测方法，能同时完成对导光板上的点、线、面缺陷的定位和分类。为了解决上述技术问题，本专利技术提供基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，包括的过程如下：在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416×416的小图像，输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型，输出获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中；所述PAD导光板缺陷检测模型基于YOLOv3-Tiny网络构建，包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4-7层均为最大池化层+卷积层，第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入；检测层包括第8层的卷积层、第一预测通道和第二预测通道，主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第9-11层，13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层；第二预测通道依次包括第12-16层，第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图，再依次通过第15层的卷积层和第16层的第二预测头层；最终输出具有缺陷标记和置信度的导光板图像。作为本专利技术的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的改进：所述OSM模块包括一个大小为2、步长为1的重叠池化层、一个3*3的卷积模块和一个空间注意力模块，将重叠池化后的特征图经过空间注意力模块，并与卷积模块输出进行element-wise乘法，空间注意力模块连接重叠池化层的输出和卷积模块的输出；OSM模块的计算过程如下：其中，F为重叠池化后的特征图，P为OSM模块的输入，表示对P进行大小为2，步长为1的重叠池化，B为批归一化，L为LeakyRelu激活函数，表示element-wise乘法，M(F)为空间注意力；其中，和表示在通道维度上进行平均池化和最大池化，f3×3表示3×3的卷积；σ表示sigmoid激活函数。作为本专利技术的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：所述DCM模块包括一个膨胀率为2的膨胀卷积和一个1*1的卷积层，并且通过shortcut直接连接DCM模块的输入和输出，膨胀卷积后执行批归一化操作和激活函数。作为本专利技术的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：所述主干网络层中第7层最大池化层大小为2，步长为1，其余最大池化层大小和步长均为2；所述主干网络层和检测层中的卷积层均包含一次卷积操作、批归一化BN以及激活函数。作为本专利技术的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：所述具有在线生成能力的PAD导光板缺陷检测模型的获取过程为：1)、采集在线生产的1300幅导光板图像，然后截取了2104幅包含点、线、面三类缺陷的小图像，每幅小图像分辨率为416×416，对每个小图像进行数据增强的处理，包括对原图像进行50％概率的镜像，以及对亮度进行120％～150％的增强，获得包含缺陷的图像共计3680幅；然后针对数据增强后的图像中的每个缺陷类型，按照6：2：2的比例将预处理后的图像划分训练集、验证集及测试集；2)、第一预测头层选取(62，35)、(138，111)、(414，205)三组先验框；第二预测头层选取(31，28)、(35，35)、(47，58)三组先验框；建立损失函数如下：Loss＝ωboxLbox+ωobjLobj+ωclsLcls其中，ωbox、ωobj和ωcls分别选取3.54、64.3和37.4，Lbox为坐标预测误差，Lobj为置信度误差，Lcls为分类误差；3)、训练总轮数为200，训练中的batchsize取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，非极大抑制NMS方法采用merge法，数据增强采用Mosaic方法，将训练集输入PAD导光板缺陷检本文档来自技高网...

【技术保护点】
1.基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于：/n在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416×416的小图像，输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型，输出获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中；/n所述PAD导光板缺陷检测模型基于YOLOv3-Tiny网络构建，包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4-7层均为最大池化层+卷积层，第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入；检测层包括第8层的卷积层、第一预测通道和第二预测通道，主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第9-11层，13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层；第二预测通道依次包括第12-16层，第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图，再依次通过第15层的卷积层和第16层的第二预测头层；最终输出具有缺陷标记和置信度的导光板图像。/n...

【技术特征摘要】
1.基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于：
在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416×416的小图像，输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型，输出获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中；
所述PAD导光板缺陷检测模型基于YOLOv3-Tiny网络构建，包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4-7层均为最大池化层+卷积层，第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入；检测层包括第8层的卷积层、第一预测通道和第二预测通道，主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第9-11层，13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层；第二预测通道依次包括第12-16层，第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图，再依次通过第15层的卷积层和第16层的第二预测头层；最终输出具有缺陷标记和置信度的导光板图像。


2.根据权利要求1所述的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于，所述OSM模块：
包括一个大小为2、步长为1的重叠池化层、一个3*3的卷积模块和一个空间注意力模块，将重叠池化后的特征图经过空间注意力模块，并与卷积模块输出进行element-wise乘法，空间注意力模块连接重叠池化层的输出和卷积模块的输出；
OSM模块的计算过程如下：



其中，F为重叠池化后的特征图，P为OSM模块的输入，表示对P进行大小为2，步长为1的重叠池化，B为批归一化，L为LeakyRelu激活函数，表示element-wise乘法，M(F)为空间注意力；



其中，和表示在通道维度上进行平均池化和最大池化，f3×3表示3×3的卷积；σ表示sigmoid激活函数。


3.根据权利要求2所述的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于，所述DCM模块：
包括一个膨胀率为2的膨胀卷积和一个1*1的卷积层，并且通过shortcut直接连接DCM模块的输入和输出，膨胀卷积后执行批归一化操作和激活函数。


4.根据权利要求3所述的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于，
所述主干网络层中第7层最大池化层大小为2，步长为1，其余最大池化层大小和步长均为2；所述主干网络层和检测层中的卷积层均包含一次卷积操作、批归一化BN以及激活函数...

【专利技术属性】
技术研发人员：李俊峰，姚家辉，杨元勋，周栋峰，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：浙江;33