基于融合网络的手机屏幕缺陷分割方法、装置及设备制造方法及图纸

本发明专利技术属于机器视觉、缺陷检测领域，特别涉及基于融合网络的手机屏幕缺陷分割方法、装置及设备；所述方法包括采集手机屏幕图像，包括缺陷图像和无缺陷图像；利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果；本发明专利技术将缺陷检测网络与图像重构网络进行结合，不仅能够实现缺陷小目标的检测，还能准确分割出缺陷图像。

【技术实现步骤摘要】
基于融合网络的手机屏幕缺陷分割方法、装置及设备
本专利技术属于机器视觉、缺陷检测领域，特别涉及一种基于融合网络的手机屏幕缺陷分割方法、装置及设备。
技术介绍
手机屏幕作为人机交互的第一窗口，用于显示图像及色彩。目前，手机屏幕主要采用薄膜晶体管液晶显示器(Thin-Film-TransistorLiquid-CrystalDisplay，TFT-LCD)，以及有机发光二极管(OrganicLight-EmittingDiode，OLED)。TFT-LCD的构造是在两片平行的玻璃基板当中放置液晶盒，下基板玻璃上设置TFT(薄膜晶体管)，上基板玻璃上设置彩色滤光片，通过TFT上的信号与电压改变来控制液晶分子的转动方向，从而达到控制每个像素点偏振光出射与否而达到显示目的。OLED无需背光灯，采用非常薄的有机材料涂层和玻璃基板，当有电流通过时，这些有机材料就会发光，因为它的结构简单，可以使屏幕做得更轻更薄。手机屏幕生产科学技术含量高、生产环境要求高，难以保证百分之百合格率。生产环节稍微出现不规范操作就可能造成屏幕缺陷，使得手机屏幕不能正常工作，无法体现应有的光电效应。典型的屏幕显示缺陷有亮点、暗点、亮斑、Mura缺陷等，按形状可以主要分为点缺陷、线缺陷、块缺陷。传统缺陷检测主要依靠专业工人进行检测，但是人工检测成本高昂、检测效率低，难以满足手机屏幕市场的巨大需求。目前工业上也有针对手机屏幕的自动化检测，通过CCD工业相机采集手机屏幕图像，输入到控制处理系统进行缺陷检测。传统的机器视觉算法，针对特定的缺陷进行设计，在光照变化等复杂场景以及不同手机屏幕产品下，提取的特征不具有通用性，容易造成缺陷的漏检和错检。近年来，深度学习在机器视觉的广泛应用，给缺陷检测打开了新的思路，将深度学习应用于手机屏幕缺陷检测极具研究价值。在智能化手机屏幕缺陷检测系统中，主要分为两类方法：一类是基于机器视觉的缺陷检测，另一类是基于深度学习的缺陷检测。基于机器视觉的缺陷检测方法，通过对缺陷图像进行背景纹理拟合或背景纹理抑制，来达到消除背景的目的，在不同的缺陷类型和光照变化中，相同的参数设置无法适应各类情况，导致算法的使用场景受限，不具有通用性和灵活性。基于深度学习的缺陷检测，其具有较高的通用性、灵活性、自适应性，近年来成为主流的缺陷检测方法。其中，语义分割网络需要通过构建带有标注信息的图像数据集，在预先构建的网络模型中进行训练，但是存在缺陷数据少，以及缺陷目标小的问题，容易造成漏检和分割精度不高。另外，利用无缺陷图像进行图像重构网络的构建，再对缺陷进行分割，这类方法数据成本较低，分割效果较好，但是分割结果在一定程度上受重构图像影响，容易造成缺陷错检。语义分割网络在构建训练数据集时，缺陷目标小且不清晰的特点，使得图像信息的标注成本太大，也存在分割精度不高的问题。通过图像重构网络来进行缺陷分割时，网络是对整个图像进行背景重构，在缺陷分割时，受重构效果的影响，容易分割出假缺陷，造成缺陷错检。因此，现有的缺陷分割方法无法达到精准的缺陷分割效果。
技术实现思路
基于现有技术存在的问题，本专利技术提供一种基于融合网络的手机屏幕缺陷分割方法、装置及设备，为避免分割出假缺陷，本专利技术在图像重构网络的基础上，再通过目标检测数据集训练一个缺陷检测网络(相对于语义分割数据集，目标检测数据集的构建难度较小，网络结构适应小目标的检测，并采用轻量级的卷积方式)，提前获取缺陷的具体位置，再从分割结果中提取缺陷。可以实现快速准确的提取缺陷候选框，有效检测缺陷小目标，并实现对缺陷图像的精确分割，结合缺陷候选框，进一步提高缺陷分割准确度。在本专利技术的第一方面，本专利技术的一种基于融合网络的手机屏幕缺陷分割方法，包括：采集手机屏幕图像，包括缺陷图像和无缺陷图像；利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。在本专利技术的第二方面，本专利技术的一种基于融合网络的手机屏幕缺陷分割装置，包括：图像采集模块，用于采集手机屏幕图像，包括缺陷图像和无缺陷图像；缺陷检测网络，用于对缺陷图像进行检测，并获得缺陷图像对应的缺陷候选框；图像重构网络，用于对无缺陷图像进行重构，并恢复出背景重构图像；第一图像分割模块，将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；第二图像分割模块，在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。在本专利技术的第三方面，本专利技术还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种基于融合网络的手机屏幕缺陷分割方法。本专利技术的有益效果：本专利技术与现有的缺陷分割方法相比：1、本专利技术设计了一种轻量级的缺陷检测网络，并有效针对缺陷小目标，通过迁移学习的方式，解决了网络训练数据量不足的问题，实现检测小目标缺陷又快又准。2、本专利技术用无缺陷图像训练图像重构网络，其训练数据获取不受限制，不需要标注图像信息，并且通过构建一种多尺度特征的图像重构网络，可以融合更多图像信息，提高缺陷分割精度，并结合缺陷检测网络的缺陷候选框，进一步提高缺陷分割的准确度。附图说明图1是本专利技术的基于融合网络的手机屏幕缺陷分割方法流程示意图；图2是本专利技术的缺陷检测网络结构示意图；图3是本专利技术的缺陷检测网络中主干网络的卷积模块示意图；图4是本专利技术的图像重构网络结构示意图；图5是本专利技术的方法处理过程示意图；图6是本专利技术的基于融合网络的手机屏幕缺陷分割装置结构图；图7是本专利技术中计算机设备的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供了一种基于融合网络的手机屏幕缺陷分割方法、装置及设备，能够有效地改进手机屏幕缺陷分割中的分割效果，相应地，该种缺陷分割方法适用于手机屏幕缺陷分割装置，该缺陷分割装置部署于冯诺依曼体系结构的计算机设备中，例如该计算机设备可以是个人计算机和服务器等。图1是本专利技术的一种基于融合网络的手机屏幕缺陷分割方法流程图，包括：采集手机屏幕图像，包括缺陷图像和无缺陷图像；利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；本文档来自技高网...

【技术保护点】
1.一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，包括：/n采集手机屏幕图像，包括缺陷图像和无缺陷图像；/n利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；/n利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；/n将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；/n在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。/n

【技术特征摘要】
1.一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，包括：
采集手机屏幕图像，包括缺陷图像和无缺陷图像；
利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；
利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；
将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。


2.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，所述缺陷检测网络包括基于轻量级卷积神经网络的主干网络和多尺度特征图的检测头部网络；其中，轻量级卷积神经网络包括依次连接的输入层、卷积层、归一化层、激活函数层以及输出层，卷积层的卷积形式为深度可分离卷积，包括顺次相连的两个深度卷积核与一个逐点卷积核，采用依次连接各卷积核的方式和跳跃连接的方式，将输入层的输入进行特征提取和特征堆叠，再从输出层输出至下一层。


3.根据权利要求2所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，检测头部网络从轻量级卷积神经网络中获取m个不同尺度大小的特征图，在特征图的每个像素点上设置n种不同尺度大小的缺陷候选框，通过自适应训练样本选择进行了正负样本控制，设置的缺陷候选框与真实缺陷标注框的交并比大于自适应阈值则为正样本，否则为负样本；通过检测头部网络的回归层进行边框预测、通过检测头部网络的分类层进行类别预测，当完成训练轮数或者检测头部网络的损失函数没有下降时，则停止训练；其中，检测头部网络的损失函数表达式如下：
Loss＝L1+L2+L3+L4












式中，Loss表示检测头部网络的损失；L1为中心点损失，L2为宽高损失，L3为置信度损失，L4为分类损失；其中，表示第i个输出框是否有目标，其值对应为1或0，M表示检测头部网络进行一轮训练所输入的缺陷图像的数量，(xi、yi)表示第i个输出框的中心坐标；wi表示第i个输出框的宽度；hi表示第i个输出框的高度；Ci表示第i个输出框的置信度；pi表示第i个输出框的对应类别概率；表示第i个输出框所对应标注的真实框的中心坐标；表示第i个输出框所对应标注的真实框的宽度；表示第i个输出框所对应标注的真实框的高度；表示第i个输出框所对应标注的真实框的置信度；表示第i个输出框所对应标注的真实框的对应类别概率。


4.根据权利要求3所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，自适应训练样本选择是计算计算设置的每个候选框中心点与真实缺陷框中心点的欧氏距离：将距离较近的候选框加入备选正样本集合Cg，对备选正样本集合Cg中的每个候选框，计算与真实框的交并比Dg，然后计算Dg的均值mg和标准差vg，选取tg＝mg+vg作为交并比的阈值，只有Cg中与真实框的交并比大于阈值tg被选为正样本候选框，从而保持正负样本总数一定；I1表示候选框中心点，I2表示真实缺陷框中心点。


5.根据权利要求1所述的一种基于融合网...

【专利技术属性】
技术研发人员：许国良，代朝东，徐千淞，陈怡，田诗韵，雒江涛，毛骄，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50