一种基于小样本的手机屏幕缺陷分割方法技术

本发明专利技术属于计算机视觉、目标检测与语义分割领域，特别涉及一种基于小样本的手机屏幕缺陷分割方法，包括采集具有不同类型缺陷的多款手机屏幕图像，并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理；构建小样本下的手机屏幕缺陷图像数据集，其包括训练集和测试集，数据集中包含了缺陷图像及其对应的分割图像；构建小样本手机屏幕缺陷语义分割网络，并使用手机屏幕缺陷图像训练集对分割网络进行训练，将待预测图像输入训练好的网络即可得到分割图像；本发明专利技术充分利用少量的已标注分割图像对分割网络进行训练，极大地提升缺陷分割的效果，实现对缺陷图像的分类与定位。

【技术实现步骤摘要】
一种基于小样本的手机屏幕缺陷分割方法
本专利技术属于计算机视觉、目标检测与语义分割领域，特别涉及一种基于小样本的手机屏幕缺陷分割方法。
技术介绍
目前，手机作为通讯主要工具之一，其各个部件的质量的好坏严重影响手机用户的体验感，尤其是手机屏幕。然而手机屏幕的生产过程极为复杂，在生产的过程中容易出现各种各样的缺陷，常见的手机屏幕缺陷有亮点、暗点、亮线、暗线、亮团、暗团、黄斑以及MURA等，因此要保证手机屏幕高质量的要求，对其进行质量检测是生产过程中必不可少的一道工序。目前，手机屏幕缺陷检测以人工肉眼检测和基于机器视觉的检测方法为主。人工检测主要由检查人对生产的手机屏幕进行肉眼检测，但检测的效果容易受检查人本身的主/客观因素，对缺陷分割的效率、准确性、稳定性都收到极大的限制，而且人工检测的经济成本、人力成本都很高，难以满足日益增长的手机屏幕的生产速度和客户对手机屏幕高质量的要求。随着计算机视觉、目标检测与识别等领域的快速发展，基于机器视觉的检测方法成为目前手机屏幕缺陷检测的主流方法，该方法能够对特定的、简单的、明显的手机屏幕缺陷完成很好的检测(包括分类和定位)；但这类检测方法严重依赖缺陷特征提取算法，针对不同类型的缺陷，需设计不同的特征提取算法用于特定的缺陷检测，这对于手机屏幕在生产过程中，产生的不确定缺陷往往不能够进行有效检测，这类检测方法缺乏算法的通用性和灵活性，此外，通过手工或浅层的学习技术识别的特征对复杂的条件没有足够的辨别力。这些方法通常针对特定的场景，缺乏检测环境的适应性和鲁棒性。近年来，随着FCN、SegNet、U-Net、DeepLab等语义分割网络的提出，因其灵活性和通用性高、自适应和泛化性能强、无需背景领域知识等特性，越来越多的研究学者利用分割网络来完成手机屏幕缺陷检测，但上述这些方法是在足够多的样本图像下来完成网络的训练，以获得其分割图像。随着生产工艺的提升与设备的增强，在手机屏幕工业生产线上获取像COCO数据集这样拥有足够量的样本数据是很难的，另外对采集到的缺陷图像进行缺陷图像分割标注也是需要消耗大量的人力、物力和财力，能采集到的手机屏幕缺陷的类别、数量都是有限的，构建的少量的手机屏幕缺陷图像数据集不足以完成大数据驱动的分割网络的训练。因此，如何利用少量的手机屏幕缺陷样本图像来很好的完成分割，以实现缺陷的分类和定位，成为一个亟待解决的问题。
技术实现思路
为了能够利用少量的手机屏幕缺陷样本图像来很好的完成分割，以实现缺陷的分类和定位，本专利技术提出一种基于小样本的手机屏幕缺陷分割方法，具体包括以下步骤：采集具有不同类型缺陷的多款手机屏幕图像，并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理；构建小样本下的手机屏幕缺陷图像数据集，其包括训练集和测试集，数据集中包含了缺陷图像及其对应的分割图像；构建小样本手机屏幕缺陷语义分割网络，并使用手机屏幕缺陷图像训练集对分割网络进行训练，每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像，在训练时，将支持图像及其分割图像和查询图像同时输入到小样本分割网络中，利用支持图像及其分割图像指导查询图像的分割过程，直至训练完成；将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中，通过样本图像及其分割图像指导待测图像的分割图像的生成，通过分割图像的颜色显示，以确定待测图像的缺陷类型与位置。11.进一步的，小样本手机屏幕缺陷语义分割网络包括编码器和解码器，编码器包括特征提取模块和特征增强模块，特征提取模块包括5个卷积块和一个交叉注意力模块，每个卷积块包括一个3*3的卷积层，一个归一化层，一个ReLU激活层以及一个2*2的最大池化层，交叉注意力模块是由两个交叉注意力块级联构成，特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互，进一步增强查询图像特征表示；解码器包括四个反卷积层，且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入，将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入；且在训练过程中，将获得的查询图像的注意力特征图fq"a和支持图像的注意力特征图fsa分别输入到解码器，生成两者的分割图像，并采用的改进的联合损失函数进行网络训练，改进的联合损失函数表示为：L＝lsupport+lquery；其中，lsupport为支持图像的损失函数，lquery为查询图像的损失函数；在进行测试或者实时分割时，将待测图像的注意力特征图输入至解码器以生成其分割图像，即可确定测试图像缺陷的位置。进一步的，交叉注意力模块获取新特征图的操作包括以下步骤：将特征图输入一个交叉注意力块中，分别通过三个1×1的卷积获得三个特征图对于特征图F1的每一个位置i，得到这个位置的特征向量从特征图F2中获得与位置i相同行和列的其他位置的特征集合通过关联操作生成特征图F1和特征图F2的关联特征图并将关联特征图通过softmax来生成注意力图获得特征图F3上的位置i的特征向量以及关联特征图中与位置i相同行和列的其他位置的特征向量形成特征集合通过集合操作将特征向量与注意力图相乘之后，再与输入的特征图相加，得到新特征图FF；将得到的新特征图FF作为下一个交叉注意力块的输入，并进行以上操作，该交叉注意力块的输出即为交叉注意力模块获取的新特征图；其中，表示特征图的尺寸；b表示输入特征F的通道数，b＇表示F经过1×1的卷积之后获得的新特征图的通道数，其中b'＝b/8；由于输入的特征图是一个正方形，r表示特征图的边长。进一步的，利用掩膜平均池化来获取支持图像的代表特征，并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系，并获得查询图像新的特征图，包括以下步骤：经过特征提取模块获取支持缺陷图像的特征图以及查询缺陷图像的特征图支持图像的掩膜图像为将fs通过双线性插值法恢复到与掩膜图像相同大小的特征图结合掩膜图像计算支持图像的代表特征使用相似度度量的方式来计算支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵通过像素相乘的方式来融合查询缺陷图像特征图fq和相似矩阵S来生成新的查询缺陷图像特征图判断在支持集中每种类别的缺陷图像的数量，如果每个类别的缺陷图像的数量只有一个，则将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图；否则将多个支持样本的特征图进行加权平均来作为这类缺陷的特征图，同时缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像，使用新特征图和新的掩膜图像来完成掩膜平均池化过程；其中，c为支持图像和查询图像经过特征提取模块生成的特征图的通道数，n为特征图的大小，m为掩膜图像的大小。进一步的，支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵表示为：其中，为查询图像特征图fq第x列、第y行位置；V为支持图像的代表特征。进一步的本文档来自技高网...

【技术保护点】
1.一种基于小样本的手机屏幕缺陷分割方法，其特征在于，具体包括以下步骤：/n采集具有不同类型缺陷的多款手机屏幕图像，并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理；/n构建小样本下的手机屏幕缺陷图像数据集，其包括训练集和测试集，数据集中包含了缺陷图像及其对应的分割图像；/n构建小样本手机屏幕缺陷语义分割网络，并使用手机屏幕缺陷图像训练集对分割网络进行训练，每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像，在训练时，将支持图像及其分割图像和查询图像同时输入到小样本分割网络中，利用支持图像及其分割图像指导查询图像的分割过程，直至训练完成；/n将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中，通过样本图像及其分割图像指导待测图像的分割图像的生成，通过分割图像的颜色显示，以确定待测图像的缺陷类型与位置。/n

【技术特征摘要】
1.一种基于小样本的手机屏幕缺陷分割方法，其特征在于，具体包括以下步骤：
采集具有不同类型缺陷的多款手机屏幕图像，并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理；
构建小样本下的手机屏幕缺陷图像数据集，其包括训练集和测试集，数据集中包含了缺陷图像及其对应的分割图像；
构建小样本手机屏幕缺陷语义分割网络，并使用手机屏幕缺陷图像训练集对分割网络进行训练，每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像，在训练时，将支持图像及其分割图像和查询图像同时输入到小样本分割网络中，利用支持图像及其分割图像指导查询图像的分割过程，直至训练完成；
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中，通过样本图像及其分割图像指导待测图像的分割图像的生成，通过分割图像的颜色显示，以确定待测图像的缺陷类型与位置。


2.根据权利要求1所述的一种基于小样本的手机屏幕缺陷分割方法，其特征在于，小样本手机屏幕缺陷语义分割网络包括编码器和解码器，编码器包括特征提取模块和特征增强模块，特征提取模块包括5个卷积块和一个交叉注意力模块，每个卷积块包括一个3*3的卷积层，一个归一化层，一个ReLU激活层以及一个2*2的最大池化层，交叉注意力模块是由两个交叉注意力块级联构成，特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互，进一步增强查询图像特征表示；解码器包括四个反卷积层，且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入，将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入；且在训练过程中，将获得的查询图像的注意力特征图和支持图像的注意力特征图分别输入到解码器，生成两者的分割图像，并采用的改进的联合损失函数进行网络训练，改进的联合损失函数表示为：
L＝lsupport+lquery；
其中，lsupport为支持图像的损失函数，lquery为查询图像的损失函数；
在进行测试或者实时分割时，将待测图像的注意力特征图输入至解码器以生成其分割图像，即可确定测试图像缺陷的位置。


3.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法，其特征在于，交叉注意力模块获取新特征图的操作包括以下步骤：
将特征图输入一个交叉注意力块中，分别通过三个1×1的卷积获得三个特征图
对于特征图F1的每一个位置i，得到这个位置的特征向量从特征图F2中获得与位置i相同行和列的其他位置的特征集合
通过关联操作生成特征图F1和特征图F2的关联特征图并将关联特征图通过softmax来生成注意力图
获得特征图F3上的位置i的特征向量以及关联特征图中与位置i相同行和列的其他位置的特征向量形成特征集合
通过集合操作将特征向量与注意力图相乘之后，再与输入的特征图相加，得到新特征图FF；
将得到的新特征图FF作为下一个交叉注意力块的输入，并进行以上操作，该交叉注意力块的输出即为交叉注意力模块获取的新特征图；
其中，表示特征图的尺寸；b表示输入特征F的通道数，b＇表示F经过1×1的卷积之后获得的新特征图的通道数，其中b'＝b/8；由于输入的特征图是一个正方形，r表示特征图的边长。


4.根据权利要求3所述的...

【专利技术属性】
技术研发人员：许国良，毛骄，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50