一种基于语义分割的嵌入式指纹模块外观检测方法技术

本发明专利技术提供一种基于语义分割的嵌入式指纹模块外观检测方法，包括：采集指纹模块样本图像，进行溢胶、凸点的定位、标注；缺陷语义分割网络模型搭建；建立缺陷等级质量评估模块；以及指纹模块产品缺陷在线逻辑检测，采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。该方法综合分析溢胶、凸点两种不同缺陷的特征体现，搭建深度学习神经网络分割网络，高精度提取溢胶、凸点两类缺陷的发生区域，最后应用缺陷等级质量评估模块对当前产品进行全面分析，提高指纹模组外观质量安全稳定性。性。性。

【技术实现步骤摘要】
一种基于语义分割的嵌入式指纹模块外观检测方法


[0001]本专利技术涉及一种指纹模块外观缺陷检测方法，具体涉及一种基于语义分割的嵌入式指纹模块外观检测方法。

技术介绍

[0002]指纹识别技术在各种智能识别以及身份认证领域中得到了广泛的应用，具备高精度比对准确率和易于应用等优势，例如手机侧面嵌入式装配的指纹识别解锁模块，市面上三星、荣耀等众多手机品牌均采用此模块提升用户体验度。作为指纹锁产品的核心部分，指纹模块结构的稳定性和外观整体的安全性直接决定着成品运行的可靠性，在模组部件加工工艺过程中，不同组件粘连过程中胶水的溢出，模组加工技术水平的残差，运输过程中的碰撞磕碰，导致指纹模组出现侧壁溢胶、钢板溢胶、侧壁凸点等多种不良缺陷，此类缺陷会直接影响手机或者指纹锁成品的稳定性的稳定性和安全性，因此对于缺陷的检测也是尤为重要，目前行业内使用2D视觉定位分析技术对指纹模块的外观进行缺陷检测，但是基于溢胶、凸点两种缺陷发生概率以及发生位置的随机性，2D视觉定位分析技术由于匹配模板的精度问题则无法达到较高的缺陷检出精度，以致检测效果不佳，稳定性差。

技术实现思路

[0003]鉴于以上，本专利技术提供一种基于语义分割的嵌入式指纹模块外观检测方法，综合分析溢胶、凸点两种不同缺陷的特征体现，搭建深度学习神经网络分割网络，高精度提取溢胶、凸点两类缺陷的发生区域，最后应用缺陷等级质量评估模块对当前产品进行全面分析，提高指纹模组外观质量安全稳定性。具体技术方案如下。
[0004]一种基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，包括：采集指纹模块样本图像，进行溢胶、凸点的定位、标注：使用面阵相机采集指纹模块的样本图像，获取数据集，指纹模块包括相同型号颜色、不同型号相同颜色和同型号不同颜色的样本，先采用全局固定阈值分割对样本图像初步定位缺陷区域，再采用局部动态阈值分割进行精确定位，分割出待检测缺陷ROI区域；缺陷语义分割网络模型搭建：进行特征提取网络和缺陷分类预测网络的搭建，完成后导出作为指纹模块语义分割检测模型文件；建立缺陷等级质量评估模块：对溢胶、凸点语义分割缺陷区域进行包括面积、周长、圆度等参数的量化指标分析，设定缺陷量化等级评估阈值；指纹模块产品缺陷在线逻辑检测：采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。
[0005]进一步，采用全局固定阈值分割方法对待检测缺陷区域进行初步定位，灰度图像固定阈值分割操作可用公式一描述，公式一：
，公式一中thresh1和thresh2为初步定位分割阈值上下限定，对于采集的样本图像Image在(x,y)像素横纵坐标位置上的像素值，其落在分割阈值范围内的设置为255，其余设置为0，初步定位分割后得到对应裁剪图像CropImage1。
[0006]进一步，在得到裁剪图像CropImage1后，对于不同型号或者同型号不同颜色的样本图像，采用局部动态阈值分割方法再次提取待检测缺陷区域，对应操作方法可用公式二描述，公式二：，公式二中Thresh(x,y)为动态阈值分割后的图像，(x,y)对应图像中的像素横纵坐标位置，Refer为无产品纯背景图像，动态阈值分割后对原始样本图像进行第二次裁剪得到CropImage2，即待检测缺陷ROI区域，记录为图像数据集。
[0007]进一步，分割出待检测缺陷ROI区域后，以像素涂抹方式进行溢胶、凸点缺陷类别划分标识，得到对应分割Mask图像。
[0008]进一步，样本图像中至少包括一张纯背景无指纹模块产品的图像。
[0009]进一步，特征提取网络包括两个卷积层提取缺陷特征信息，设计三次下采样通道信息的并行操作，同一个分辨率的通道信息复制三次，最后对于低分辨率通道采用双线性上采样，对于高分辨率通道采用跨步卷积，将原始通道信息和三次下采样通道信息进行特征融合，多尺度提取不同尺寸的溢胶、凸点缺陷信息，特征融合操作最大化保留原始缺陷特征信息，适用于小尺寸凸点缺陷的特征提取分析。
[0010]进一步，缺陷分类预测网络包括两个分支，第一个分支由卷积层以及三个最大池化层串联而成，三个最大化池化层融合后输入到卷积层获取尺寸特征图，尺度特征图上每个二维点对应输入图像中的网格部分，每个网格获得目标预测信息包括预测缺陷位置坐标和宽高以及预测概率，第二个分支将不同分辨率的通道信息经过反卷积操作进行融合后采取Softmax操作获取缺陷预测区域，预测网络综合提供溢胶、凸点缺陷对应分割区域和缺陷ROI区域坐标信息。
[0011]进一步，网络特征提取模块和分类预测模块搭建完成后，设置模型最大训练迭代次数以及loss回归拟合阈值，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，训练停止并保存固化模型网络中每层信息，导出为指纹模块语义分割检测模型文件。
[0012]进一步，缺陷区域的面积量化指标计算公式为：；缺陷区域的轮廓周长量化指标计算公式为：，其中Y对应缺陷区域轮廓的二维像素点坐标，
ɵ
为像素坐标对角矩阵；获取区域面积和轮廓周长后，圆度量化指标计算公式为：
，regionArea为闭合区域面积。
[0013]本专利技术的提供的基于语义分割的嵌入式指纹模块外观检测方法，主要针对溢胶、凸点两大危险程度较高的缺陷进行综合分析，搭建适用于小目标缺陷的语义分割网络模型，对应输出预测缺陷分割轮廓区域和对应坐标信息，采用缺陷等级质量评估模块对预测缺陷信息进行分析，进而判定当前待检测产品是否为OK/NG品，综合采用视觉定位分析和深度学习智能分割技术，提高指纹模块产品外观质量检测可靠性，保障产品检测兼容性的同时提高嵌入式指纹模组产品质量的安全可靠性，具有较好的产品缺陷兼容特征和检出能力。
[0014]本专利技术附加的方面和优点将在下面的描述中进一步给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0015]图1所示为本专利技术基于语义分割的嵌入式指纹模块外观检测方法流程图；图2所示为指纹模块产品溢胶、凸点缺陷标注效果图；图3所示为溢胶、凸点缺陷语义分割网络模型框架图；图4所示为指纹模块产品溢胶缺陷效果；图5所示为指纹模块产品凸点缺陷效果；图6所示为图4、5中溢胶、凸点缺陷量化等级评估指标数据表格；图7所示为在线监测优化过程流程图。
具体实施方式
[0016]下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0017]参照图1，本实施例的一种基于语义分割的嵌入式指纹模块外观检测方法，包括：S1：采集指纹模块样本图像，进行溢胶、凸点的定位、标注：在视觉采集工作台上使用面阵相机采集指纹模块的样本图像，样本图像中至少包括一张纯背景无指纹模块产品的图像，获取数据集，指纹模块包括相同型号颜色、不同型号相同颜色和同型号不同颜色的样本，先采用全局固定阈值分割对样本图像初步定位缺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，包括：采集指纹模块样本图像，进行溢胶、凸点的定位、标注：使用面阵相机采集指纹模块的样本图像，获取数据集，指纹模块包括相同型号颜色、不同型号相同颜色和同型号不同颜色的样本，先采用全局固定阈值分割对样本图像初步定位缺陷区域，再采用局部动态阈值分割进行精确定位，分割出待检测缺陷ROI区域；缺陷语义分割网络模型搭建：进行特征提取网络和缺陷分类预测网络的搭建，完成后导出作为指纹模块语义分割检测模型文件；建立缺陷等级质量评估模块：对溢胶、凸点语义分割缺陷区域进行包括面积、周长、圆度参数的量化指标分析，设定缺陷量化等级评估阈值；指纹模块产品缺陷在线逻辑检测：采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。2.根据权利要求1所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，采用全局固定阈值分割方法对待检测缺陷区域进行初步定位，灰度图像固定阈值分割操作可用公式一描述，公式一：，公式一中thresh1和thresh2为初步定位分割阈值上下限定，对于采集的样本图像Image在(x,y)像素横纵坐标位置上的像素值，其落在分割阈值范围内的设置为255，其余设置为0，初步定位分割后得到对应裁剪图像CropImage1。3.根据权利要求2所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，在得到裁剪图像CropImage1后，对于不同型号或者同型号不同颜色的样本图像，采用局部动态阈值分割方法再次提取待检测缺陷区域，对应操作方法可用公式二描述，公式二：，公式二中Thresh(x,y)为动态阈值分割后的图像，(x,y)对应图像中的像素横纵坐标位置，Refer为无产品纯背景图像，动态阈值分割后对原始样本图像进行第二次裁剪得到CropImage2，即待检测缺陷ROI区域，记录为图像数据集。4.根据权利要求3所述的基于语义分割的嵌入式指纹模块外...

【专利技术属性】
技术研发人员：宋瑞超，卢坤，
申请(专利权)人：深圳精创视觉科技有限公司，
类型：发明
国别省市：