一种基于模板匹配的引线框架表面缺陷检测方法及装置制造方法及图纸

本发明专利技术提供一种基于模板匹配的引线框架表面缺陷检测方法及装置，所述方法包括：建立以亮度划分等级的模板库；获取引线框架上下表面图片，通过模板匹配进行检测区域定位；将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；根据缺陷检测的结果进行产品判定。本发明专利技术方法实现简单、误检率低、检测精度高，可实现多种引线框架型号的缺陷检测。多种引线框架型号的缺陷检测。多种引线框架型号的缺陷检测。

【技术实现步骤摘要】
一种基于模板匹配的引线框架表面缺陷检测方法及装置


[0001]本专利技术涉及引线框架缺陷检测
，具体地，涉及一种基于模板匹配的引线框架表面缺陷检测方法及装置。

技术介绍

[0002]在进行半导体缺陷检测时，我们通常需要提前进行定位芯片区域并裁剪以便于后续检测流程。模板匹配是机器视觉领域常用的定位方法，主要用于定位ROI区域。很显然，半导体缺陷检测中芯片区域即为ROI区域。
[0003]由于图片采集环境的影响，所获得的图像往往存在噪声、亮度不均匀等缺点，不能保证人工选取的模板质量，给后续的图像定位和缺陷检测带来困扰。因此，从半导体制造行业的实际需求及引线框架的结构特征出发，提出一种基于模板匹配的引线框架表面缺陷检测方法，在实现缺陷的精准检测与判断的同时也满足了实际生产需求。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的在于提供一种实现简单、误检率低、检测精度高的基于模板匹配的引线框架表面缺陷检测方法及装置。
[0005]为解决上述问题，本专利技术的技术方案为：
[0006]一种基于模板匹配的引线框架表面缺陷检测方法，包括以下步骤：
[0007]建立以亮度划分等级的模板库；
[0008]获取引线框架上下表面图片，通过模板匹配进行检测区域定位；
[0009]将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；
[0010]根据缺陷检测的结果进行产品判定。
[0011]优选地，所述建立以亮度划分等级的模板库具体包括：首先获取一张缺陷较少的产品上下表面图片，从图片中手动截取与ROI区域对应的模板，通过模板匹配获取所有ROI区域，并根据亮度划分为亮、正常、暗三个等级，对每一个亮度级，将所有该亮度级的ROI区域进行数值叠加、取平均操作，获取该亮度级下的无缺陷模板图片并存入模板数据库中。
[0012]优选地，所述获取引线框架上下表面图片，通过模板匹配进行检测区域定位的步骤具体包括：获取待检测的引线框架上下表面图片，从所建立的模板库中随机挑选某一亮度级下的对应模板，通过模板匹配获取所有ROI区域。
[0013]优选地，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤具体包括：对每一张ROI区域图片，与模板库中不同亮度等级的模板进行图片相似度判定，选取相似度得分最高模板，将最匹配的模板与ROI区域亚像素对齐后进行动态差分，差异过大的部分判定为缺陷区域并在原图标记。
[0014]优选地，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤中，所述改进后的孪生神经网络模型包括两条
分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层。
[0015]优选地，所述4个卷积段的每个卷积段包含2个卷积层，1个最大池化层，卷积层的通道数均为64的倍数，卷积步长均为1；所述每个卷积段的卷积核尺寸分别为10*10，7*7，5*5，3*3；最大池化层的池化窗口为2*2。
[0016]优选地，所述SENet模块包括Squeeze部分和Excitation部分，Squeeze部分是把H*W*C压缩为1*1*C，Excitation部分在得到Squeeze部分的1*1*C的表示后，加入一个全连接层，对每个通道的重要性进行预测，得到不同通道的重要性大小后再作用到之前的feature map的对应通道上，再进行后续操作。
[0017]优选地，所述改进后的孪生神经网络模型经过SENet模块后的特征图展开的一维特征向量经过全连接层后压缩为长度为4096的一维特征向量，并计算与另一个分支的L1距离，共同全连接层则是将L1距离向量压缩为一个值，并利用sigmoid函数转化为相似程度得分。
[0018]优选地，所述改进后的孪生神经网络模型的学习训练过程为：
[0019]数据集制作与划分：收集N组图片和对应的N个标签成为数据集，按照7:3划分为训练集与测试集；
[0020]建立孪生神经网络模型：所述孪生神经网络模型包含两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层；
[0021]训练：将训练集图片通过反向传播训练，使分类器能够通过获得一个合适的权重，能够在运算后输出的两张图片相似度得分和标签尽可能相同；
[0022]测试：输入测试集一组图片，经过改进的孪生神经网络模型，能够在运算后输出两张图片相似度得分。
[0023]进一步地，本专利技术还提供一种基于模板匹配的引线框架表面缺陷检测装置，其特征在于，所述装置包括处理器以及用于存储所述处理器的可执行指令的存储器，所述处理器配置为经由执行所述可执行指令来执行如上所述的基于模板匹配的引线框架表面缺陷检测方法。
[0024]与现有技术相比，本专利技术的基于模板匹配的引线框架表面缺陷检测方法具有实现简单、误检率低、检测精度高、可实现多种引线框架型号的缺陷检测，与其他亮度不均匀算法相比，本专利技术的引线框架表面缺陷检测方法对不同产品具有鲁棒性，可满足实际生产检测需求，具有在该行业推广应用价值。
附图说明
[0025]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0026]图1为本专利技术实施例提供的基于模板匹配的引线框架表面缺陷检测方法流程框图；
[0027]图2为本专利技术实施例提供的基于模板匹配的引线框架表面缺陷检测方法详细流程图；
[0028]图3为本专利技术实施例提供的改进的孪生神经网络模型图；
[0029]图4为本专利技术实施例提供的待检测的引线框架上下表面图。
具体实施方式
[0030]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。
[0031]具体地，本专利技术提供一种基于模板匹配的引线框架表面缺陷检测方法，如图1和图2所示，所述方法包括以下步骤：
[0032]S1：建立以亮度划分等级的模板库；
[0033]具体地，模板库建立：首先获取一张产品上下表面图片，从图片中手动截取与感兴趣区域(ROI区域)对应的模板，通过模板匹配获取所有ROI区域，并根据亮度划分为亮、正常、暗三个等级，对每一个亮度级，将所有该亮度级的ROI区域进行数值叠加、取平均操作，获取该亮度级下的无缺陷模板图片并存入模板数据库中。
[0034]S2：获取引线框架上下表面图片，通过模板匹配进行检测区域定位；
[0035]检测区域定位：在实际生产流程中，获取待检测的引线框架上下表面图片如图4所示，从所建立的模板本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述方法包括以下步骤：建立以亮度划分等级的模板库；获取引线框架上下表面图片，通过模板匹配进行检测区域定位；将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；根据缺陷检测的结果进行产品判定。2.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述建立以亮度划分等级的模板库具体包括：首先获取一张缺陷较少的产品上下表面图片，从图片中手动截取与ROI区域对应的模板，通过模板匹配获取所有ROI区域，并根据亮度划分为亮、正常、暗三个等级，对每一个亮度级，将所有该亮度级的ROI区域进行数值叠加、取平均操作，获取该亮度级下的无缺陷模板图片并存入模板数据库中。3.根据权利要求2所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述获取引线框架上下表面图片，通过模板匹配进行检测区域定位的步骤具体包括：获取待检测的引线框架上下表面图片，从所建立的模板库中随机挑选某一亮度级下的对应模板，通过模板匹配获取所有ROI区域。4.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤具体包括：对每一张ROI区域图片，与模板库中不同亮度等级的模板进行图片相似度判定，选取相似度得分最高模板，将最匹配的模板与ROI区域亚像素对齐后进行动态差分，差异过大的部分判定为缺陷区域并在原图标记。5.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤中，所述改进后的孪生神经网络模型包括两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层。6.根据权利要求5所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述4个卷积段的每个卷积...

【专利技术属性】
技术研发人员：李志伟，郭志慧，涂必胜，陈明，任远红，殷志祥，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：