一种基于深度学习的引线框架缺陷定位及等级判定方法技术

本发明专利技术涉及引线框架检测技术领域，尤其涉及一种基于深度学习的引线框架缺陷定位及等级判定方法，包括如下步骤：收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；基于标注图像进行深度学习量化模型的训练；利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。本发明专利技术通过缺陷的位置、类别及量化信息进行缺陷的等级判定，从而去除检测后需要的人工复判的工作，提高复判效率；还可实现缺陷的类别判定，进而可以追溯缺陷来源工艺流程步骤，进行质量反馈。

A method for defect location and grade determination of lead frame based on deep learning

【技术实现步骤摘要】
一种基于深度学习的引线框架缺陷定位及等级判定方法
本专利技术涉及引线框架检测
，尤其涉及一种基于深度学习的引线框架缺陷定位及等级判定方法。
技术介绍
引线框架作为很多集成电路的芯片载体，其质量是否可靠稳定决定了后续最终半导体产品的功能和性能，因此在实际生产过程中需要对引线框架物料进行质量检查。引线框架料片有很多的颗粒组成，尺寸很小，人工检查需要借助显微镜逐个颗粒进行目视判断，因此费时费力且很难保证检查的稳定性。为提高质检效率和稳定性，人们设计并制造了基于视觉的自动引线框架检测设备。常规的引线框架检测设备对输入的引线框架物料进行自动检查，定位物料上的所有缺陷，然后交由人工判断缺陷是否影响功能及是否可以进行物理清理。通过对缺陷进行分类和等级判定，危害程度较高的直接报废，危害程度低或不影响功能的自动判为良品可以减少人工判断的工作量。引线框架的生产需要经过不同的工艺流程，如蚀刻、电镀。这些工艺流程的质量管控影响了生产的引线框架的质量，通过分析生产出的引线框架缺陷类型可以追溯是哪些流程出现了质量问题，因此实际缺陷的类别判定对反馈制程过程进行质量改进有重要的意义。此外，对生产出来的引线框架进行质量检查进而出货到下游客户，出货量影响生产工厂的效益。现有设备主要基于传统的图像比对方法来定位引线框架料片中的缺陷辅助人工判断，该方法有以下几个不足：1、只基于图像比对的方法对图像要求高，因为物料的变化会导致图像的变化从而难保证低漏检过杀的效果；2、只能定位到缺陷位置无法进行类别判定进而进行产生原因的溯源；3、无法基于缺陷程度和危害程度进行不同的处理，减少人工工作量。为此，我们提出一种基于深度学习的引线框架缺陷定位及等级判定方法。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种基于深度学习的引线框架缺陷定位及等级判定方法，具有通过缺陷的位置、类别及量化信息进行缺陷的等级判定，提高复判效率，追溯缺陷来源工艺流程步骤，进行质量反馈的特点，解决了现有技术无法进行引线框架缺陷类别判定以及缺陷产生原因的溯源，影响产品质量和出货量的问题。本专利技术提供如下技术方案：一种基于深度学习的引线框架缺陷定位及等级判定方法，包括如下步骤：S1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；S2、基于标注图像进行深度学习量化模型的训练；S3、利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；S4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。优选的，所述步骤S2中训练前首先指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。优选的，所述步骤S2中的深度学习量化模型包括缺陷位置回归模型、缺陷分类模型和缺陷面积估计模型。优选的，所述步骤S3中通过缺陷位置回归模型输出回归缺陷坐标、通过缺陷分类模型估计缺陷类别、通过缺陷面积估计模型估计缺陷的面积。优选的，所述步骤S4中通过对缺陷的属性数值进行逻辑判断，从而得到对应的等级判定。本专利技术提供了一种基于深度学习的引线框架缺陷定位及等级判定方法，通过缺陷的位置、类别及量化信息进行缺陷的等级判定，从而去除检测后需要的人工复判的工作，提高复判效率；还可实现缺陷的类别判定，进而可以追溯缺陷来源工艺流程步骤，进行质量反馈。附图说明图1为本专利技术模型训练过程的流程示意图；图2为本专利技术图像缺陷检测及等级判定过程的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种技术方案：一种基于深度学习的引线框架缺陷定位及等级判定方法，包括如下步骤：S1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；使用labelme等标注软件对缺陷图像的缺陷位置、类别及面积掩膜进行标注。S2、基于标注图像进行深度学习量化模型的训练。如图1所示，训练前首先指定训练目标和停止准则，训练目标指量化模型的损失函数，比如面积估计相关的iouloss、缺陷位置回归误差loss、及缺陷的类别分类loss。停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。S3、对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积。将测试图像输入步骤二训练的模型中，进行前向推断，得到模型的输出，比如缺陷位置回归模型的回归缺陷坐标、缺陷分类模型估计的缺陷类别、缺陷面积估计模型的面积。S4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。通过对缺陷的属性数值进行逻辑判断，从而得到对应的等级判定。比如缺陷面积超过100，则进入复判；缺陷类别为连脚，该图像对应的物料可判定为报废。如图2所示。基于同一批物料，该方案与已有技术系统进行检测验证，对比结果如下：下机良率报废复判已有技术44％056％本方案58％5％37％此外，同一产品经过缺陷分类反馈制程后刮花比例由50％-70％降到了25％以下。本专利技术中，基于深度学习技术可以实现缺陷的定位、分类及面积估计得到缺陷更完备的属性，而不仅仅是只实现缺陷的定位。通过缺陷的位置、类别及量化信息进行缺陷的等级判定，从而去除检测后需要的人工复判的工作，提高复判效率。还可实现缺陷的类别判定，进而可以追溯缺陷来源工艺流程步骤，进行质量反馈。以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：包括如下步骤：/nS1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；/nS2、基于标注图像进行深度学习量化模型的训练；/nS3、利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；/nS4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。/n

【技术特征摘要】
1.一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：包括如下步骤：
S1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；
S2、基于标注图像进行深度学习量化模型的训练；
S3、利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；
S4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。


2.根据权利要求1所述的一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：所述步骤S2中训练前首先指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数...

【专利技术属性】
技术研发人员：张记霞，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：上海;31