【技术实现步骤摘要】
本专利技术涉及计算机处理，具体而言，涉及一种基于迁移学习的半导体芯片检测方法、装置及存储介质。
技术介绍
1、视觉检测技术因其具有非接触、精度高等优点，被广泛应用于产品缺陷检测领域，特别是在汽车、家电、电子元器件、半导体等产品制造领域以及设备安装等行业，机器视觉检测技术发挥着越来越重要的作用。
2、当前半导体芯片应用于各个领域，已经成为经济发展、国家信息安全的命脉，对于国家的发展意义重大。然而在半导体芯片封装制造过程中，不可避免会出现污损、点胶异常、封装缺陷等问题，直接影响到集成电路的运行功能与效能。这就迫使半导体芯片产线需要及时识别出具有缺陷的芯片并清除，以达到提高产品质量、提高生产效率的目的。因此，半导体芯片的质量检测在半导体芯片封装制造的生产工序中占有举足轻重的地位。
3、传统基于机器视觉技术的半导体芯片缺陷检测技术，通常采用数字图像处理和人工特征提取算子等方式，虽然能够一定程度上完成缺陷的检测定位，但存在着检出率低、检测效果不稳定等缺陷。传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移，需要人工进行特征提取算子的设计验证，工作量较大、时间成本较高，为产品的快速精准缺陷检测带来了一定的困难。同时在芯片缺陷检测领域，因芯片生产加工流程复杂，对加工的精度要求极高，因此如何快速准确检测芯片产品缺陷成了制约相关企业芯片良品率、质量提高的关键因素之一。由于缺陷多种多样，而真实的工业环境中，能够提供的封装芯片缺陷样本种类和数量并不多，绝大多数工业产品的芯片图像数据集存在严重的类不平衡问题制约了机器视觉技术在
技术实现思路
1、本专利技术实施例提供了一种基于迁移学习的半导体芯片检测方法、装置及存储介质，基于迁移学习的思想，改进融合当前性能优异的神经网络模型，改善ic芯片缺陷检测中的“小样本”问题，实现多维复杂特征信息的提取，达到提高半导体芯片缺陷检测算法的性能的目的。所述技术方案如下：
2、一方面，提供了一种基于迁移学习的半导体芯片检测方法，所述方法包括构建封装芯片缺陷检测神经网络模型及训练封装芯片缺陷检测神经网络模型；
3、所述构建封装芯片缺陷检测神经网络模型包括：
4、构建初始第一网络模型和初始第二网络模型，
5、基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型；基于大规模数据集将初始第二网络模型进行迁移，获得迁移第二网络模型；
6、将所述迁移第一网络模型和迁移第二网络模型，构建封装芯片缺陷检测神经网络模型；
7、所述训练封装芯片缺陷检测神经网络模型包括：
8、将芯片缺陷数据集按照一定比例的分为训练集和数据集，对所述缺陷检测神经网络模型进行训练，获得训练后的封装芯片缺陷检测神经网络模型。
9、进一步地，还包括：
10、使用大规模数据集对初始第一网络模型和初始第二网络模型进行训练，获取预训练的权重参数；
11、在对所述缺陷检测神经网络模型进行训练时，调整所述预训练的权重参数。
12、进一步地，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型，包括：
13、基于大规模数据集对所述初始第一网络模型进行训练，保留第一网络模型的前n层结构层；将前n层结构层迁移后形成迁移第一网络模型；
14、在训练封装芯片缺陷检测神经网络模型时，对迁移第一网络模型的后m-n层需要进行重新训练。
15、进一步地，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型，还包括：
16、基于大规模数据集对所述初始第一网络模型进行训练，保留第一网络模型的前n层结构层；所述前n层结构层分成若干网络块，并在所述网络块中增加残差结构，在最后一层增加用于改变网络输出数据维度的卷积层，形成迁移第一网络模型。
17、在训练封装芯片缺陷检测神经网络模型时，对迁移第一网络模型的后m-n层需要进行重新训练。
18、进一步地，所述将所述迁移第一网络模型和迁移第二网络模型，构建封装芯片缺陷检测神经网络模型时，还包括：
19、所述迁移第一网络模型的输入为三维图像，输出为特征图向量；其中，所述特征图向量包含芯片缺陷图片的低维特征；
20、所述迁移第二网络模型的输入包括所述迁移第一网络模型的输出及待检测图片，输出为芯片缺陷图片的分类或等级。
21、进一步地，所述第一网络模型为darknet-19卷积神经网络；所述第二网络模型为vit神经网络。
22、进一步地，还包括：使用封装芯片缺陷检测神经网络模型，对目标封装芯片缺陷进行检测。
23、进一步地，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型；基于大规模数据集将初始第二网络模型进行迁移，获得迁移第二网络模型中，
24、设ωs、ωt分别为预训练数据集和新数据集，即源域和目标域，数据集均由图片数据和类标签组成，表示为：
25、ωs＝{ds,ls},ωt＝{dt,lt},ψs≠ψs
26、其中，d为图片数据，l为类别标签，ψ表示数据概率分布模型，下标s和t分别表示源域和目标域，源域和目标域的概率分布存在差异；
27、使用预训练网络对源域和目标域的进行学习过程为：
28、os＝a(ds；ws),ot＝a(dt；wt)
29、其中，a为预训练网络模型，o为网络模型输出，w为权重参数，预训练的过程可以表示为：
30、
31、其中，γ为损失函数，为数据集的真实分类结果；
32、在迁移学习的过程中，预训练网络模型的一部分结构被迁移至新的网络结构中，表示为：
33、wt{l1～l2}＝ws{l1～l2}
34、其中，l1、l2分别为迁移部分的起始层和终止层。
35、另一方面，本专利技术还提供一种基于迁移学习的半导体芯片检测装置，包括：
36、构建模块，用于构建封装芯片缺陷检测神经网络模型；
37、训练模块，用于训练封装芯片缺陷检测神经网络模型；
38、其中，所述构建封装芯片缺陷检测神经网络模型包括：
39、构建初始第一网络模型和初始第二网络模型，
40、基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型；基于大规模数据集将初始第二网络模型进行迁移，获得迁移第二网络模型；
41、将所述迁移第一网络模型和迁移第二网络模型，构建封装芯片缺陷检测神经网络模型；
42、所述训练封装芯片缺陷检测神经网络模型包括：
43、将芯片缺陷数据集按照一定比例的分为训练集和数据集，对所述缺陷检测神经网络模型进行训练，获得训练后的封装芯片缺陷检测神经网络模型。
44、另一方面，本专利技术还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处本文档来自技高网...
【技术保护点】
1.一种基于迁移学习的半导体芯片检测方法，其特征在于，所述方法包括构建封装芯片缺陷检测神经网络模型及训练封装芯片缺陷检测神经网络模型；
2.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，还包括：
3.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型，包括：
4.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型，还包括：
5.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述将所述迁移第一网络模型和迁移第二网络模型，构建封装芯片缺陷检测神经网络模型时，还包括：
6.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述第一网络模型为Darknet-19卷积神经网络；所述第二网络模型为ViT神经网络。
7.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，还包括：使用封装芯
8.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型；基于大规模数据集将初始第二网络模型进行迁移，获得迁移第二网络模型中，
9.一种基于迁移学习的半导体芯片检测装置，其特征在于，
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器读取并执行时实现如权利要求1至8任一项所述的基于迁移学习的半导体芯片检测方法。
...【技术特征摘要】
1.一种基于迁移学习的半导体芯片检测方法，其特征在于，所述方法包括构建封装芯片缺陷检测神经网络模型及训练封装芯片缺陷检测神经网络模型；
2.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，还包括：
3.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型，包括：
4.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述基于大规模数据集将初始第一网络模型进行迁移，获得迁移第一网络模型，还包括：
5.根据权利要求1所述的基于迁移学习的半导体芯片检测方法，其特征在于，所述将所述迁移第一网络模型和迁移第二网络模型，构建封装芯片缺陷检测神经网络模型时，还包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：张贵阳，陈涛，曹葵康，
申请(专利权)人：苏州天准科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。