一种基于卷积神经网络的电子元器件缺陷识别方法及装置制造方法及图纸

本发明专利技术方法为一种基于卷积神经网络的电子元器件缺陷识别方法及系统，包括：采集包括缺陷的多个电子元器件的多模态融合图像，作为原始图像集；确定原始图像集中各电子元器件的缺陷类型和缺陷位置并进行标注，将已标注的数据划分为训练集和测试集；使用所述训练集对三模态融合卷积神经网络模型进行训练，并使用所述测试集对训练完的模型进行测试，当指标满足预设要求时，得到训练好的模型；将待识别电子元器件的多模态融合图像输入训练好的三模态融合卷积神经网络模型，获得待识别电子元器件的缺陷类型及缺陷位置。本发明专利技术能够识别出电子元器件可能出现的多种内部和表面缺陷。元器件可能出现的多种内部和表面缺陷。元器件可能出现的多种内部和表面缺陷。

【技术实现步骤摘要】
一种基于卷积神经网络的电子元器件缺陷识别方法及装置


[0001]本专利技术涉及图像识别领域，具体涉及一种基于卷积神经网络的电子元器件缺陷识别方法及装置。

技术介绍

[0002]集成电路电子元器件越来越多地被应用于工业生产中，而电子元器件的质量对产品的质量带来直接的影响。对集成电路电子元器件缺陷识别是芯片相关产业发展的关键环节，因此对电子元件的质量检测尤为重要。现有的生产过程中，主要靠人工经验对比或机器视觉检测，对于不同尺寸和形状的电子元器件来说，灵活性较差且识别精准性欠佳。

技术实现思路

[0003]为解决上述问题，本专利技术提出一种基于卷积神经网络的电子元器件缺陷识别方法及装置，引入了光学、超声和红外融合的多模态集成电路电子元器件高分辨率图像数据，使得输入网络的数据细节更加丰富，能有效提高缺陷识别准确率。
[0004]一方面，一种基于卷积神经网络的电子元器件缺陷识别方法，包括：
[0005]S101，采集包括缺陷的多个电子元器件的多模态融合图像，作为原始图像集；
[0006]S102，根据电子元器件缺陷界定标准，确定原始图像集中各电子元器件的缺陷类型和缺陷位置并进行标注，将已标注的数据划分为训练集和测试集；
[0007]S103，使用所述训练集对三模态融合卷积神经网络模型进行训练，并使用所述测试集对训练完的三模态融合卷积神经网络模型进行测试，当指标满足预设要求时，得到训练好的三模态融合卷积神经网络模型；
[0008]S104，将待识别电子元器件的多模态融合图像输入训练好的三模态融合卷积神经网络模型，获得待识别电子元器件的缺陷类型及缺陷位置。
[0009]优选的，所述多模态融合图像的获取方法包括：
[0010]对于各个单一电子元器件，在相同位置拍摄出一组光学、超声和红外图像，将这组三张图像融合为一张多模态高分辨率图像数据，不对原始图像做任何改变，仅做关联融合，即将三张相同位置的拍摄图片记为一组数据。
[0011]优选的，电子元器件的缺陷类型包括裂纹、分层、划痕、缺角、油污、划伤、破损、斑点、孔洞和颗粒污染；
[0012]所述裂纹、划痕和划伤，首先采用长度占比法确定，当以下条件满足时，判定电子元器件存在裂纹、划痕或划伤缺陷，再通过超声图像查看元器件内部判定裂纹，通过实际功能测试判定区分划伤或划痕：
[0013][0014]其中，L
′
表示缺陷长度为，L表示所在面对角线长度；所述斑点或油污，首先采用面积占比法确定，当以下条件满足时，判定电子元器件存在斑点或油污缺陷，再通过黑暗环境
下采用白光区分，油污呈现特定绚丽光泽：
[0015][0016]其中，S
′
表示缺陷面积，S表示所在面的面积；
[0017]所述缺角或破损，采用体积占比法确定，当以下条件满足时，判定电子元器件存在对应缺陷，其中当缺陷比例大于0.1时，直接认定缺陷情况为破损：
[0018][0019]其中，表示缺陷体积，V表示电子元器件体积；当大于0.1，判定缺陷类型为破损；
[0020]对于分层、孔洞或颗粒污染，采用计数法确定缺陷，缺陷个数为n；当n≥1，判定缺陷类型为分层或孔洞，并通过红外图像/超声波图像对分层和孔洞进行区分；当n≥2，判定缺陷类型为颗粒污染。
[0021]优选的，当缺陷类型确定后，将多模态高分辨率图像数据中能包裹缺陷位置的最小矩形框，记为缺陷位置。
[0022]优选的，所述三模态融合卷积神经网络模型包括特征提取模块、特征融合模块和预测模块；所述特征提取模块包括三个独立通道，每个通道10个卷积层，分别用于提取光学、超声和红外数据；所述特征融合模块包括一个特征拼接操作和8个卷积层，将三个独立通道的输出作为输入，先进行Concat操作，再进行卷积操作，以进行特征融合；所述预测模块包括缺陷类别预测模块和缺陷位置预测模块，将所述特征融合模块的输出作为输入传入两个全连接层。
[0023]优选的，所述特征提取模块，基于如下公式进行特征提取：
[0024][0025][0026][0027]其中，表示第一通道的l卷积层输出的光学数据；表示表示第二通道的l卷积层输出的超声数据；表示表示第三通道的l卷积层输出的红外数据；表示表示第一通道的l
‑
1卷积层输出的光学数据；表示表示第二通道的l
‑
1卷积层输出的超声数据；表示表示第三通道的l
‑
1卷积层输出的红外数据；表示第l个卷积层的过滤器核函数；表示第l个卷积层的偏置系数；x∈[1，Num]，Num表示最大的卷积核大小；*表示卷积运算；
[0028]所述特征融合模块采用如下公式进行特征融合：
[0029][0030][0031]其中，表示融合后的第0个卷积层输出的特征图；表示融合后的第l个卷积层输出的特征图；表示融合后的第l
‑
1个卷积层输出的特征图；Concat表示将三种图像的
特征进行融合拼接操作；YLU表示指数线性单元激活函数，用于各层之间的非线性转换操作；
[0032]所述预测模块中，两个全连接层的处理如下：
[0033][0034][0035]其中，表示类别预测任务第l个层，即类别预测任务映射层，输出预测类别；表示缺陷位置预测任务第l个层，即缺陷位置预测任务映射层，输出预测缺陷位置；表示类别预测任务所输出的第l
‑
1层特征图；表示缺陷位置预测任务所输出的第l
‑
1层特征图；表示类别预测任务中第l
‑
1层过滤器核函数；表示缺陷位置预测任务中第l
‑
1层过滤器核函数；表示类别预测任务中第l
‑
1层的偏置系数；表示缺陷位置预测任务中第l
‑
1层的偏置系数。
[0036]优选的，电子元器件的缺陷类别预测任务的分类回归损失Loss
DCP
计算方式如下：
[0037][0038]电子元器件的缺陷位置预测的回归损失Loss
DLP
计算方式如下：
[0039][0040]其中，N表示从所述训练集取出并用于训练所述预测模型的样本数量；表示第i个样本第j个分类器的缺陷类型基于所述预测模型得到的预测值；表示第i个样本第j个分类器的缺陷类型真实值；表示第i个样本缺陷位置的预测值；L
i
表示第i个样本缺陷位置的真实值。
[0041]优选的，基于已标注的原始图像集，对应每种类型的缺陷图像数据，从中随机取40％样本数据作为训练数据置于普通训练集，从中随机取40％样本数据进行增量缺陷类别标注，作为训练数据置于增量训练集，从中随机20％样本数据作为测试数据置于测试集。
[0042]优选的，当指标满足预设要求时，得到训练好的三模态融合卷积神经网络模型，包括：
[0043]采用四项指标对三模态融合卷积神经网络模型的测试效果进行评价，当所述预测模型的测试效果满足所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的电子元器件缺陷识别方法，其特征在于，包括：S101，采集包括缺陷的多个电子元器件的多模态融合图像，作为原始图像集；S102，根据电子元器件缺陷界定标准，确定原始图像集中各电子元器件的缺陷类型和缺陷位置并进行标注，将已标注的数据划分为训练集和测试集；S103，使用所述训练集对三模态融合卷积神经网络模型进行训练，并使用所述测试集对训练完的三模态融合卷积神经网络模型进行测试，当指标满足预设要求时，得到训练好的三模态融合卷积神经网络模型；S104，将待识别电子元器件的多模态融合图像输入训练好的三模态融合卷积神经网络模型，获得待识别电子元器件的缺陷类型及缺陷位置。2.根据权利要求1所述的基于卷积神经网络的电子元器件缺陷识别方法，其特征在于，所述多模态融合图像的获取方法包括：对于各个单一电子元器件，在相同位置拍摄出一组光学、超声和红外图像，将这组三张图像融合为一张多模态高分辨率图像数据，不对原始图像做任何改变，仅做关联融合，即将三张相同位置的拍摄图片记为一组数据。3.根据权利要求1所述的基于卷积神经网络的电子元器件缺陷识别方法，其特征在于，电子元器件的缺陷类型包括裂纹、分层、划痕、缺角、油污、划伤、破损、斑点、孔洞和颗粒污染；所述裂纹、划痕和划伤，首先采用长度占比法确定，当以下条件满足时，判定电子元器件存在裂纹、划痕或划伤缺陷，再通过超声图像查看元器件内部判定裂纹，通过实际功能测试判定区分划伤或划痕：其中，L
′
表示缺陷长度为，L表示所在面对角线长度；所述斑点或油污，首先采用面积占比法确定，当以下条件满足时，判定电子元器件存在斑点或油污缺陷，再通过黑暗环境下采用白光区分，油污呈现特定绚丽光泽：其中，S
′
表示缺陷面积，S表示所在面的面积；所述缺角或破损，采用体积占比法确定，当以下条件满足时，判定电子元器件存在对应缺陷，其中当缺陷比例大于0.1时，直接认定缺陷情况为破损：其中，表示缺陷体积，V表示电子元器件体积；当大于0.1，判定缺陷类型为破损；对于分层、孔洞或颗粒污染，采用计数法确定缺陷，缺陷个数为n；当n≥1，判定缺陷类型为分层或孔洞，并通过红外图像/超声波图像对分层和孔洞进行区分；当n≥2，判定缺陷类型为颗粒污染。4.根据权利要求1所述的基于卷积神经网络的电子元器件缺陷识别方法，其特征在于，当缺陷类型确定后，将多模态高分辨率图像数据中能包裹缺陷位置的最小矩形框，记为缺
陷位置。5.根据权利要求1所述的基于卷积神经网络的电子元器件缺陷识别方法，其特征在于，所述三模态融合卷积神经网络模型包括特征提取模块、特征融合模块和预测模块；所述特征提取模块包括三个独立通道，每个通道10个卷积层，分别用于提取光学、超声和红外数据；所述特征融合模块包括一个特征拼接操作和8个卷积层，将三个独立通道的输出作为输入，先进行Concat操作，再进行卷积操作，以进行特征融合；所述预测模块包括缺陷类别预测模块和缺陷位置预测模块，将所述特征融合模块的输出作为输入传入两个全连接层。6.根据权利要求5所述的基于卷积神经网络的电子元器件缺陷识别方法，其特征在于，所述特征提取模块，基于如下公式进行特征提取：所述特征提取模块，基于如下公式进行特征提取：所述特征提取模块，基于如下公式进行特征提取：其中，表示第一通道的l卷积层输出的光学数据；表示表示第二通道的l卷积层输出的超声数据；表示表示第三通道的l卷积层输出的红外数据；表示表示第一通道的l
‑
1卷积层输出的光学数据；表示表示第二通道的l
‑
1卷积层输出的超声数据；表示表示第三通道的l
‑
1卷积层输出的红外数据；表示第l个卷积层的过滤器核函数；表示第l个卷积层的偏置系数；x∈[1，Num]，Num表示最大的卷积核大小；*表示卷积运算；所述特征融合模块采用如下公式进行特征融合：所述特征融合模块采用如下公式进行特征融合：其中，表示融合后的第0个卷积层输出的特征图；表示融合后的第l个卷积层输出的特征图；表示融合后的第l
‑
1个卷积层输出的特征图；Concat表示将三种图像的特征进行融合拼接操作；YLU表示指数线性单元激活函数，用于各层之间的非线性转换操作；所述预测模块中，两个全连接层的处理如下：所述预测模块中，两个全连接层的处理如下：其中，表示类别预测任务第l个层，即类别预测任务映射层，输出预测类别；表示缺陷位置预测任务第l个层，即缺陷位置预测任务映射层，输出预测缺陷位置表示类别预测任务所输出的第l
‑
1层特征图；表示缺陷位置预测任务所输出的第l
‑
1层特征图；表示类别预测任务中第l
‑

【专利技术属性】
技术研发人员：曾念寅，李新宇，吴佩树，胡立伟，刘浩楠，李寒，
申请(专利权)人：厦门大学，
类型：发明
国别省市：