一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法技术

本发明专利技术公开了一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，包括如下步骤：(1)图像采集和预处理；(2)建立IC芯片定位模板和字符定位模板；(3)基于特征模板匹配的芯片定位和字符检测；(4)字符缺陷判别；(5)卷积神经网络深度学习架构的创建和训练；(6)IC芯片引脚缺陷检测和分类。本发明专利技术可以有效的检测塑封体中的IC芯片的字符缺陷，并能够完成引脚的缺陷分类，具备较高的准确率，能满足塑封体中IC芯片的在线检测需求。

【技术实现步骤摘要】
一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法
本专利技术涉及图像处理和人工智能
，尤其是一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法。
技术介绍
随着电子行业的迅速发展，IC芯片的需求量越来越大，芯片检测成为电子行业中不可缺少的环节。传统的人工检测方法不仅效率低下，成本也较高。将机器视觉技术应用到工业检测领域，不仅提高了产品的质量，也提高了工业生产的效率。如今图像处理技术已被广泛应用于工业生产领域，实现了对产品进行高精度的检测和定位。现阶段，关于IC芯片的视觉检测研究已经取得了很大的进展。2008年，Hawari等通过对SOP芯片的48只引脚限定区域进行Blob特征提取，利用模糊技术对芯片引脚的平面度、偏移、跨度、节距误差进行检测。2015年，Yang等提出了一种针对IC芯片的在线字符缺陷检测方法，其流程主要包括芯片位置检测、字符分割、字符特征提取与识别，并使用BP神经网络对非法字符、字符缺失、打印错误等字符缺陷类型进行分类。吴晖辉等人提出基于边缘积分投影和颜色统计特征的检测算法，可以有效检测出半导体芯片常见的引脚缺失、偏移、翘脚、极性错误等常见缺陷。虽然当前关于IC芯片表面缺陷检测已经取得了很多研究成果，但是针对IC后工序生产过程中的实时高速高精度检测和定位问题,国内相关的研究工作还比较少，特别是关于管脚缺陷、芯片印刷信息不清晰等问题的技术还不成熟，而对于缺陷分类的研究还停留在明显缺陷的识别上，缺陷分类的准确率较低。如何更有效地检测IC芯片的表面缺陷并完成缺陷分类，成为IC芯片制造商亟需解决的问题。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，能够有效的检测塑封体中的IC芯片的字符缺陷，并能够完成引脚的缺陷分类，实时性和准确性都可以达到工业检测的要求。为解决上述技术问题，本专利技术提供一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，包括如下步骤：(1)图像采集和预处理；采集塑封体中的IC芯片图像，包括正常芯片图像和缺陷芯片图像；对采集到的芯片图像进行图像预处理，滤除噪声对特征信息的干扰，以利于后续的模板匹配和缺陷检测；(2)建立IC芯片定位模板和字符定位模板；利用采集的正常芯片图像建立IC芯片定位模板和字符定位模板；利用梯度算法对预处理后的图像边缘检测，并利用图像处理算法对边缘图像进行手动修改，得到IC芯片定位模板和字符定位模板；(3)基于特征模板匹配的芯片定位和字符检测；利用建立好的IC芯片定位模板和特征模板匹配法对预处理后的图像进行IC芯片定位，得到芯片的位置和角度信息，并利用IC芯片的定位信息建立字符检测ROI区域；利用字符定位模板对ROI区域中的图像进行字符检测，得到字符的位置和角度信息；(4)字符缺陷判别；设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷；利用芯片定位和字符检测得到的位置和角度信息，并根据设置的偏角阈值和距离阈值，检测芯片是否存在字符偏斜缺陷；(5)卷积神经网络深度学习架构的创建和训练；创建卷积神经网络深度学习架构，并利用大量已知缺陷类型的引脚样本图像对深度学习架构训练，获得基于IC芯片引脚缺陷检测和分类的深度学习架构参数，为下一步的引脚缺陷分类奠定基础；(6)IC芯片引脚缺陷检测和分类。根据芯片的位置和角度信息，提取引脚区域图像输入训练好引脚缺陷识别深度学习架构，实现IC芯片引脚缺陷检测和分类。优选的，步骤(1)中，通过高帧率CCD相机采集高速送料机中的IC芯片图像，并对图像进行预处理，为了提高图像采集的质量，采用红色LED光源固定在相机正下方；对采集得到的目标图像进行图像滤波处理，祛除图像中存在的噪声信号；采用灰度增强算法提高图像的对比度。优选的，步骤(2)中，建立IC芯片定位模板具体为：对正常芯片图像进行边缘检测，根据边缘的特征信息提取出IC芯片模板定位所需的边缘信息；对提取出的边缘信息进行矩形拟合，得到理想的边缘信息；建立字符定位模板具体为：建立只包含字符部分的感兴趣区域(ROI)，对提取出的ROI区域进行阈值分割和形态学处理，得到完整的字符区域；对处理后的完整字符图像进行边缘提取，得到字符定位模板信息。优选的，步骤(3)中，特征模板匹配的具体过程如下：利用canny梯度检测法计算目标图像的边缘点信息，并分别计算模板图像和目标图像的边缘点梯度向量，模板边缘上的点集pi＝(ri,ci)T对应的边缘梯度向量为di＝(ti,ui)T，目标图像的边缘点集(r,c)的对应的边缘梯度向量为er,c＝(vr,c,wr,c)T；其中(ri,ci)、(ti,ui)、(r,c)、(vr,c,wr,c)为图像中第i个像素的行列位置信息；为了得到精确的匹配位置，先对模板进行仿射变换,去除仿射变换中的平移部分，旋转变换可以通过点p'i＝Api及相应的变换后的方向向量d'i＝(A-1)Tdi得出，A为二阶旋转矩阵，如式(1)所示：模板匹配过程是利用模板图像和目标图像的梯度向量信息计算相似度值，待搜索点q＝(r,c)T处的相似度函数计算方法为，首先计算模板变换后边缘点的梯度向量与图像中对应边缘点的梯度向量的点积之和，然后进行归一化，如式(2)所示：其中s为归一化相关函数返回的匹配分值，n为图像的像素总数，匹配分值越接近于1，说明图像中的对应区域与模板之间的相似度越大；模板匹配过程中，为了加快速度，利用相似度阈值设定终止条件以提前结束运算；以sj表示累计到模板的第j个元素时的点积总和，smin表示设置的最低匹配分值，计算归一化点积和如式(3)所示，发现如果sj满足式(4)，那么匹配分数不可能达到smin，因此，可以在第j个元素后停止计算；sj<smin-1+j/n(4)模板匹配过程中，利用金字塔分层搜索策略以降低算法的复杂度；一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合，金字塔层数一般为4或5，并保证最高层图像中的匹配所用特征仍比较完整；利用式(2)-(4)对图像金字塔的顶层图像计算所有可能位姿上的相似度量，确定匹配分值大于smin且为局部的最大值的位置为潜在匹配位置，然后跟踪潜在匹配位置到金字塔的更低一层，并在位置的领域内搜索，直至图像金字塔最底层匹配结束，一般取3阶或5阶领域。优选的，步骤(4)中，字符缺陷判别的主要目标是检测芯片的字符缺失、字符印错、字符偏斜缺陷，字符缺陷检测过程具体步骤如下：(41)设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷；具体的，取smin＝0.85，N＝3来剔除存在字符缺失与粗细不均缺陷的芯片，其中N为金字塔层数；(42)对字符的偏斜进行检查，字符的偏斜分为角度偏斜和中心偏移两方面；θ1和θ2分别为芯片边缘和字符图像的偏角，θ'为芯片边缘和字符图像的偏角差，θ为设置的偏角阈值，docr为字符中心和芯片中心的距离，d为设置的距离阈值；(43)利用字符模板匹配结果获得字符的最小外接矩形信息，并利用最小外接矩形的偏角和质心作为字符的偏角和中心；结合匹配好的芯片边缘的方向和质心，就可以求出字符相对于边缘的偏角，以及字符中心与矩形边缘中心的欧几里得距离。优选的，步骤(5)中，卷积神经网络深度学习架构的创建和训练具体本文档来自技高网...

【技术保护点】
1.一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，其特征在于，包括如下步骤：(1)图像采集和预处理；采集塑封体中的IC芯片图像，包括正常芯片图像和缺陷芯片图像；对采集到的芯片图像进行图像预处理，滤除噪声对特征信息的干扰，以利于后续的模板匹配和缺陷检测；(2)建立IC芯片定位模板和字符定位模板；利用采集的正常芯片图像建立IC芯片定位模板和字符定位模板；利用梯度算法对预处理后的图像边缘检测，并利用图像处理算法对边缘图像进行手动修改，得到IC芯片定位模板和字符定位模板；(3)基于特征模板匹配的芯片定位和字符检测；利用建立好的IC芯片定位模板和特征模板匹配法对预处理后的图像进行IC芯片定位，得到芯片的位置和角度信息，并利用IC芯片的定位信息建立字符检测ROI区域；利用字符定位模板对ROI区域中的图像进行字符检测，得到字符的位置和角度信息；(4)字符缺陷判别；设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷；利用芯片定位和字符检测得到的位置和角度信息，并根据设置的偏角阈值和距离阈值，检测芯片是否存在字符偏斜缺陷；(5)卷积神经网络深度学习架构的创建和训练；创建卷积神经网络深度学习架构，并利用大量已知缺陷类型的引脚样本图像对深度学习架构训练，获得基于IC芯片引脚缺陷检测和分类的深度学习架构参数，为下一步的引脚缺陷分类奠定基础；(6)IC芯片引脚缺陷检测和分类；根据芯片的位置和角度信息，提取引脚区域图像输入训练好引脚缺陷识别深度学习架构，实现IC芯片引脚缺陷检测和分类。...

【技术特征摘要】
1.一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，其特征在于，包括如下步骤：(1)图像采集和预处理；采集塑封体中的IC芯片图像，包括正常芯片图像和缺陷芯片图像；对采集到的芯片图像进行图像预处理，滤除噪声对特征信息的干扰，以利于后续的模板匹配和缺陷检测；(2)建立IC芯片定位模板和字符定位模板；利用采集的正常芯片图像建立IC芯片定位模板和字符定位模板；利用梯度算法对预处理后的图像边缘检测，并利用图像处理算法对边缘图像进行手动修改，得到IC芯片定位模板和字符定位模板；(3)基于特征模板匹配的芯片定位和字符检测；利用建立好的IC芯片定位模板和特征模板匹配法对预处理后的图像进行IC芯片定位，得到芯片的位置和角度信息，并利用IC芯片的定位信息建立字符检测ROI区域；利用字符定位模板对ROI区域中的图像进行字符检测，得到字符的位置和角度信息；(4)字符缺陷判别；设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷；利用芯片定位和字符检测得到的位置和角度信息，并根据设置的偏角阈值和距离阈值，检测芯片是否存在字符偏斜缺陷；(5)卷积神经网络深度学习架构的创建和训练；创建卷积神经网络深度学习架构，并利用大量已知缺陷类型的引脚样本图像对深度学习架构训练，获得基于IC芯片引脚缺陷检测和分类的深度学习架构参数，为下一步的引脚缺陷分类奠定基础；(6)IC芯片引脚缺陷检测和分类；根据芯片的位置和角度信息，提取引脚区域图像输入训练好引脚缺陷识别深度学习架构，实现IC芯片引脚缺陷检测和分类。2.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，其特征在于，步骤(1)中，通过高帧率CCD相机采集高速送料机中的IC芯片图像，并对图像进行预处理，为了提高图像采集的质量，采用红色LED光源固定在相机正下方；对采集得到的目标图像进行图像滤波处理，祛除图像中存在的噪声信号；采用灰度增强算法提高图像的对比度。3.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，其特征在于，步骤(2)中，建立IC芯片定位模板具体为：对正常芯片图像进行边缘检测，根据边缘的特征信息提取出IC芯片模板定位所需的边缘信息；对提取出的边缘信息进行矩形拟合，得到理想的边缘信息；建立字符定位模板具体为：建立只包含字符部分的感兴趣区域(ROI)，对提取出的ROI区域进行阈值分割和形态学处理，得到完整的字符区域；对处理后的完整字符图像进行边缘提取，得到字符定位模板信息。4.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，其特征在于，步骤(3)中，特征模板匹配的具体过程如下：利用canny梯度检测法计算目标图像的边缘点信息，并分别计算模板图像和目标图像的边缘点梯度向量，模板边缘上的点集pi＝(ri,ci)T对应的边缘梯度向量为di＝(ti,ui)T，目标图像的边缘点集(r,c)的对应的边缘梯度向量为er,c＝(vr,c,wr,c)T；其中(ri,ci)、(ti,ui)、(r,c)、(vr,c,wr,c)为图像中第i个像素的行列位置信息；为了得到精确的匹配位置，先对模板进行仿射变换,去除仿射变换中的平移部分，旋转变换可以通过点p'i＝Api及相应的变换后的方向向量d'i＝(A-1)Tdi得出，A为二阶旋转矩阵，如式(1)所示：模板匹配过程是利用模板图像和目标图像的梯度向量信息计算相似度值，待搜...

【专利技术属性】
技术研发人员：崔明，周伟，仲瑶，吴燕，
申请(专利权)人：江苏农林职业技术学院，
类型：发明
国别省市：江苏,32