芯片封装缺陷自动识别和处理方法技术

本发明专利技术涉及芯片检测技术领域，公开了一种芯片封装缺陷自动识别和处理方法，包括：采用工业CCD相机采集芯片封装后的初始图像；利用训练好的YOLOv3算法模型对初始图像进行目标芯片检测，并计算检测框间距，得到单张芯片图像；对单张芯片图像依次进行预处理、Otsu阈值分割引脚、Harris－SIFT特征点匹配，以确定单张芯片图像中是否检测出缺陷；当单张芯片图像中检测出缺陷时，发送信号至警报装置进行缺陷警报，并将单张芯片图像确定为缺陷图像；将缺陷图像与其缺陷检测时间进行关联，并存入缺陷图像库中，以预测未来预定时间段内的缺陷数量。本发明专利技术提供了的芯片封装缺陷自动识别和处理方法，解决目前人工检测方式中检测速度和精度较低的技术问题。度较低的技术问题。度较低的技术问题。

【技术实现步骤摘要】
芯片封装缺陷自动识别和处理方法


[0001]本专利技术涉及芯片检测
，特别涉及一种芯片封装缺陷自动识别和处理方法。

技术介绍

[0002]当今芯片的封装迅速向微型化、片式化、高性能方向发展，对芯片封装的缺陷检测的要求逐渐提高。芯片引脚的缺陷检测是进行正确封装的必要前提，其他外观缺陷检测如芯片的型号、生产日期等也是封装元件的质量保证。目前很多的芯片封装生产线上仍然采用传统的人工目测的方式对芯片封装缺陷进行检测。对于人工检测方式，虽然人工目检方便直接，但存在重要问题。首先，人工目检方式中，工人工作强度大，易造成视觉疲劳，从而导致误检，直接降低产品检测的可靠性。其次，人工目检方式的人力资源成本高，需要持续投资。另外，人工目检的质量判断标准不易量化，从而导致检测结果稳定性较差。最后，由于芯片尺寸较小，受限于人眼的识别能力，人工目检的检测速度和精度较低。

技术实现思路

[0003]本专利技术提供了一种芯片封装缺陷自动识别和处理方法，解决目前人工检测方式中检测速度和精度较低的技术问题。
[0004]本专利技术提供了一种芯片封装缺陷自动识别和处理方法，包括：
[0005]采用工业CCD相机采集芯片封装后的初始图像；
[0006]采用预先采集的芯片封装后的训练图像调整YOLOv3算法模型的超参数，以得到训练好的YOLOv3算法模型；
[0007]利用所述训练好的YOLOv3算法模型对所述初始图像进行目标芯片检测，并根据检测结果返回坐标信息计算检测框间距，判定缺件缺陷以及根据所述检测框间距分割得到单张芯片图像；
[0008]对所述单张芯片图像依次进行预处理、Otsu阈值分割引脚、Harris－SIFT特征点匹配，以确定所述单张芯片图像中是否检测出缺陷；
[0009]当所述单张芯片图像中检测出缺陷时，发送信号至警报装置进行缺陷警报，并将所述单张芯片图像确定为缺陷图像；
[0010]将缺陷图像与其缺陷检测时间进行关联，并将所述缺陷图像存入缺陷图像库中，以根据缺陷历史数据预测未来预定时间段内的缺陷数量。
[0011]进一步地，所述利用所述训练好的YOLOv3算法模型对所述初始图像进行目标芯片检测，并根据检测结果返回坐标信息计算检测框间距，判定缺件缺陷以及根据所述检测框间距分割得到单张芯片图像的步骤，包括：
[0012]利用所述训练好的YOLOv3算法模型对所述初始图像进行目标芯片检测，返回其所属类别、置信度得分及边界框坐标信息；
[0013]确定检测框坐标集合为b
i
＝{[x1,y1,w1,h1],[x2,y2,w2,h2],
…
,[x
i
,y
i
,w
i
,h
i
]}，将
b
i
按照x
i
坐标连续递增排序并重新标号以定位芯片；其中，i为检测出的芯片编号，(x
i
,y
i
)为第i个边界框的左上角标，(w
i
,h
i
)为第i个边界框的宽、高；
[0014]计算两相邻边界框坐标的间距作为相邻芯片间距，其公式为：
[0015][0016]其中，(x
i
,y
i
)表示第i个边界框左上角的横、纵坐标，当d
i
大于最大预设间距值时，确定第i块芯片与第i+1块芯片中出现了缺件缺陷；
[0017]根据检测框间距分割得到出现缺件缺陷的单张芯片图像。
[0018]进一步地，对所述单张芯片图像依次进行预处理、Otsu阈值分割引脚、Harris－SIFT特征点匹配，以确定所述单张芯片图像中是否检测出缺陷的步骤中，对所述单张芯片图像进行Otsu阈值分割引脚包括：
[0019]对所述单张芯片图像进行引脚区域分块，得到所述单张芯片图像的多个引脚区域；
[0020]获取所述单张芯片图像的三通道图像，并将所述三通道图像转化为灰度图像；
[0021]根据所述单张芯片图像中引脚与芯片主体的比例位置关系，将所述灰度图像根据输入比例系数k横向划分左引脚区域、芯片主体和右引脚区域，并将所述左引脚区域和右引脚区域分别存储；其中，宽度像素范围为左引脚区域、为芯片主体、为芯片主体、为右引脚区域；
[0022]将所述左引脚区域和右引脚区域分别横向均分n+1等份，得到左、右引脚分块区域集合；
[0023]按序号逐次遍历各区域及各区域每个像素点，若像素点位于图像边缘区域，则将该点像素值融合为该点在原图周围3
×
3区域内像素灰度平均值；
[0024]按序号逐次遍历各区域，分别统计各区域内的灰度直方图并归一化，得到各区域内的平均灰度值，测试多个阈值求出各区域最佳分割阈值，根据不同区域的最佳阈值进行图像二值化分割，以更新左、右引脚分块区域集合；
[0025]将左、右引脚分块区域集合中各区域按序号重新拼接写入左、右引脚，并将左、右引脚区域拼接，生成分割后的芯片引脚二值图像。
[0026]进一步地，所述将左、右引脚分块区域集合中各区域按序号重新拼接写入左、右引脚，并将左、右引脚区域拼接，生成分割后的芯片引脚二值图像的步骤之后，还包括：
[0027]以分割出的引脚图像四个边缘点为角点，采用最小二乘法分别拟合四条直线，组成一个四边形作为引脚图像边缘的最小外接矩，使用中心法确定图像的几何中心位置；其中，设定图像左上角起始坐标为P(0,0)，右下角坐标为Q(m,n)，得到中心点坐标(x0,y0)的计算公式为：
[0028][0029][0030]其中，m和n分别为引脚图像像素的行数和列数，f(x,y)为图像在点(x,y)处的灰度值。
[0031]进一步地，对所述单张芯片图像依次进行预处理、Otsu阈值分割引脚、Harris－SIFT特征点匹配，以确定所述单张芯片图像中是否检测出缺陷的步骤中，对所述单张芯片图像进行Harris－SIFT特征点匹配包括：
[0032]检测图像角点，通过建立窗口对对象进行扫描，其对应角点响应函数R的计算公式为：
[0033]R＝det(M)
‑
k(traceM)2[0034]det(M)＝λ1λ2[0035]traceM＝λ1+λ2[0036]其中，det(M)为M的行列式，traceM为M的迹，λ1,λ2为自相关矩阵的两个特征值，k为常量；
[0037]确定角点特征向量，生成角点集，采用SIFT算法为每一个角点分配可以反映角点特征的梯度幅值m(x,y)和方向θ(x,y)，其公式为：
[0038][0039][0040]其中，L表示特征点所在尺度空间，由高斯函数与原图像卷积得到；
[0041]生成SIFT特征描述向量，以关键点主方向为中心旋转，求取16个4
×
4窗口内每个种子点的8个梯度方向，每个特征点生成一个128维的SIFT特征向量；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种芯片封装缺陷自动识别和处理方法，其特征在于，包括：采用工业CCD相机采集芯片封装后的初始图像；采用预先采集的芯片封装后的训练图像调整YOLOv3算法模型的超参数，以得到训练好的YOLOv3算法模型；利用所述训练好的YOLOv3算法模型对所述初始图像进行目标芯片检测，并根据检测结果返回坐标信息计算检测框间距，判定缺件缺陷以及根据所述检测框间距分割得到单张芯片图像；对所述单张芯片图像依次进行预处理、Otsu阈值分割引脚、Harris－SIFT特征点匹配，以确定所述单张芯片图像中是否检测出缺陷；当所述单张芯片图像中检测出缺陷时，发送信号至警报装置进行缺陷警报，并将所述单张芯片图像确定为缺陷图像；将缺陷图像与其缺陷检测时间进行关联，并将所述缺陷图像存入缺陷图像库中，以根据缺陷历史数据预测未来预定时间段内的缺陷数量。2.根据权利要求1所述的芯片封装缺陷自动识别和处理方法，其特征在于，所述利用所述训练好的YOLOv3算法模型对所述初始图像进行目标芯片检测，并根据检测结果返回坐标信息计算检测框间距，判定缺件缺陷以及根据所述检测框间距分割得到单张芯片图像的步骤，包括：利用所述训练好的YOLOv3算法模型对所述初始图像进行目标芯片检测，返回其所属类别、置信度得分及边界框坐标信息；确定检测框坐标集合为b
i
＝{[x1,y1,w1,h1],[x2,y2,w2,h2],
…
,[x
i
,y
i
,w
i
,h
i
]}，将b
i
按照x
i
坐标连续递增排序并重新标号以定位芯片；其中，i为检测出的芯片编号，(x
i
,y
i
)为第i个边界框的左上角标，(w
i
,h
i
)为第i个边界框的宽、高；计算两相邻边界框坐标的间距作为相邻芯片间距，其公式为：其中，(x
i
,y
i
)表示第i个边界框左上角的横、纵坐标，当d
i
大于最大预设间距值时，确定第i块芯片与第i+1块芯片中出现了缺件缺陷；根据检测框间距分割得到出现缺件缺陷的单张芯片图像。3.根据权利要求1所述的芯片封装缺陷自动识别和处理方法，其特征在于，对所述单张芯片图像依次进行预处理、Otsu阈值分割引脚、Harris－SIFT特征点匹配，以确定所述单张芯片图像中是否检测出缺陷的步骤中，对所述单张芯片图像进行Otsu阈值分割引脚包括：对所述单张芯片图像进行引脚区域分块，得到所述单张芯片图像的多个引脚区域；获取所述单张芯片图像的三通道图像，并将所述三通道图像转化为灰度图像；根据所述单张芯片图像中引脚与芯片主体的比例位置关系，将所述灰度图像根据输入比例系数k横向划分左引脚区域、芯片主体和右引脚区域，并将所述左引脚区域和右引脚区域分别存储；其中，宽度像素范围为左引脚区域、为芯片主体、为芯片主体、为右引脚区域；将所述左引脚区域和右引脚区域分别横向均分n+1等份，得到左、右引脚分块区域集
合；按序号逐次遍历各区域及各区域每个像素点，若像素点位于图像边缘区域，则将该点像素值融合为该点在原图周围3
×
3区域内像素灰度平均值；按序号逐次遍历各区域，分别统计各区域内的灰度直方图并归一化，得到各区域内的平均灰度值，测试多个阈值求出各区域最佳分割阈值，根据不同区域的最佳阈值进行图像二值化分割，以更新左、右引脚分块区域集合；将左、右引脚分块区域集合中各区域按序号重新拼接写入左、右引脚，并将左、右引脚区域拼接，生成分割后的芯片引脚二值图像。4.根据权利要求3所述的芯片封装缺陷自动识别和...

【专利技术属性】
技术研发人员：柯佳键，
申请(专利权)人：广东科信电子有限公司，
类型：发明
国别省市：