半导体芯片焊线的检测方法及装置制造方法及图纸

本申请是关于一种半导体芯片焊线的检测方法及装置。该方法包括：采用双目相机采集半导体芯片焊线的2D图像并采用分割神经网络对该图像进行线弧区域的分割处理，根据分割处理后的图像进行焊线的三维重建，根据三维重建得到的焊线三维模型实现对半导体芯片焊线的缺陷检测。本申请提供的方案，能够简化对检验装置的光源发射装置和成像装置的要求的同时提高焊线缺陷检测的准确性，便于工业场景的大规模应用。模应用。模应用。

【技术实现步骤摘要】
半导体芯片焊线的检测方法及装置
[0001]

[0002]本申请涉及计算机视觉
，尤其涉及半导体芯片焊线的检测方法及装置。
[0003]
技术介绍

[0004]随着科技的进步，现代生产过程中的自动化程度不断提高，封装IC的产能大幅度提升，对其检测要求也不断提高。传统的人工检测不仅需要投入大量的人力和物力，且人工检测时的可控性较差，还会造成误检和漏检。
[0005]现有技术中，大多通过光源照射装置结合特定角度的成像装置，对IC Wire
‑
Bonding制程中焊线的缺陷进行检测。由于线弧上存在曲率，部分线弧表面产生的反射光方向不一致，因此，通过特定角度的成像装置拍摄当前位置线弧的成像即可据此判断当前线弧是否存在塌陷、断线、线弧缺失等定性类型的缺陷。
[0006]但是上述方案存在以下技术缺陷：针对四面都有线弧的单个半导体芯片，每个方向都需要专门特定角度的光源去打光以及相应的成像装置采集图像，装置数量多且对安装位置的要求高；同时，该装置安装调试过程操作繁琐。
[0007]
技术实现思路

[0008]为克服相关技术中存在的问题，本申请提供一种半导体芯片焊线的检测方法及装置，该方法能够简化焊线缺陷检测对光源发射装置和成像装置的要求，且准确可靠的实现焊线的缺陷检测。
[0009]本申请第一方面提供一种半导体芯片焊线的检测方法，包括：采集焊线的2D图像；所述2D图像包括：第一相机采集的第一图像和第二相机采集的第二图像；通过分割神经网络对所述2D图像进行芯片线弧区域的分割处理，得到芯片线弧图像；基于所述芯片线弧图像进行三维重建，得到焊线三维数据；所述焊线三维数据，包括：焊线三维模型和焊线点云数据；基于所述焊线三维数据进行分析得到焊线的缺陷检测结果。
[0010]在一种实施方式中，所述分割神经网络，包括：DeepLab V3+网络；所述DeepLab V3+网络，包括：编码器和解码器；所述通过分割神经网络对所述2D图像进行分割处理，得到芯片线弧图像，包括：采用编码器对所述2D图像进行特征提取，得到多尺度特征图；采用解码器对所述多尺度特征图的线弧的边缘细节进行恢复，得到芯片线弧图
像。
[0011]在一种实施方式中，所述编码器包括：深度卷积神经网络和空间金字塔池化模块；所述空间金字塔池化模块包括：两个1
×
1的卷积层、三个3
×
3的空洞卷积层和一个全局平均池化层，其中三个3
×
3的空洞卷积层的rate值分别为6、12和18；所述解码器包括：一个1
×
1的卷积层和一个3
×
3的卷积层；所述采用编码器对所述2D图像进行特征提取，得到多尺度特征图，包括：利用所述深度卷积神经网络对所述2D图像进行卷积处理，得到特征图A；利用1
×
1的卷积层对所述特征图A处理，得到特征图B；分别利用尺寸为3
×
3且rate值为6、尺寸为3
×
3且rate值为12和尺寸为3
×
3且rate值为18的空洞卷积层对所述特征图A处理，得到特征图C、D和E；利用池化层对所述特征图A处理后，得到特征图F；将所述特征图B至F进行concat拼接后，进行1
×
1的卷积运算，得到多尺度特征图；所述采用解码器对所述多尺度特征图的边缘细节进行恢复，得到芯片线弧图像，包括：利用1
×
1的卷积层对所述特征图A进行卷积运算，得到特征图H；使用双线性插值法对所述多尺度特征图进行4倍上采样，得到特征图I；将所述特征图H至I进行concat拼接后，依次进行3
×
3的卷积运算和4倍上采样，得到芯片线弧蒙版图像；将所述芯片线弧蒙版图像与所述2D图像进行与运算，得到所述芯片线弧图像。
[0012]在一种实施方式中，所述分割神经网络是基于半导体IC焊线的数据集进行训练和测试后得到的。
[0013]在一种实施方式中，所述基于所述芯片线弧图像进行三维重建，得到焊线三维数据，包括：对所述芯片线弧图像进行亮度归一化处理；对归一化处理后的芯片线弧图像进行三维重建，得到焊线三维数据。
[0014]在一种实施方式中，所述对所述芯片线弧图像进行亮度归一化处理，包括：根据以下计算公式对所述芯片线弧图像对进行亮度归一化；其中，dst(i,j)为归一化后（i,j）位置的像素点的取值；src(i,j)为归一化前（i,j）位置的像素点的取值；min(src(x,y))表示所述线弧图像中所有像素点的最小取值；max (src(x,y)) 表示所述线弧图像中所有像素点的最大取值；min为归一化区间的下限；max为归一化区间的上限。
[0015]在一种实施方式中，所述基于所述芯片线弧图像进行三维重建，得到焊线三维数据，包括：对所述芯片线弧图像进行处理，生成线弧序号标记；基于芯片线弧图像和线弧序号标记进行三维重建，得到所述第一图像和所述第二图像中线弧序号相互匹配的线弧三维数据；基于所述线弧序号相互匹配的线弧三维数据，计算得到焊线三维数据。
[0016]在一种实施方式中，所述基于所述芯片线弧图像利用视差原理进行三维重建，得到焊线三维数据之后，包括：对所述焊线三维数据进行点云去噪、尖峰过滤和平滑操作中的至少一种处理。
[0017]在一种实施方式中，所述基于所述焊线三维数据进行分析得到焊线的缺陷检测结果，包括：获取焊线的预设三维模型；计算所述焊线三维模型与所述预设三维模型的欧氏距离；根据所述欧氏距离与预设阈值的比较结果，得到焊线的缺陷检测结果。
[0018]本申请第二方面提供一种半导体芯片焊线检测装置，包括：光源发射模块、双目相机和数据处理模块；所述双目相机包括：第一相机和第二相机；所述光源发射模块位于所述双目相机与所述半导体芯片之间，用于在所述双目相机进行图像采集时提供光源；所述第一相机与所述第二相机的光轴呈预设夹角，用于采集所述半导体芯片焊线的2D图像；所述双目相机与数据处理模块连接，所述双目相机将采集到的图像数据传输至所述数据处理模块执行如上所述方法。
[0019]本申请提供的技术方案可以包括以下有益效果：本技术方案采用双目立体视觉技术，利用双目相机采集半导体芯片焊线的2D图像，并基于得到的2D图像进行焊线的三维重建，得到焊线三维模型，根据焊线三维模型实现对焊线的缺陷检测。由于上述过程仅需要双目相机对整个半导体芯片进行2D图像的采集，对于光源与成像装置的位置并没有特定的要求，且对于光源仅要求其能在双目相机采集图像时提供光线，而无需对某一线弧提供特定方向的光线，因此，本技术方案对光源和成像系统的设计要求低，便于工业场景的大规模应用。另外，本技术方案在进行三维重建之前，利用分割神经网络对焊线的2D图像进行了分割处理，提取出了焊线部分，去除了无关像素点对重建焊线三维模型的干扰，从而保证了焊线缺陷检测的可靠性。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。...

【技术保护点】

【技术特征摘要】
1.一种半导体芯片焊线的检测方法，其特征在于，包括：采集焊线的2D图像；所述2D图像包括：第一相机采集的第一图像和第二相机采集的第二图像；通过分割神经网络对所述2D图像进行芯片线弧区域的分割处理，得到芯片线弧图像；基于所述芯片线弧图像进行三维重建，得到焊线三维数据；所述焊线三维数据，包括：焊线三维模型和焊线点云数据；基于所述焊线三维数据进行分析得到焊线的缺陷检测结果。2.根据权利要求1所述的半导体芯片焊线的检测方法，其特征在于，所述分割神经网络，包括：DeepLab V3+网络；所述DeepLab V3+网络，包括：编码器和解码器；所述通过分割神经网络对所述2D图像进行分割处理，得到芯片线弧图像，包括：采用编码器对所述2D图像进行特征提取，得到多尺度特征图；采用解码器对所述多尺度特征图的线弧的边缘细节进行恢复，得到芯片线弧图像。3.根据权利要求2所述的半导体芯片焊线的检测方法，其特征在于，所述编码器包括：深度卷积神经网络和空间金字塔池化模块；所述空间金字塔池化模块包括：两个1
×
1的卷积层、三个3
×
3的空洞卷积层和一个全局平均池化层，其中三个3
×
3的空洞卷积层的rate值分别为6、12和18；所述解码器包括：一个1
×
1的卷积层和一个3
×
3的卷积层；所述采用编码器对所述2D图像进行特征提取，得到多尺度特征图，包括：利用所述深度卷积神经网络对所述2D图像进行卷积处理，得到特征图A；利用1
×
1的卷积层对所述特征图A处理，得到特征图B；分别利用尺寸为3
×
3且rate值为6、尺寸为3
×
3且rate值为12和尺寸为3
×
3且rate值为18的空洞卷积层对所述特征图A处理，得到特征图C、D和E；利用池化层对所述特征图A处理后，得到特征图F；将所述特征图B至F进行concat拼接后，进行1
×
1的卷积运算，得到多尺度特征图；所述采用解码器对所述多尺度特征图的边缘细节进行恢复，得到芯片线弧图像，包括：利用1
×
1的卷积层对所述特征图A进行卷积运算，得到特征图H；使用双线性插值法对所述多尺度特征图进行4倍上采样，得到特征图I；将所述特征图H至I进行concat拼接后，依次进行3
×
3的卷积运算和4倍上采样，得到芯片线弧蒙版图像；将...

【专利技术属性】
技术研发人员：张继华，邹伟金，吴垠，李观华，姜涌，
申请(专利权)人：惠州高视科技有限公司，
类型：发明
国别省市：