一种芯片外观缺陷自动检测方法、电子设备及存储介质技术

本发明专利技术公开了一种芯片外观缺陷自动检测方法、电子设备及存储介质，包括：利用光学相机采集芯片图像，并使用Retinex光照均衡和中值滤波进行图像预处理；构建基于单阶段免锚框神经网络结构的芯片检测模块，从预处理后图像中提取芯片区域；构建基于多尺度单阶段神经网络结构的引脚检测模块，从芯片区域中提取引脚；构建基于神经网络结构的引脚异常分类模块，对引脚异常情形进行分类；构建基于多尺度单阶段神经网络结构的封装表面异常检测模块，以检测封装表面的异常；基于预处理后的数据构建数据集对各个模型进行训练。利用已训练模型对输入新图像进行芯片外观缺陷检测。本发明专利技术解决了人工和传统自动化检测方式效率低、鲁棒性低、误检率高等缺陷。检率高等缺陷。检率高等缺陷。

【技术实现步骤摘要】
一种芯片外观缺陷自动检测方法、电子设备及存储介质


[0001]本专利技术属于模式识别
，具体涉及一种芯片外观缺陷自动检测方法、电子设备及存储介质。

技术介绍

[0002]集成电路(IC)芯片是信息产业的核心器件，其意义非凡。然而，由于IC芯片制造工序与工艺精密且复杂，不可避免会产生各种缺陷，这些缺陷直接影响芯片的正常使用。为提高芯片的可靠性，需要在质量管控环节对芯片进行缺陷检测。芯片缺陷检测包括内部缺陷检测与外观缺陷检测，前者可通过X光进行检测，后者往往通过光学照相机予以实现。
[0003]传统芯片外观缺陷检测主要由人工方式实现，该方式需要高成本对检测师进行培训，且实际操作时严重依赖检测师的经验，无法客观地做出一致稳定判断。此外，由于长时间在强灯光下工作容易造成疲劳甚至严重的眼睛损伤。因此，人工外观缺陷检测方式既无法保证检测准确度，同时效率较为低下。随着IC芯片设计和封装技术的革新，IC芯片更趋向于体积小、质量轻，同时引脚数更多，引脚间距更小。该趋势导致芯片外观缺陷检测的难度不断增加。因此，传统人工检测方式更加难以满足实际需求。因此基于计算机视觉的自动化芯片外观缺陷检测技术已经开始逐渐取代人工外观缺陷检测方式。
[0004]目前基于计算机视觉的自动化的芯片外观缺陷检测技术常常使用经典的图像预处理和模式识别方法，例如通过人工选取和设计特征和算子来实现。而经典的预处理方法有着很大的局限性，通常对于图像的质量要求较高，无法处理较大的外界干扰因素，如光照强弱、拍摄角度等，导致实际环境中检测性能下降严重。此外，传统使用模式识别方法获取的图像特征不具有较强的鲁棒性和普适性，算法难以适用于检测较特殊的缺陷，在不同数据集上的泛化能力非常差，因此有较大的局限性。
[0005]近年来，随着深度学习等人工智能理论与技术的出现，各种计算机视觉问题得到了迅猛发展，并取得了显著优于传统手动设计算子和特征的方法，如图像分类、目标检测等问题。但是到目前为止，深度学习在芯片外观缺陷检测这一特定问题上的研究和应用工作尚且少见，少数基于深度学习的芯片外观缺陷检测网络不够优化而导致准确率不高。因此，如何基于深度神经网络等最新理论与工具来设计实现自动化的、高性能的芯片外观缺陷检测技术是非常必要的。

技术实现思路

[0006]为了实现自动化的、高性能的芯片外观缺陷检测，本专利技术提供了一种芯片外观缺陷检测方法、电子设备及存储介质。本专利技术要解决的技术问题通过以下技术方案实现：
[0007]本专利技术的实现过程如下：构建多个目标检测模型以及一个图像分类模型，以串并联混合的方式完成系统的构建，并对各个模型进行基于迁移学习的微调，得到训练后模型，从而进行芯片外观自动缺陷检测作业。
[0008]进一步，所述芯片外观缺陷检测方法包括以下步骤：
[0009]步骤一，构建图像采集与预处理模块，利用光学相机采集含有芯片的图像，并对芯片图像进行对比度增强和降噪预处理，得到增强后的芯片图像；
[0010]步骤二，构建基于单阶段、免锚框深度神经网络结构的芯片检测模块(记作YOLO
‑
Chip)，并相应构建IoU感知分类损失函数，以预处理增强后图像为输入，使用YOLO
‑
Chip对图像中的芯片区域进行精确定位和提取，以得到芯片区域；
[0011]步骤三，构建基于多尺度、单阶段深度神经网络结构的引脚检测模块(记作SSD
‑
Pin)，并相应构建边界框回归损失函数(SIoU)，使用SSD
‑
Pin对芯片区域中的芯片引脚进行检测和提取，得到芯片区域中的各个引脚，使得每个芯片图像得到一个引脚图像构成的集合；
[0012]步骤四，构建基于深度神经网络结构的引脚异常分类模块(记作CNN
‑
Pin)，使用CNN
‑
Pin对每个芯片图像对应的所有引脚进行异常情形的分类，以完成引脚异常检测；
[0013]步骤五，构建基于多尺度、单阶段深度神经网络结构的封装表面异常检测模块(记作SSD
‑
Surface)，以步骤二检测到的芯片区域为输入，使用SSD
‑
Surface检测出封装表面的异常部位，对芯片表面异常部位进行定位与分类；
[0014]步骤六，构建数据集制作和模型训练模块，基于预处理增强后图像构建各个模型训练所需的数据集，例如芯片检测数据集、芯片引脚检测数据集、芯片引脚分类数据集以及封装表面异常检测数据集。并相应完成对芯片检测模块、引脚检测模块、引脚异常分类模块和封装表面异常检测模块的微调训练。
[0015]步骤七，以训练后的芯片检测模型、引脚检测模型、引脚异常分类模型和封装表面异常检测模型组成完整的芯片外观缺陷检测系统，利用该芯片外观缺陷检测系统对输入的新芯片图像进行测试，以实现芯片外观缺陷检测功能。
[0016]进一步，所述步骤一中图像采集与预处理模块，利用光学相机采集含有芯片的图像，并使用Retinex光照均衡和中值滤波对图像进行预处理的步骤，具体包括：通过常规的光学相机采集含有芯片的RGB颜色空间图像，使用单尺度Retinex算法估计图像的反射分类分量，完成Retinex光照均衡化操作，得到对比度增强的芯片图像。在对比度增强芯片图像基础上，通过中值滤波算法，完成图像的细节保护和去噪，得到预处理后的对比度更好且噪声更低的图像。
[0017]进一步，所述步骤二中基于单阶段、免锚框深度神经网络结构的芯片检测模块YOLO
‑
Chip，对应的神经网络模型具体包括：特征提取主干层，多尺度特征融合层和IoU感知检测头；
[0018]所述特征提取主干层，基于CSPDarkNet，用于对输入图像进行初步特征提取，并生成待融合的三级多尺度特征图；
[0019]所述多尺度特征融合层，基于PAFPN，以三级多尺度特征图作为输入进行路径聚合的特征融合，得到具有对尺度鲁棒的特征图；
[0020]所述IoU感知检测头，以三级特征融合结果为输入，解耦前背景分类和边界框回归任务，利用IoU感知分类损失函数完成任务对齐的分类与回归分支的训练，测试时基于锚点进行分类与回归任务的预测。
[0021]所述后处理模块，用以解码无锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片区域检测预测结果。
[0022]进一步，所述步骤三中基于多尺度单阶段深度神经网络结构的引脚检测模块SSD
‑
Pin，对应的神经网络模型具体包括：特征提取主干层、多尺度特征预测头和后处理模块；
[0023]所述特征提取主干层基于VGG16构建，用于提取6层不同尺度的特征图；
[0024]所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，利用SIoU损失(SCYLLA
‑
IoU)完成高精度边界框回归任务的学习，测试时基于锚框进行分类和回归的编码预测；
[0025]所述后处理模块，用以解码基于锚框的预测结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种芯片外观缺陷自动检测方法，其特征在于，包括：构建图像采集与预处理模块，利用光学相机采集含有芯片的图像，并对芯片图像进行对比度增强和降噪预处理；构建基于单阶段、免锚框深度神经网络结构的芯片检测模块(YOLO
‑
Chip)，并相应构建IoU感知分类损失函数，使用该芯片检测模块对预处理后图像中的芯片区域进行定位和提取；构建基于多尺度、单阶段深度神经网络结构的引脚检测模块(SSD
‑
Pin)，并相应构建边界框回归损失函数(SIoU)，使用该引脚检测模块检测和提取芯片区域中的各个引脚；构建基于深度神经网络结构的引脚异常分类模块(CNN
‑
Pin)，使用该引脚异常分类模块对各引脚进行异常情形的分类；构建基于多尺度、单阶段深度神经网络结构的封装表面异常检测模块(SSD
‑
Surface)，使用该封装表面异常模块对芯片表面异常部位进行定位与分类；构建数据集制作和模型训练模块，基于预处理后的图像构建数据集，对芯片检测模块进行微调训练；基于提取到的芯片图像构建数据集，对引脚检测模块进行微调训练；基于引脚图像构建数据集，对引脚异常分类模块进行微调训练；基于提取到的芯片图像构建数据集，对封装表面异常检测模块进行微调训练；以训练后的芯片检测模型、引脚检测模型、引脚异常分类模型和封装表面异常检测模型组成完整的芯片外观缺陷检测系统，利用该芯片外观缺陷检测系统对输入的新芯片图像进行测试，以实现芯片外观缺陷检测功能。2.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，利用光学相机采集含有芯片的图像，并使用Retinex光照均衡和中值滤波对图像进行预处理的步骤，包括：通过光学相机采集含有芯片的RGB颜色空间图像，使用单尺度Retinex算法估计图像的反射分量，进行光照均衡化操作，得到对比度增强的芯片图像；在对比度增强芯片图像基础上，再通过中值滤波算法，完成图像的细节保护和去噪，得到预处理后的对比度更好且噪声更低的高质量芯片图像。3.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，所述芯片检测模块对应的神经网络模型包括：特征提取主干层、多尺度特征融合层、IoU感知检测头和后处理模块；所述特征提取主干层，基于CSPDarkNet，用于对输入图像进行初步特征提取，并生成待融合的三级多尺度特征图；所述多尺度特征融合层，基于PAFPN，以三级多尺度特征图作为输入进行路径聚合的特征融合，得到具有对尺度鲁棒的特征图；所述IoU感知检测头，以三级特征融合结果为输入，解耦前背景分类和边界框回归任务，利用IoU感知分类损失函数完成任务对齐的分类与回归分支的学习，测试时基于锚点进行分类与回归预测；所述后处理模块，用以解码无锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片区域检测结果。4.根据权利要求3所述的芯片外观缺陷自动检测方法，其特征在于，所述IoU感知分类损失函数的每个样本采用VariFocalLoss(VFL)，其公式为：
其中p是分类分支具有IoU感知能力的分类分数(IoU
‑
Aware Classification Score,IACS)，q是IACS的真实值；对于前景目标锚点，q被设置为回归分支该锚点的预测框与其真实框之间的IoU，未分配到前景目标的锚点其q为0，p
γ
为VFL的缩放因子，最终所有样本的分类损失L
cls

【专利技术属性】
技术研发人员：曹志诚，庞辽军，李文龙，赵恒，
申请(专利权)人：西安电子科技大学重庆集成电路创新研究院，
类型：发明
国别省市：