一种基于深度学习的芯片缺陷检测系统及检测流程技术方案

本发明专利技术公开了一种基于深度学习的芯片缺陷检测系统及检测流程，包括包括模型训练模块、实时监测模块、芯片识别模块以及编带机的信息传输与交互模块，其步骤如下：建立目标识别模型、芯片质量识别、连接前端编带机、进行CCD检测、对料带进行收卷；该一种基于深度学习的芯片缺陷检测系统及检测流程，传统的编带机都是基于传统算法的检测，本发明专利技术是基于深度学习，并可以对加了覆盖膜后的芯片缺陷进行检测，本发明专利技术复检项目较多，能识别加了覆盖膜的芯片表面缺陷，如:旋转、侧翻、空格、打印缺陷、缺损、数量差异、载带缺陷、混料。还能识别塑封体缺陷，如：塑封体表面开裂、塑封体有针孔；气泡引线脚缺陷：变形、缺损、断脚、长度不一致、表面毛刺。面毛刺。面毛刺。

【技术实现步骤摘要】
一种基于深度学习的芯片缺陷检测系统及检测流程


[0001]本专利技术涉及人工智能
，具体为一种基于深度学习的芯片缺陷检测系统及检测流程。

技术介绍

[0002]市场上现有的编带机在识别芯片缺陷过程中，在识别结果、效率等方面都存在不足之处，并且在识别方法上仍有改进的空间。本专利技术基于深度学习，可以对加了覆盖膜之后的芯片进行检测。例如，现有的编带机在识别方法上不能建立合适的算法识别模拟目标，它将每个芯片image通过预设矩形框后比较相似度，这就造成识别芯片过程复杂、耗时。而本专利技术采用AI算法实时识别模型目标，具有准备率高、误检率低、识别分类快、定位准等核心优势；现有的编带机在识别结果上只分为正常和非正常两种，而本专利技术能够智能识别出加了覆盖膜的芯片缺陷种类(种类≥2)；现有的编带机在识别效率上每次对比一个image得出相似度结果，而本专利技术可以同时识别出帧图中所有加了覆盖膜的芯片并分类。另外，本专利技术能够实时视频流帧图实现多次识别分类，灵活设立阙值。实时帧图多次识别判定，误判后可立即纠正。具有较好的鲁棒性、查准率。最后能够通过智能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的芯片缺陷检测系统，其特征在于：包括模型训练模块、实时监测模块、芯片识别模块以及编带机的信息传输与交互模块。2.一种基于深度学习的芯片缺陷检测流程，其特征在于：包括如下步骤：步骤一：建立目标识别模型；步骤二：对加了覆盖膜的芯片数据集进行Mosaic数据增强，以此增强芯片图像清晰度；步骤三：对经过上述子步骤1的芯片图像进行4次切片操作和1次32个卷积核的卷积操作，对芯片图像进行尺寸处理，将图像的尺寸修改成固定大小并转换为特征图；步骤四：进行局部跨层融合，利用不同层的特征信息来获得更为丰富的特征图；步骤五：设定初始锚框，采用FPN+PAN的结构，网络模型在基础锚框的基础上训练得到预测框，并和真实框进行比较，根据差值反向更新，迭代调整网络模型参数。并采用加权NMS操作，获得最优目标框；步骤六：将经过上述子步骤4的芯片图像送入检测模型中训练；步骤七：划分数据集。将获取到的数据集，按照一定比例分成训练集、验证集和测试集三份，其中训练集占大多数。并在每种数据集下新建空的labels文件夹，用来存储生成的标注文件；步骤八：对数据集进行清洗，将数据集中不含芯片的图片进行删除，保证训练样本集的质量。同时每种数据集中都需要包含所有不合格型号以及合格型号；步骤九：对训练集和验证集进行人工标注，将标注的矩形框中左上角坐标和芯片坐标以及类别索引自动生成；步骤十：针对不同的物理机硬件设备选择不同的训练参数。将输入图像的尺寸变换成固定大小，再送入检测模型中训练，模型在目标识别过程中引入了候选区域框；步骤十一：利用可视化工具TensorBoard来展示网络图、张量的指标变化、张量的分布情况等。运用准确率、召回率、平均精度均值和调和均值来对模型进行评估；步骤十二：对加了覆盖膜的芯片进行实时识别，并显示出加了覆盖膜的芯片的实时状态；步骤十三：连...

【专利技术属性】
技术研发人员：郭永安，严立兴，余德泉，孙洪波，张申，龚雪亮，何清，
申请(专利权)人：南京邮信科技有限公司，
类型：发明
国别省市：