一种工业缺陷检测方法及系统技术方案

本发明专利技术公开的一种工业缺陷检测方法及系统，所述系统包括：接收模块、检测模块、分选模块、性能分析模块、后处理模块、可视化模块；所述方法包括：初始化系统：分别初始化检测模型和分选模型；输入图片，并对图片进行校验，剔除坏的图片，获得待检测图像；根据输入待检测图像的数量，实时统计当前系统性能和当前进程的系统资源占用情况，调整检测模块的线程数；采用形状匹配的定位方式对待检测图像缺陷区域进行定位；然后再利用传统的边缘检测、动态阈值以及结合深度学习的分类模型等对图片进行分选，分选出缺陷类型；将分选后的结果进行统计分析，再将最后的结果进行可视化。本发明专利技术可以提高工业缺陷检测的检出率。以提高工业缺陷检测的检出率。以提高工业缺陷检测的检出率。

【技术实现步骤摘要】
一种工业缺陷检测方法及系统


[0001]本专利技术涉图像处理领域，更具体的，涉及一种工业缺陷检测方法及系统。

技术介绍

[0002]在实际工业生产过程中，由于制作工艺及其他因素的影响，晶圆、封装和PCB等表面会出现诸如异物、芯片缺失、黑点、晶点、划伤、斑点等缺陷，这些缺陷会严重影响了电子芯片的质量和寿命，也给生产制造商带来了很大的经济损失。
[0003]工业缺陷不仅种类繁多，如金线缺失、金线不良、金线弯曲、多胶、少胶、漏焊、固晶不良以及裂晶等，而且缺陷往往面积较小，比如直径不到0.02mm的脏污点、条纹、破损、边缘裂缝、皱折、边缘破损、黑点疵点等。如果仅仅通过人工在显微镜下进行检测，不仅耗费大量的人力，而且人员主观专业知识差异，甚至不能够准确的判断出瑕疵，从而导致检测效率低、漏检率高、一致性差等问题。
[0004]为了提高生产效率，节省人力成本，必须使用机器来代替人工进行质检。以芯片为例，目前市面上现有的芯片检测方案存在诸多不足：1.传统视觉定位+传统缺陷检测方案，需要划分比较固定的若干区域，扩展性较差无法自由配置，需要人员必须需要专业技能。大部分自动光学检测都是基于正负标准样本库的图像差值对比提供公差类检测服务。工业界普遍使用传统检测多使用阈值或者模板匹配的方式。但是不同缺陷的种类复杂以及同类缺陷的差异较大，给缺陷分类带来了较大的难度，且算法不具备较强的鲁棒性，计算的效率也较低，几乎不借助GPU加速技术等。
[0005]2.深度学习定位+深度学习分类缺陷检测方案，定位芯片需要依赖标注数据，只有收集到足够数据之后才可以达到客户要求的定位精度。由于芯片产品往往更新迭代比较快，所以该方案存在建档慢的窘境。

技术实现思路

[0006]鉴于上述问题，本专利技术的目的是提供一种工业缺陷检测方法及检测系统，以提高工业缺陷检测的检出率。
[0007]本专利技术一方面提供一种工业缺陷检测方法，所述方法包括以下步骤：初始化系统：分别初始化检测模型和分选模型；输入图片，并对图片进行校验，剔除坏的图片，获得待检测图像；根据输入待检测图像的数量，实时统计当前系统性能和当前进程的系统资源占用情况，调整检测模块的线程数；采用传统形状匹配等定位方式对待检测图像缺陷区域进行定位；然后再利用动态阈值、边缘检测等算法结合深度学习的分类模型对图片进行分选，分选出缺陷类型；将分选后的结果进行统计分析，再将最后的结果进行可视化。
[0008]本方案中，所述采用传统形状匹配等定位方式对待检测图像缺陷区域进行定位；然后再利用动态阈值、边缘检测等算法结合深度学习的分类模型对图片进行分选的具体操
作为：如果图片数量小于预设的目标数量，采用边缘检测或者动态阈值算法进行分选；如果前期收集的小料数量大于等于预设的目标数量，可以预先用分选后图片及标签，训练深度学习的分类模型；采用动态阈值等分选模型进行分选后，最后利用深度学习的分类模型对之后输入的小料图片进行分选。
[0009]本方案中，所述形状匹配定位方式包括以下步骤：首先根据预先设置的模板，从待检测的图像中定位出每颗产品的位置，然后粗略范围内，得到各产品中每颗晶粒的像素x坐标、像素y坐标和相对于模板的旋转角度；其次，根据定位到的坐标位置，和模板初始坐标位置生成一个仿射转换矩阵，将预先设置的检测区域基于该仿射转换矩阵进行一个仿射变换，然后将仿射变换之后的区域所对应的图像范围；最后，把对应的这些小料区域单独切割出来，并将其作为分选图像。
[0010]本方案中，所述训练深度学习的分类模型，包括以下步骤：收集至少预设张数经形状匹配等定位方式切割出来的小料区域图片数据，先粗略确定缺陷的种类；借助边缘检测算法或动态检测等传统算法对小料区域图片进行手动分类，确定这些缺陷的真实标签；最后，利用这些有用的小料区域图片和标签训练深度学习的分类模型。
[0011]本方案中，所述深度学习的分类模型的训练采用Transformer算法进行训练。
[0012]本方案中，所述预先设置的模板采用预设的形状模板匹配，以准确定位出产品的位置。
[0013]本方案中，所述预设的形状模板匹配包括以下步骤：利用Sobel梯度算子得到、和，其中公式分别如下面(1)、(2)和(3)所示；，其中公式分别如下面(1)、(2)和(3)所示；，其中公式分别如下面(1)、(2)和(3)所示；其中，代表图像的水平方向、代表图像的垂直方向、表示水平方向的卷积核、表示垂直方向的卷积核、分表示图像在水平方向上位置、垂直方向上位置上的像素值；通过Canny算法得到边缘图像、基于轮廓发现得到所有的轮廓点集，基于每个点计算该点的、和三个值，生成模板信息；
然后对输入的图像进行Sobel梯度图像之后，根据模型信息利用基于NCC的匹配算法进行匹配。
[0014]本方案中，所述基于NCC的匹配算法在匹配过程中，在任意一个点上，如果符合匹配NCC输出结果则趋近于1，给定一个最小阈值，如果在任意一点求和匹配小于最小阈值，就停止，继续从下一个点开始匹配。
[0015]本专利技术第二方面提供一种工业缺陷检测系统，所述检测系统包括：接收模块、检测模块、分选模块、性能分析模块、后处理模块、可视化模块；接收模块用来接收图片，并将接收到的图片进行分发给检测模块；检测模块用来对待检测图像进行检测，并将检测结果存入分选模块；分选模块用来对检测后的图像进行分选；性能分析模块用来实时统计当前的系统性能和当前进程的系统资源占用情况；后处理模块对分选后的结果进行统计分析，再将最后的结果发送给可视化模块进行可视化。
[0016]本方案中，所述分选模块采用Transformer或Resnet或Densenet作为分类器。
[0017]所述预设的形状模板匹配，具体为采用图像特征匹配，具体的采用特征匹配中的形状或者轮廓匹配。
[0018]本专利技术公开了一种工业缺陷检测方法及系统，本专利技术是可以搭载传统的形状匹配定位算法和深度学习分类模型的缺陷检测系统，该系统可以根据自带的性能分析模块，实时对系统资源进行监控，动态调整检测模块和分选模块的负载，通过内部由核心调度实现的任务分发，可以进行快速无阻塞的计算。可以提高工业缺陷检测的检出率。本专利技术具有较强的性能，能够达到工厂对准确率和实时性的要求。不仅可以兼容传统的检测方案，如模板匹配和形状匹配等，而且分类部分可以采用CNN或者Transformer系列的算法等。可以通过组件的形式进行灵活的搭建。
附图说明
[0019]图1示出了本申请一种工业缺陷检测方法的流程图；图2示出了本申请一种工业缺陷检测系统的框图；图3示出了某晶圆厂的拍摄原图；图4示出了某晶圆厂的拍摄原图的检测后的结果图；图5示出了划伤缺陷小料的展示图；图6示出了正常小料的展示图。
具体实施方式
[0020]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业缺陷检测方法，其特征在于，所述方法包括以下步骤：初始化系统：分别初始化检测模型和分选模型；输入图片，并对图片进行校验，剔除坏的图片，获得待检测图像；根据输入待检测图像的数量，实时统计当前系统性能和当前进程的系统资源占用情况，调整检测模块的线程数；采用形状匹配的定位方式对待检测图像缺陷区域进行定位；然后再利用边缘检测、动态阈值算法以及结合深度学习的分类模型对图片进行分选，分选出缺陷类型；将分选后的结果进行统计分析，再将最后的结果进行可视化。2.根据权利要求1所述的一种工业缺陷检测方法，其特征在于，所述采用形状匹配的定位方式对待检测图像缺陷区域进行定位；然后再主要利用深度学习的分类模型对图片进行分选的具体操作为：首先，对输入的图像中的小料进行定位，得到全部小料的中心点信息；如果前期收集的小料数量小于预设的目标数量，采用传统算法进行分选；如果前期收集的小料数量大于等于预设的目标数量，则则采用动态阈值或边缘检测分选模型进行分选，然后利用分选后的图片及标签，训练深度学习的分类模型；最后利用深度学习的分类模型对之后输入的小料图片进行分选。3.根据权利要求1或2所述的一种工业缺陷检测方法，其特征在于，所述形状匹配定位方式包括以下步骤：首先根据预先设置的模板，从待检测的图像中定位出每颗产品的位置，然后在估计范围内，得到各产品中每颗晶粒的像素x坐标、像素y坐标和相对于模板的旋转角度；其次，根据定位到的坐标位置，和模板初始坐标位置生成一个仿射转换矩阵，将预先设置的检测区域基于该仿射转换矩阵进行一个仿射变换，然后将仿射变换之后的区域所对应的图像范围；最后，把对应的这些小料区域单独切割出来，并将其作为分选图像。4.根据权利要求3所述的一种工业缺陷检测方法，其特征在于，所述训练深度学习的分类模型，包括以下步骤：收集至少预设张数经定位算法方式切割出来的小料区域图片数据，先初步确定缺陷的种类；借助传统算法对小料区域图片进行手动分类，确定这些缺陷的真实标签；...

【专利技术属性】
技术研发人员：别晓辉，李智勇，别伟成，单书畅，
申请(专利权)人：视睿杭州信息科技有限公司，
类型：发明
国别省市：