一种高密度柔性基板的缺陷检测方法技术

本发明专利技术公开了一种高密度柔性基板的缺陷检测方法，包括采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为faster R‑CNN卷积神经网络模型的训练样本；将标记号的训练样本作为faster R‑CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于faster R‑CNN卷积神经网络模型；然后将待检测的FICS图像输入训练好的基于faster R‑CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。本发明专利技术实现高密度柔性基板外观缺陷的快速定位与类型判断，解决了传统缺陷检测方法速度慢，正确率低的问题。

A Defect Detection Method for High Density Flexible Substrate

The invention discloses a defect detection method for high-density flexible substrates, which includes collecting FICS images with appearance defects, unifying image preprocessing into standard size, marking defect positions and types in each image as training samples of fast R CNN convolution neural network model, and transferring training samples of label numbers as fast R CNN convolution neural network model. Input and output the position and type information of FICS defect, and get the trained fast R_CNN convolution neural network model; then input the trained FICS image into the trained fast R_CNN convolution neural network model, output whether there are defects or not, and output the location and type of defects if there are defects. The invention realizes fast positioning and type judgment of appearance defects of high density flexible substrate, and solves the problems of slow speed and low accuracy of traditional defect detection methods.

【技术实现步骤摘要】
一种高密度柔性基板的缺陷检测方法
本专利技术涉及机器视觉表面缺陷检测
，具体涉及一种高密度柔性基板的缺陷检测方法。
技术介绍
高密度柔性基板(FlexibleIntegratedCircuitSubstrate,简称FICS)，是一种可作为IC封装基板的高密度挠性印刷电路板。在高密度FICS的生产过程中，由于工艺过程控制的精度问题，难免产生外观上的缺陷。通过高精度的视觉检测，对FICS的多种外观缺陷进行快速定位与类型识别，是实现高密度FICS制造过程中质量控制的关键。柔性基板制造商主要采用人工目检的方法，来对高密度FICS进行外观缺陷的检测。人工目检的检测效率比较低，造成劳动力资源的极大浪费，而且该方法误检率较高，难以保证检测的质量。一些学者提出了基于图像特征的外观缺陷检测方法，但这些方法检测速度较慢，难以满足FICS检测的实际应用需求；同时，这些方法只能针对某种特殊缺陷进行检测，无法对FICS上的多种类型的外观缺陷同时进行识别。
技术实现思路
为了克服现有技术存在的缺点与不足，本专利技术提供一种高密度柔性基板的缺陷检测方法。本专利技术采用如下技术方案：一种高密度柔性基板的缺陷检测方法，包括：深度神经网络模型训练步骤，具体为：采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为fasterR-CNN卷积神经网络模型的训练样本；将标记号的训练样本作为fasterR-CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于fasterR-CNN卷积神经网络模型；缺陷检测步骤，具体为：将待检测的FICS图像输入训练好的基于fasterR-CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。所述fasterR-CNN卷积神经网络模型包括将预处理后的待检测FICS图像作为输入，输出特征图的共享卷积神经网络对输出特征图进行采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，并输出特征图对应目标点值的平行空间变换网络；输入特征图对应目标点值得到候选框的候选框生成网络；输入候选框，输出为缺陷的位置信息及类别的感兴趣区域池化分类网络。所述共享卷积神经网络由5个卷积层和2个池化层构成。所述平行空间变换网络包括由三个全连接层构成的定位网络，用于通过特征图得到转换矩阵θ；通过转换矩阵θ，获取输出特征图上每一个采样点在输入特征图上的位置，然后对特征图进行变换的像素定位器；通过双线性插值，对采样点坐标得到值进行计算，输出特征图上目标点值的采样器。像素定位器包括缩放、平移及旋转的变换方式。所述候选框生成网络采用滑动窗口结合锚的机制，确定滑动窗口的目标。所述感兴趣区域池化分类网络包括一个感兴趣区域层和两个全连接层。所述感兴趣区域池化分类网络的损失函数为：Lhard＝Lclass(p，u)+δLregre(t，v)Lclass(p，u)代表分类的log损失，Lregre(t，v)代表预测框坐标的回归损失；p代表了该预测框对其包含的物体的真实类别的预测值，t和v分别代表了预测框的4个坐标组合起来的向量和实际位置坐标组合起来的向量；4个坐标分别为(x，y，w，h)，x代表候选框的相对横坐标，y代表候选框的相对纵坐标，w代表候选框的宽度，h代表候选框的高度，δ用于平衡分类损失和坐标回归损失；在训练过程中，将损失最大的前128个候选框视为难样本，利用小批次随机梯度下降法进行反向传播，更新网络参数。本专利技术统一尺寸具体为224×224像素的标准尺寸。本专利技术的有益效果：(1)本专利技术一种基于改进的fasterR-CNN的高密度柔性基板外观缺陷视觉检测方法，它可以被应用于柔性基板制造过程中外观缺陷的快速检测，取代人工目检，避免人工目检所带来的人力资源的浪费，并且极大地提高工作效率；(2)该检测方法能够自动快速地检测出高密度柔性基板上不同类型的缺陷，并将缺陷的位置和类型标记出来，解决了传统图像方法难以解决的随机位置情况下的缺陷快速定位与检测问题；(3)无需进行图像特征分析，将待检测图片输入训练完的神经网络模型后，可以直接输出缺陷的位置和类别信息，从而解决了传统的基于特征分析的图像处理方法速度慢并且无法同时检测多种类型缺陷的问题。附图说明图1是本专利技术的工作流程图；图2是本专利技术基于fasterR-CNN的深度神经网络模型的结构图；图3是图2中的共享卷积神经网络的示意图；图4是图2中平行空间变换网络的示意图；图5是图2中候选框生成网络的示意图；图6是图2中感兴趣区域池化分类网络的示意图；图7(a)-图7(f)是本专利技术中FICS的检测效果图，分别是短路、断路、划痕、针孔、氧化及破孔缺陷。具体实施方式下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例如图1所示，一种高密度柔性基板的缺陷检测方法，包括深度神经网络模型训练和缺陷检测两个步骤。所述深度神经网络模型训练步骤，本实施例中深度神经网络模型采用fasterR-CNN，具体如下：S1：收集大量带有不同种类外观缺陷的FICS图像；S2：将收集到的图像的尺寸进行预处理，统一为224×224的标准尺寸；S3：标记出每张图像中的缺陷位置和类别，将标记好的图像作为下一步fasterR-CNN卷积神经网络的训练样本；S4：以标记好的训练样本图像作为深度卷积神经网络模型的输入，并且将FICS缺陷的位置与类型信息作为模型输出，对基于改进的fasterR-CNN的神经网络检测模型进行训练，得到用于FICS图像外观缺陷定位与类型识别的深度神经网络模型。缺陷检测步骤，具体如下：将所有待检测的FICS图像统一为标准尺寸224×224；按顺序将FICS图像输入已经训练好的卷积神经网络模型，输出是否有缺陷、缺陷位置与类型信息，并将信息保存到数据库中；对下一张输入的图像进行检测，直到检测结束。如图2所示，本实施例中基于改进的fasterR-CNN的深度卷积神经网络模型。它由4个部分组成，第一部分是共享卷积神经网络，第二部分是平行空间变换网络，第三部分是候选框生成网络，第四部分是感兴趣区域与池化网络。如图3所示，第一部分是共享卷积神经网络。这一部分网络由5个卷积层和2个池化层组成，输入是预处理后大小为224*224的图像，输出是特征图。池化层采用最大池化的方法，来减少大量的参数计算，以及防止过拟合。如图4所示，第二部分是平行空间变换网络。每一个空间变换网络都包含了3个部分，分别是：1)定位网络，它由3个全连接层组成。它的输入是宽为w，高为h，通道数为c的特征图/，输出是一个转换矩阵θ；2)像素定位器，它通过转换矩阵θ，获取输出特征图上每一个点在输入特征图上的位置，对转换矩阵θ进行特殊化处理时，就可以产生出不同种类的特征图变换，该平行空间变换网络包含了缩放，平移，旋转3种变换方式；3)采样器，通过上一步获取了输出特征图在输入特征图上的采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，确定了输出特征图上对应目标点的值。如图5及图6所示，所述候选框生成网络的作用是输入一张图像，然后输出一批分数较高的候选框。在该网络中，候选框的生成采用了滑动窗口结合锚的机制，来确定每个滑动窗口所对应的区域里面是否有目标存在。由于本文档来自技高网...

【技术保护点】
1.一种高密度柔性基板的缺陷检测方法，其特征在于，包括：深度神经网络模型训练步骤，具体为：采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为faster R‑CNN卷积神经网络模型的训练样本；将标记号的训练样本作为faster R‑CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于faster R‑CNN卷积神经网络模型；缺陷检测步骤，具体为：将待检测的FICS图像输入训练好的基于faster R‑CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。

【技术特征摘要】
1.一种高密度柔性基板的缺陷检测方法，其特征在于，包括：深度神经网络模型训练步骤，具体为：采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为fasterR-CNN卷积神经网络模型的训练样本；将标记号的训练样本作为fasterR-CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于fasterR-CNN卷积神经网络模型；缺陷检测步骤，具体为：将待检测的FICS图像输入训练好的基于fasterR-CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。2.根据权利要求1所述的缺陷检测方法，其特征在于，所述fasterR-CNN卷积神经网络模型包括将预处理后的待检测FICS图像作为输入，输出特征图的共享卷积神经网络对输出特征图进行采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，并输出特征图对应目标点值的平行空间变换网络；输入特征图对应目标点值得到候选框的候选框生成网络；输入候选框，输出为缺陷的位置信息及类别的感兴趣区域池化分类网络。3.根据权利要求2所述的缺陷检测方法，其特征在于，所述共享卷积神经网络由5个卷积层和2个池化层构成。4.根据权利要求2所述的缺陷检测方法，其特征在于，所述平行空间变换网络包括由三个全连接层构成的定位网络，用于通过特征图得到转换矩阵θ；通过转换矩阵θ，获取输...

【专利技术属性】
技术研发人员：罗家祥，吴冬冬，林宗沛，胡跃明，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44