一种小样本柔性IC基板的表面缺陷定位和分类方法技术

本发明专利技术公开的一种小样本柔性IC基板的表面缺陷定位和分类方法，包括以下步骤：构造初始训练集，将具有特定外形特征的类别分别进行合并分类并进行标签增加；对图像进行预处理；训练缺陷目标检测模型；分离出圆孔类、划痕类和不规则轮廓类图像组成新子训练集；将新子训练集图像样本按标签细分成具体类别；抽取图像的HOG特征描述子，并构造数据样本，对圆孔类、划痕类和不规则轮廓类分别训练支持向量机模型，实现多分类；定位子训练集缺陷图像中缺陷位置；计算两种定位方式下子训练集图像缺陷定位结果与真实标签框的偏移量，获得缺陷位置坐标的最终预测结果，完成检测过程。本发明专利技术能够快速、高效、准确地实现小样本工业图像缺陷检测。

A method of surface defect location and classification for small sample flexible IC substrate

【技术实现步骤摘要】
一种小样本柔性IC基板的表面缺陷定位和分类方法
本专利技术涉及计算机视觉领域，特别涉及一种小样本柔性IC基板的表面缺陷定位和分类方法。
技术介绍
高端智能制造装备的研发作为国家科技发展的重要组成部分，越来越受到重视，柔性IC基板的表面缺陷检测设备的研发可谓其中非常重要的一环，能否设计出准确高效的工业图像表面缺陷算法关系到核心竞争力的构建。目前，柔性IC基板表面缺陷检测主要使用的传统的计算机视觉算法进行研发，在提升泛化性能方面难度较大，一方面容易受到各种因素的影响，另一方面工业图像的数据集采集成本较高，采集到的数据集图像数量也比较少。近几年，深度学习图像技术成为发展的新方向之一，越来越多的公司开始使用深度学习图像目标检测和图像分割算法进行表面缺陷的算法研究。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种小样本柔性IC基板的表面缺陷定位和分类方法。本专利技术的目的通过以下的技术方案实现：一种小样本柔性IC基板的表面缺陷定位和分类方法，包括以下步骤：S1、将采集的工业缺陷图像变换成符合要求的训练数据集；S2、将训练数据集中已经划分好的缺陷类别中具有圆形、线形和不规则多边形外形特征的类别，分别合并成圆孔类、划痕类和不规则轮廓类；S3、使用高斯滤波器去除训练数据集中图像的高斯噪声，并对图像进行增强操作；S4、利用上述制作好的训练数据集进行缺陷目标检测模型的训练，其中圆孔类、划痕类和不规则轮廓类之外的其他样本的分类和回归结果作为最终的预测结果；S5、将圆孔类、划痕类和不规则轮廓类的样本从原训练集中分离出来组成新的子训练集；S6、将子训练集中的圆孔类、划痕类和不规则轮廓类图像样本按照标签再细分成更具体的类别；S7、按照细分类别抽取图像的HOG特征描述子；S8、利用提取的特征描述子构造数据样本，对圆孔类、划痕类和不规则轮廓类分别训练各自的支持向量机模型，实现多分类，将分类结果作为子训练集缺陷图像的最终类别预测结果；S9、使用滑动窗口技术实现子训练集缺陷图像中缺陷位置的定位；S10、针对滑动窗口给出的缺陷定位和缺陷目标检测模型给出的缺陷定位，分别计算与真实标签框的偏移量，选择偏移量小的作为缺陷位置坐标的最终预测结果，完成检测过程。步骤S1中要求对训练集进行变换的优点是可以排除训练样本尺度对模型训练的影响，在正则化的时候，可以不改变其比例。步骤S2中，所述合并成圆孔类、划痕类和不规则轮廓类，完成之后，每张缺陷图像就添加一个新标签，进行缺陷目标检测模型训练时，以此为类别标签。步骤S3中，所述对图像进行增强操作，是利用对数变换进行图像增强。对数变换能够将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的目的。步骤S4中，所述缺陷目标检测模型，是基于FasterRCNN网络训练的模型，在预测时会给出每张图像中缺陷区域框的中心坐标、宽高的偏移量、缺陷类别的预测值，其中圆孔类、划痕类和不规则轮廓类除使用FasterRCNN模型给出相应预测值之外，还需要进行后续分类和定位步骤。步骤S7中，所述HOG特征描述子，其构造时首先将图像分成小的连通区域，称之为细胞单元，然后采集细胞单元中各像素点的梯度的或边缘的方向直方图，再把这些直方图组合起来就能够构成特征描述子。步骤S8中，所述多分类，即基于支持向量机，采用一对其余的方式，针对圆孔类、划痕类和不规则轮廓类分别利用各自的训练集训练多个二分类器，再融合起来实现样本的多分类。步骤S10中，所述计算与真实标签框的偏移量，其方法为：将四个预测值与真实标签框的四个真实值相减，再除以对应的预测系数。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术能够快速、高效、准确地实现小样本工业图像缺陷检测。2、本专利技术运用深度学习图像目标检测算法和支持向量机模型，分两步进行一次和二次检测，设计出一种适合小样本工业图像的缺陷定位和分类算法，尤其适合缺陷的细分类别的检测。附图说明图1为本专利技术所述一种小样本柔性IC基板的表面缺陷定位和分类方法的流程图。图2为支持向量机训练流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。如图1所示，本实施例的一种小样本柔性IC基板的表面缺陷定位和分类方法，包括以下步骤：S1、将采集的工业缺陷图像变换成符合要求的训练数据集；S2、将已经划分好的缺陷类别中具有圆形、线形和不规则多边形外形特征的类别，分别合并成圆孔类、划痕类和不规则轮廓类；S3、使用高斯滤波器去除训练集图像的高斯噪声，并对图像进行增强操作；S4、利用上诉制作好的训练集进行缺陷目标检测模型的训练，其中圆孔类、划痕类和不规则轮廓类之外的其他样本的分类和回归结果作为最终的预测结果；S5、将圆孔类、划痕类和不规则轮廓类的样本从原训练集中分离出来组成新的子训练集；S6、将子训练集中的圆孔类、划痕类和不规则轮廓类图像样本按照标签再细分成更具体的类别；S7、按照细分类别抽取图像的HOG特征描述子；S8、利用提取的特征描述子构造数据样本，对圆孔类、划痕类和不规则轮廓类分别训练各自的支持向量机模型，实现多分类，将分类结果作为子训练集缺陷图像的最终类别预测结果；S9、使用滑动窗口技术实现子训练集缺陷图像中缺陷位置的定位；S10、针对滑动窗口给出的缺陷定位和缺陷目标检测模型给出的缺陷定位，分别计算和真实标签框的偏移量，选择偏移量小的作为缺陷位置坐标的最终预测结果，完成检测过程；对于步骤S1中图像变换：所谓符合要求，即尺寸缩放成符合规定的大小，每一张工业图像都标识出真实缺陷区域的中心坐标、宽高的偏移量和缺陷的种类；如图2所示，对于步骤S8中支持向量机的训练方法，总结如下：基于支持向量机的多分类模型训练，采用一对其余的方式，针对圆孔类、划痕类和不规则轮廓类分别利用各自的训练集训练多个二分类器，再融合起来实现样本的多分类。上述实施例为本专利技术较佳的实施方式，但本专利技术的实施方式并不受上述实施例的限制，其他的任何未背离本专利技术的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种小样本柔性IC基板的表面缺陷定位和分类方法，其特征在于，包括以下步骤：/nS1、将采集的工业缺陷图像变换成符合要求的训练数据集；/nS2、将训练数据集中已经划分好的缺陷类别中具有圆形、线形和不规则多边形外形特征的类别，分别合并成圆孔类、划痕类和不规则轮廓类；/nS3、使用高斯滤波器去除训练数据集中图像的高斯噪声，并对图像进行增强操作；/nS4、利用上述制作好的训练数据集进行缺陷目标检测模型的训练，其中圆孔类、划痕类和不规则轮廓类之外的其他样本的分类和回归结果作为最终的预测结果；/nS5、将圆孔类、划痕类和不规则轮廓类的样本从原训练集中分离出来组成新的子训练集；/nS6、将子训练集中的圆孔类、划痕类和不规则轮廓类图像样本按照标签再细分成更具体的类别；/nS7、按照细分类别抽取图像的HOG特征描述子；/nS8、利用提取的特征描述子构造数据样本，对圆孔类、划痕类和不规则轮廓类分别训练各自的支持向量机模型，实现多分类，将分类结果作为子训练集缺陷图像的最终类别预测结果；/nS9、使用滑动窗口技术实现子训练集缺陷图像中缺陷位置的定位；/nS10、针对滑动窗口给出的缺陷定位和缺陷目标检测模型给出的缺陷定位，分别计算与真实标签框的偏移量，选择偏移量小的作为缺陷位置坐标的最终预测结果，完成检测过程。/n...

【技术特征摘要】
1.一种小样本柔性IC基板的表面缺陷定位和分类方法，其特征在于，包括以下步骤：
S1、将采集的工业缺陷图像变换成符合要求的训练数据集；
S2、将训练数据集中已经划分好的缺陷类别中具有圆形、线形和不规则多边形外形特征的类别，分别合并成圆孔类、划痕类和不规则轮廓类；
S3、使用高斯滤波器去除训练数据集中图像的高斯噪声，并对图像进行增强操作；
S4、利用上述制作好的训练数据集进行缺陷目标检测模型的训练，其中圆孔类、划痕类和不规则轮廓类之外的其他样本的分类和回归结果作为最终的预测结果；
S5、将圆孔类、划痕类和不规则轮廓类的样本从原训练集中分离出来组成新的子训练集；
S6、将子训练集中的圆孔类、划痕类和不规则轮廓类图像样本按照标签再细分成更具体的类别；
S7、按照细分类别抽取图像的HOG特征描述子；
S8、利用提取的特征描述子构造数据样本，对圆孔类、划痕类和不规则轮廓类分别训练各自的支持向量机模型，实现多分类，将分类结果作为子训练集缺陷图像的最终类别预测结果；
S9、使用滑动窗口技术实现子训练集缺陷图像中缺陷位置的定位；
S10、针对滑动窗口给出的缺陷定位和缺陷目标检测模型给出的缺陷定位，分别计算与真实标签框的偏移量，选择偏移量小的作为缺陷位置坐标的最终预测结果，完成检测过程。


2.根据权利要求1所述小样本柔性IC基板的表面缺陷定位和分类方法，其特征在于，步骤S2中，所述合并成圆孔类、划痕类和不规则轮廓类，完成之后，每张缺陷图像就添加一个新标签，进...

【专利技术属性】
技术研发人员：胡跃明，郭怀勇，
申请(专利权)人：华南理工大学，广州现代产业技术研究院，
类型：发明
国别省市：广东;44