基于BP神经网络的FICS金手指缺陷检测系统及检测方法技术方案

本发明专利技术公开了一种基于BP神经网络的FICS金手指缺陷检测系统及检测方法，该系统包括图像采集子系统、缺陷检测模块以及数据分析模块。方法包括：1)图像采集子系统控制显微镜对柔性基板进行定位拍照，目标位置为金手指所在区域位置；2)通过“输入图像保护机制”，确保缺陷检测方法的输入图像是金手指图样；3)通过形态学处理提取金手指区域；4)对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域；5)对确定含有缺陷的图片计算九类特征数值；6)以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。本发明专利技术及系统能较好地避免不同光照强度下金手指成像检测的缺陷误报，对金手指多类缺陷的同时检测具有较高的准确率。

【技术实现步骤摘要】
基于BP神经网络的FICS金手指缺陷检测系统及检测方法
本专利技术属于缺陷检测的
，涉及一种基于BP神经网络的FICS金手指缺陷检测系统及方法。
技术介绍
无贴膜FICS的研究主要集中在两种，一种是不需要贴膜的柔性基板成品，也叫光板，另一种则是在覆膜柔性基板成品上不需要被贴膜的部位，即焊接元器件用的金手指。金手指是线路密度最高的关键部位，对FICS与IC及外围器件的连接可靠性起着决定性作用。随着FICS使用率的加大和质量要求的提高，人们越来越多关注地FICS的外观质量检测。目前，针对金手指的压痕、划痕、露铜几类缺陷的检测系统或方法寥寥无几，即便是针对其他类型缺陷的检测系统，通常也是基于单线程的多任务处理，工作效率不高。本系统及方法不仅实现多类缺陷的同时检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于BP神经网络的FICS金手指缺陷检测系统及方法，本专利技术能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。为了达到上述目的，本专利技术采用以下技术方案：本专利技术一种基于BP神经网络的FICS金手指缺陷检测系统，包括图像采集子系统、缺陷检测模块以及数据分析模块；所述图像采集子系统，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算，所述九类特征数据包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，所述数据分析模块中包括BP神经网络分类器，并以九类特征数据组成输入向量传入BP神经网络分类器，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。作为优选的技术方案，所述图像采集子系统包括运动控制模块和图像采集模块；所述运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；所述图像检测模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了BP神经网络分类器，以九类特征数据组成输入向量计算输出向量。本专利技术还提供了一种基于BP神经网络的FICS金手指缺陷检测系统的检测方法，包括下述步骤：S1、图像采集子系统控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；S2、通过“输入图像保护机制”，确保输入图像是金手指图样，否则弹窗警报并退出检测流程；所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法奔溃，对系统乃至硬件机台造成不必要的影响；S3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；S4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；S5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；S6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的BP神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。作为优选的技术方案，所述步骤S1包括下述步骤：S1.1、针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；S1.2、现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本系统数据库，即可建立本文所需柔性基板金手指部位模板数据库；S1.3、按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。作为优选的技术方案，所述步骤S2包括：S2.1、输入图像保护机制，用于保证只有输入图像是本缺陷检测系统中的金手指才可进行缺陷检测，否则弹窗警报并退出检测流程；S2.2、统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告；S2.3、在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；S2.4、线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于本系统设定阈值，则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告。作为优选的技术方案，所述步骤S3包括：S3.2、以输入图像的平滑直方图中波谷值为阈值对图像进行二值化，这里采用基于插值法的直方图平滑，设步长step，对直方图f上某点x，按下述公式计算其平滑后的值temp：S3.2针对二值图像采用3*3模板大小的中值滤波器，保证基板输入图样细节的同时，尽可能消除二值图中类似椒盐噪声的干扰点；S3.3再进行闭操作，及先膨胀后腐蚀，弥合较窄的间断和细长的沟壑，消除小空洞，填补轮廓线中的断裂。作为优选的技术方案，步骤S3.3中，采用的“十”字型结构元能较好的对滤波后二值图进行目标区域当中细小空洞的填补。作为优选的技术方案，所述步骤S4包括：S4.1、通过自定义直线拟合算法检测并拟合出每条金手指的直线边缘，每两条直线确定一条金手指，确定其在图像中所占区域位置，然后对每条金手指分别检测其是否存在缺陷；S4.2按二值图的宽度w，将每条金手指均分为N等份，其中N为自定义数值，并统计每一份金手指区域内黑色像素的占空比，所述黑色像素即灰度值为0的区域，若占空比大于某一设定阈值，则视为该金手指局部区域存在缺陷的可能，将其切割保存为新图层放到缓冲区等待后续进一步分析，否则视为不存在缺陷；S4.3对同一条金手指的缺陷存疑检测过程中，若相邻两局部区域都判定为缺陷存疑区域，则将两局部区域进行合并，将合并后的金手指局部区域图作为后续特征计算用的实际输入图像存到缓冲区中；S4.4当前步骤结束后，若缓冲区中有图层数据，则继续执行步骤S5，否则表示该待检基板的金手指部位质量良好，跳出检测流程，进行下一待检柔性基板的质量检测。作为优选的技术方案，所述步骤S5包括：S5.1、从缺陷存疑图片缓冲区内依次读取图片进行轮廓提取，计算每一轮廓所包含的面积，若小于某一设定阈值，则视为干扰而非缺陷处理，不作后面的特征计算处理；S5.2、对确定存在缺陷的图片，计算其九类特征的数值，包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；S5.3、矩形度体现的是二维物体占其最小外接矩形的面积比例大小，定义为R＝S0/SMER，其中S0是该物体的面积，SMER是其最小外接矩形的面积；S5.4、圆形度是从二维空间的不规则度出发，指和标准圆形的近似程度，其计算公式如下，其中A表示物体在其二值图中的成像区域面积，C表示物体在图像中的成像区域周长，R表示圆度：S5.5灰度共生矩阵是一个本文档来自技高网...

【技术保护点】
1.一种基于BP神经网络的FICS金手指缺陷检测系统，其特征在于，包括图像采集子系统、缺陷检测模块以及数据分析模块；所述图像采集子系统，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算，所述九类特征数据包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，所述数据分析模块中包括BP神经网络分类器，并以九类特征数据组成输入向量传入BP神经网络分类器，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。

【技术特征摘要】
1.一种基于BP神经网络的FICS金手指缺陷检测系统，其特征在于，包括图像采集子系统、缺陷检测模块以及数据分析模块；所述图像采集子系统，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算，所述九类特征数据包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，所述数据分析模块中包括BP神经网络分类器，并以九类特征数据组成输入向量传入BP神经网络分类器，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。2.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测系统，其特征在于，所述图像采集子系统包括运动控制模块和图像采集模块；所述运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；所述图像检测模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了BP神经网络分类器，以九类特征数据组成输入向量计算输出向量。3.根据权利要求1-2中任一项所述基于BP神经网络的FICS金手指缺陷检测系统的检测方法，其特征在于，包括下述步骤：S1、图像采集子系统控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；S2、通过“输入图像保护机制”，确保输入图像是金手指图样，否则弹窗警报并退出检测流程；所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法奔溃，对系统乃至硬件机台造成不必要的影响；S3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；S4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；S5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；S6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的BP神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。4.根据权利要求3所述基于BP神经网络的FICS金手指缺陷检测系统的检测方法，其特征在于，所述步骤S1包括下述步骤：S1.1、针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；S1.2、现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本系统数据库，即可建立本文所需柔性基板金手指部位模板数据库；S1.3、按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。5.根据权利要求3所述基于BP神经网络的FICS金手指缺陷检测系统的检测方法，其特征在于，所述步骤S2包括：S2.1、输入图像保护机制，用于保证只有输入图像是本缺陷检测系统中的金手指才可进行缺陷检测，否则弹窗警报并退出检测流程；S2.2、统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告；S2.3、在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；S2.4、线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于...

【专利技术属性】
技术研发人员：胡跃明，李翼，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44