自动光学与类神经网络整合的二次检测系统及其方法技术方案

一种自动光学与类神经网络整合的二次检测系统及其方法，自动光学检测设备先对电路板进行针脚焊点的自动光学检测，当检测结果为异常时，再由二次检测装置通过孪生神经网络将组件图像特征以及模板图像特征计算出检测图像概率值以及分别将对应的组件针脚焊点图像特征以及模板针脚焊点图像特征计算出多个针脚焊点图像概率值，取得检测图像概率值以及多个针脚焊点图像概率值的最小概率值，对最小概率值进行判断以决定是否变更自动光学检测设备的检测结果，由此可以达成提供精确的自动光学检测检测结果与提高直通率的技术功效。检测检测结果与提高直通率的技术功效。检测检测结果与提高直通率的技术功效。

【技术实现步骤摘要】
自动光学与类神经网络整合的二次检测系统及其方法


[0001]一种检测系统及其方法，尤其是指一种自动光学与类神经网络整合的二次检测系统及其方法。

技术介绍

[0002]自动光学检测(Automated Optical Inspection，AOI)设备是基于光学原理而进行检测的设备，自动光学检测设备可用于电路板中电子组件的针脚焊接制程中常见缺陷的检测，自动光学检测设备是通过摄影装置撷取电路板的图像，再逐一对各个针脚焊点与预先建立的焊点合格参数进行比较，藉以检测出电路板中电子组件的针脚焊点缺陷，并通过显示设备或自动标记以进行电路板中电子组件的针脚焊点缺陷的显示或是标示，进而提供后续维修人员进行检修。
[0003]但是在实际使用中，由于电路板中的电子组件数量较多而导致自动光学检测所生成检测结果的直通率(First Pass Yield，FPY)，即多数会被自动光学检测生成检测结果为异常，若是要提高自动光学检测检测结果的直通率，则需要工程师花费大量时间精力以针对特定的电路板进行反复的合格参数调整，不具备通用性。
[0004]综上所述，可知现有技术中长期以来一直存在现有对于电子组件针脚焊点采用自动光学检测成效过低的问题，因此有必要提出改进的技术手段，来解决此问题。

技术实现思路

[0005]有鉴于现有技术存在现有对于电子组件针脚焊点采用自动光学检测成效过低的问题，本专利技术遂公开一种自动光学与类神经网络整合的二次检测系统及其方法，其中：
[0006]本专利技术所公开的自动光学与类神经网络整合的二次检测系统，其包含：自动光学检测(Automated Optical Inspection，AOI)设备以及二次检测装置，二次检测装置更包含：接收模块、图像撷取模块、图像查询模块、针脚焊点图像模块、图像特征模块、概率值模块以及结果判断模块。
[0007]自动光学检测设备是对电路板进行针脚焊点的自动光学检测，当针脚焊点的自动光学检测的检测结果为异常时，提供二次自动光学检测的检测图像以及检测结果信息。
[0008]二次检测装置的接收模块是用以自自动光学检测设备接收检测图像以及检测结果信息；二次检测装置的图像撷取模块是用以依据检测结果信息中电子组件信息以及位置信息撷取出检测图像中对应的电子组件范围为组件图像；图像查询模块是用以依据检测结果信息中电路板信息查询出模板图像；二次检测装置的针脚焊点图像模块是用以分别对组件图像的每一个针脚焊点撷取组件针脚焊点图像以及对模板图像的每一个针脚焊点撷取模板针脚焊点图像；二次检测装置的图像特征模块是用以通过卷积神经网络(Convolutional Neural Networks，CNN)分别对组件图像进行图像特征的提取以生成组件图像特征，对模板图像进行图像特征的提取以生成模板图像特征，对组件针脚焊点图像进行图像特征的提取以生成组件针脚焊点图像特征以及对模板针脚焊点图像进行图像特征
的提取以生成模板针脚焊点图像特征；二次检测装置的概率值模块是通过孪生神经网络(siamese network)将组件图像特征以及模板图像特征计算出检测图像概率值以及分别将对应的组件针脚焊点图像特征以及模板针脚焊点图像特征计算出多个针脚焊点图像概率值；及二次检测装置的结果判断模块是用以取得检测图像概率值以及多个针脚焊点图像概率值的最小概率值，当最小概率值大于等于门坎值时，将自动光学检测设备的检测结果变更为正常，当最小概率值小于门坎值时，不对自动光学检测设备的检测结果进行变更。
[0009]本专利技术所公开的自动光学与类神经网络整合的二次检测方法，其包含下列步骤：
[0010]首先，自动光学检测设备对电路板进行针脚焊点的自动光学检测；接着，当针脚焊点的自动光学检测的检测结果为异常时，自动光学检测设备提供自动光学检测的检测图像以及检测结果信息至二次检测装置；接着，二次检测装置依据检测结果信息中电子组件信息以及位置信息撷取出检测图像中对应的电子组件范围为组件图像；接着，二次检测装置依据检测结果信息中电路板信息查询出模板图像；接着，二次检测装置对组件图像的每一个针脚焊点撷取组件针脚焊点图像；接着，二次检测装置对模板图像的每一个针脚焊点撷取模板针脚焊点图像；接着，二次检测装置通过卷积神经网络对组件图像进行图像特征的提取以生成组件图像特征；接着，二次检测装置通过卷积神经网络对模板图像进行图像特征的提取以生成模板图像特征；接着，二次检测装置通过卷积神经网络对组件针脚焊点图像进行图像特征的提取以生成组件针脚焊点图像特征；接着，二次检测装置通过卷积神经网络对模板针脚焊点图像进行图像特征的提取以生成模板针脚焊点图像特征；接着，二次检测装置通过孪生神经网络将组件图像特征以及模板图像特征计算出检测图像概率值；接着，二次检测装置通过孪生神经网络将对应的组件针脚焊点图像特征以及模板针脚焊点图像特征计算出多个针脚焊点图像概率值；接着，二次检测装置取得检测图像概率值以及多个针脚焊点图像概率值的最小概率值；接着，当最小概率值大于等于门坎值时，二次检测装置将自动光学检测设备的检测结果变更为正常；最后，当最小概率值小于门坎值时，二次检测装置不对自动光学检测设备的检测结果进行变更。
[0011]本专利技术所公开的系统及方法如上，与现有技术之间的差异在于由自动光学检测设备先对电路板进行针脚焊点的自动光学检测，当检测结果为异常时，再由二次检测装置通过孪生神经网络将组件图像特征以及模板图像特征计算出检测图像概率值以及分别将对应的组件针脚焊点图像特征以及模板针脚焊点图像特征计算出多个针脚焊点图像概率值，取得检测图像概率值以及多个针脚焊点图像概率值的最小概率值，当最小概率值大于等于门坎值时，将自动光学检测设备的检测结果变更为正常，当最小概率值小于门坎值时，不对自动光学检测设备的检测结果进行变更。
[0012]通过上述的技术手段，本专利技术可以达成提供精确的自动光学检测检测结果与提高直通率的技术功效。
附图说明
[0013]图1绘示为本专利技术自动光学与类神经网络整合的二次检测系统的系统方块图。
[0014]图2A绘示为本专利技术自动光学与类神经网络整合的组件图像示意图。
[0015]图2B绘示为本专利技术自动光学与类神经网络整合的模板图像示意图。
[0016]图3A绘示为本专利技术自动光学与类神经网络整合的二次检测的组件针脚焊点图像
示意图。
[0017]图3B绘示为本专利技术自动光学与类神经网络整合的二次检测的模板针脚焊点图像示意图。
[0018]图4绘示为本专利技术自动光学与类神经网络整合的二次检测的特征矩阵示意图。
[0019]图5A以及图5B绘示为本专利技术自动光学与类神经网络整合的二次检测方法的方法流程图。
[0020]附图标记如下：
[0021]10:自动光学检测设备
[0022]20:二次检测装置
[0023]21:接收模块
[0024]22:图像撷取模块
[0025]23:图像查询模块
[0026]24:针脚焊点图像模块...

【技术保护点】

【技术特征摘要】
1.一种自动光学与类神经网络整合的二次检测系统，其特征在于，包含：一自动光学检测(Automated Optical Inspection，AOI)设备，对一电路板进行针脚焊点的自动光学检测，当针脚焊点的自动光学检测的检测结果为异常时，提供自动光学检测的一检测图像以及一检测结果信息；及一二次检测装置，所述二次检测装置进一步包含：一接收模块，用以自所述自动光学检测设备接收所述检测图像以及所述检测结果信息；一图像撷取模块，用以依据所述检测结果信息中电子组件信息以及位置信息撷取出所述检测图像中对应的电子组件范围为一组件图像；一图像查询模块，用以依据所述检测结果信息中电路板信息查询出一模板图像；一针脚焊点图像模块，用以分别对所述组件图像的每一个针脚焊点撷取一组件针脚焊点图像以及对所述模板图像的每一个针脚焊点撷取一模板针脚焊点图像；一图像特征模块，用以通过卷积神经网络(Convolutional Neural Networks，CNN)分别对所述组件图像进行图像特征的提取以生成一组件图像特征、对所述模板图像进行图像特征的提取以生成一模板图像特征、对所述组件针脚焊点图像进行图像特征的提取以生成一组件针脚焊点图像特征以及对所述模板针脚焊点图像进行图像特征的提取以生成一模板针脚焊点图像特征；一概率值模块，通过孪生神经网络(siamese Network)将所述组件图像特征以及所述模板图像特征计算出一检测图像概率值以及分别将对应的所述组件针脚焊点图像特征以及所述模板针脚焊点图像特征计算出多个针脚焊点图像概率值；及一结果判断模块，用以取得所述检测图像概率值以及多个针脚焊点图像概率值的最小概率值，当最小概率值大于等于门坎值时，将所述自动光学检测设备的检测结果变更为正常，当最小概率值小于门坎值时，不对所述自动光学检测设备的检测结果进行变更。2.根据权利要求1所述的自动光学与类神经网络整合的二次检测系统，其特征在于，所述卷积神经网络是分别对不同的图像特征进行图像特征的提取以生成为对应图像特征的所述组件图像特征、所述模板图像特征、所述组件针脚焊点图像特征以及所述模板针脚焊点图像特征的特征矩阵。3.根据权利要求1所述的自动光学与类神经网络整合的二次检测系统，其特征在于，所述孪生神经网络是将所述组件图像特征减去所述模板图像特征后，由全连接层(dense layer)输出为一输出数值，再将所述输出数值通过sigmoid函数(S函数)转换以计算出所述检测图像概率值，所述检测图像概率值的范围介于0至1。4.根据权利要求1所述的自动光学与类神经网络整合的二次检测系统，其特征在于，所述孪生神经网络是将对应的所述组件针脚焊点图像特征减去对应的所述模板针脚焊点图像特征后，由全连接层输出为一针脚输出数值，再将所述针脚输出数值通过sigmoid函数转换以计算出所述针脚焊点图像概率值，所述针脚焊点图像概率值的范围介于0至1。5.根据权利要求1所述的自动光学与类神经网络整合的二次检测系统，其特征在于，所述图像撷取模块是以所述检测结果信息中位置信息为中心且依据所述检测结果信息中电子组件信息找出被设定的撷取范围进行图像的撷取以撷取出所述检测图像中对应的电子组件范围为所述组件图像...

【专利技术属性】
技术研发人员：刘皓，
申请(专利权)人：英业达股份有限公司英业达集团天津电子技术有限公司，
类型：发明
国别省市：