基于深度学习的二维PCB外观缺陷实时自动检测技术制造技术

本发明专利技术提出了一种基于深度学习的二维PCB外观缺陷实时自动检测技术，含有依赖于标准PCB板作比对的CNN检测、无标准PCB板比对的CNN检测(非监督学习检测)、混合CNN检测三种PCB缺陷检测方法，包括：训练PCB缺陷图片库的每一种类缺陷，将待测PCB图片分割成多个图片块；利用PCB缺陷特征搜索缺陷块识别待测PCB图片中的缺陷并标记疑似缺陷块；利用PCB缺陷类别特征进行缺陷分类，判断缺陷类别，判断不在类别中的疑似缺陷是假缺陷还是新类别的缺陷，将新类别缺陷补充至缺陷图片库；利用PCB缺陷级别特征判断疑似缺陷，若为假缺陷，则删除对应缺陷并分析原因，若为真缺陷，则标记在缺陷记录中。该方法检测PCB缺陷速度快、精度高。

【技术实现步骤摘要】
基于深度学习的二维PCB外观缺陷实时自动检测技术
本专利技术涉及缺陷检测
，特别涉及一种基于深度学习的二维PCB外观缺陷实时自动检测技术。
技术介绍
二维(2D)印刷电路板(PCB)是各种微电路版、主板制作的基础，其正确性是其它后续工序正确的保障。由于现代技术和精细工艺的不断发展，PCB的制作也越来越复杂、越来越精密。传统的外观检测已不适应复杂的PCB检测。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于深度学习的二维PCB外观缺陷实时自动检测技术，该方法具有速度快、精度高、泛化能力强，结构清晰等优点。为达到上述目的，本专利技术实施例提出了一种基于深度学习的二维PCB外观缺陷实时自动检测技术，包括：S1，通过搜集和标记PCB缺陷块图片，建立二维PCB缺陷块图片库，所述二维PCB缺陷块图片库包括二维PCB缺陷数据对图片库和二维PCB缺陷单数据图片库；S2，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，利用卷积神经网络进行训练，提取PCB缺陷类别特征；S3，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，利用卷积神经网络进行训练，提取PCB缺陷级别特征；S4，通过PCB生产流水线提取二维PCB图片，所述二维PCB图片包括二维标准PCB图片和二维待测PCB图片；S5，通过滤波去噪块，对所述二维PCB图片进行去噪处理；S6，通过图像配准块，对所述二维待测PCB图片与所述二维标准PCB图片配准；S7，通过图像灰度值比对块，对所述二维标准PCB图片和所述二维待测PCB图片灰度值进行比对分析，得到二维PCB残差图片；S8，通过图像分割定位块，对所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割定位，得到多个图片的图片块和对应的坐标；S9，通过残差滤波块，对所述二维PCB残差图片的图片块过滤，消去因配准及其它因素产生比对误差；S10，缺陷搜索匹配块，通过卷积神经网络训练的PCB缺陷特征，在多个图片块中搜索缺陷块，并进行缺陷块匹配；S11，CNN缺陷识别块，通过卷积神经网络对所述二维待测PCB图片中的缺陷进行识别；S12，PCB缺陷分类块，通过卷积神经网络训练的PCB缺陷类别特征对对所述二维待测PCB图片中标记的缺陷进行分类，对不在类别中的缺陷进行判断，判断是否为假缺陷还是新的类别的缺陷，将所述新的类别的缺陷补充至缺陷块图片库；S13，通过PCB缺陷疑似块，对所述二维待测PCB图片中每一类缺陷标记为疑似缺陷；S14，PCB缺陷验证块，通过卷积神经网络训练的PCB缺陷级别特征和分类信息，判断疑似缺陷块的真假性，若缺陷为假缺陷，则删除对应缺陷，并分析产生假缺陷的原因，若缺陷为真缺陷，则标记在缺陷记录中。本专利技术实施例的基于深度学习的二维PCB外观缺陷实时自动检测技术，利用PCB图像和标准PCB图像以及卷积神经网络对PCB进行缺陷检测，通过PCB检测缺陷的工具，在装配工艺过程的早期查找和消除错误，可以避免将含有缺陷的PCB板送到后续的装配阶段，同时会减少修理成本将避免报废不可修理的电路板。利用卷积神经网络具有速度快、精度高、泛化能力强，结构清晰等优点。另外，根据本专利技术上述实施例的基于深度学习的二维PCB外观缺陷实时自动检测技术还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述二维PCB缺陷块图片库分为两类，一类为二维PCB缺陷块和对应无缺陷标准PCB块图片组成的数据对图片库，另一类为只有单个二维PCB缺陷块的数据图片库。进一步地，在本专利技术的一个实施例中，所述步骤S1还包括：建立二维PCB缺陷块图片库。两类二维PCB缺陷块图片库包含PCB的多种已标记且分类和分级的PCB缺陷块图片，所述PCB缺陷块图片包括多尺度图片。进一步地，在本专利技术的一个实施例中，所述步骤S2和步骤S3还包括：对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，用卷积神经网络进行训练，提取PCB缺陷类别特征；对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，用卷积神经网络进行训练，提取PCB缺陷级别特征。进一步地，在本专利技术的一个实施例中，在S4中，通过PCB图片提取块提取的二维PCB图片包括两种：一种为提取二维标准PCB图片和二维待测PCB图片；另一种为只提取二维待测PCB图片。进一步地，在本专利技术的一个实施例中，所述S4还包括：在比对标准PCB的检测方法和PCB混合检测方法中，提取二维待测PCB图片和对应的二维标准PCB图片；在无标准板比对PCB检测方法中，只提取二维待测PCB图片。进一步地，在本专利技术的一个实施例中，所述S5中，滤波去噪块对所述二维PCB图片进行去噪处理，包括：利用算法对所述二维标准PCB图片和所述二维待测PCB图片进行去噪，在比对标准PCB的检测方法和PCB混合检测方法中，对所述二维标准PCB图片和所述二维待测PCB图片去噪，去除图片中的噪声，修正底板颜色对图片的影响，使得标准PCB图片、待测PCB图片、缺陷库中图片的底板颜色一致；在无标准板比对PCB检测方法中，只对所述二维待测PCB图片去噪，去除图片中的噪声，修正底板颜色对图片的影响，使得待测PCB图片、缺陷库中图片的底板颜色一致。进一步地，在本专利技术的一个实施例中，对所述二维标准PCB图片和所述二维待测PCB图片进行配准、灰度值比对、图像分割，进一步包括：在比对标准PCB的检测方法和PCB混合检测方法中，所述S6、S7和S8，包括：在比对标准PCB的检测方法和PCB混合检测方法中，将所述二维标准PCB图片和所述二维待测PCB图片配准，根据去噪处理后的二维标准PCB图片对所述二维待测PCB图片进行矫正，将所述二维标准PCB图片和所述二维待测PCB图片对比灰度值，计算图片残差得到二维PCB残差图片；将所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割得到多个图片块和对应的坐标；对所述二维标准PCB图片进行配准，检测所述二维标准PCB图片是否存在旋转、形变、光线不均和光线反射，若存在，则利用算法进行矫正；将所述二维待测PCB图片与处理后的二维标准PCB图片进行对比，判断位置、光线和颜色是否一致，若不一致，则通过算法对所述二维待测PCB图片进行矫正。进一步地，在本专利技术的一个实施例中，在非比对参考的检测方法中，S8进一步包括：对所述二维待测PCB图片进行分割得到多个图片块和对应的坐标。进一步地，在本专利技术的一个实施例中，所述S9中，对所述二维PCB残差图片的图片块过滤，消去因配准及其它因素产生比对误差，删除所述二维PCB残差图片中没有残差的图片块；所述S10和S12进一步包括：在无标准板比对PCB的检测方法中，采用所述二维PCB缺陷单数据图片库；在无标准板本文档来自技高网...

【技术保护点】
1.一种基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，包括以下步骤：/nS1，通过PCB缺陷块图片库建立二维PCB缺陷块图片库，所述二维PCB缺陷块图片库包括二维PCB缺陷数据对图片库和二维PCB缺陷单数据图片库；/nS2，通过CNN缺陷特征训练块，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，利用卷积神经网络进行训练，提取PCB缺陷类别特征；/nS3，通过CNN缺陷级别特征训练块，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，利用卷积神经网络进行训练，提取PCB缺陷级别特征；/nS4，通过PCB图片提取块提取二维PCB图片，所述二维PCB图片包括二维标准PCB图片和二维待测PCB图片；/nS5，通过滤波去噪块，对所述二维PCB图片进行去噪处理；/nS6，通过图像配准块，对所述二维待测PCB图片与所述二维标准PCB图片配准；/nS7，通过图像灰度值比对块，对所述二维标准PCB图片和所述二维待测PCB图片灰度值进行比对分析，得到二维PCB残差图片；/nS8，通过图像分割定位块，对所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割定位，得到多个图片的图片块和对应的坐标；/nS9，通过残差滤波块，对所述二维PCB残差图片的图片块过滤，消去因配准及其它因素产生的比对误差；/nS10，缺陷搜索匹配块通过卷积神经网络训练的PCB缺陷特征，在多个图片块中搜索缺陷块，并进行缺陷块匹配；/nS11，CNN缺陷识别块通过卷积神经网络对所述二维待测PCB图片中的缺陷进行识别；/nS12，PCB缺陷分类块通过卷积神经网络训练的PCB缺陷类别特征对对所述二维待测PCB图片中标记的缺陷进行分类，对不在类别中的缺陷进行判断，判断是否为假缺陷还是新的类别的缺陷，将所述新的类别的缺陷补充至缺陷块图片库；/nS13，通过PCB缺陷疑似块，对所述二维待测PCB图片中每一类缺陷标记为疑似缺陷；/nS14，PCB缺陷验证块通过卷积神经网络训练的PCB缺陷级别特征和分类信息，判断疑似缺陷块的真假性，若缺陷为假缺陷，则删除对应缺陷，并分析产生假缺陷的原因，若缺陷为真缺陷，则标记在缺陷记录中。/n...

【技术特征摘要】
1.一种基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，包括以下步骤：
S1，通过PCB缺陷块图片库建立二维PCB缺陷块图片库，所述二维PCB缺陷块图片库包括二维PCB缺陷数据对图片库和二维PCB缺陷单数据图片库；
S2，通过CNN缺陷特征训练块，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，利用卷积神经网络进行训练，提取PCB缺陷类别特征；
S3，通过CNN缺陷级别特征训练块，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，利用卷积神经网络进行训练，提取PCB缺陷级别特征；
S4，通过PCB图片提取块提取二维PCB图片，所述二维PCB图片包括二维标准PCB图片和二维待测PCB图片；
S5，通过滤波去噪块，对所述二维PCB图片进行去噪处理；
S6，通过图像配准块，对所述二维待测PCB图片与所述二维标准PCB图片配准；
S7，通过图像灰度值比对块，对所述二维标准PCB图片和所述二维待测PCB图片灰度值进行比对分析，得到二维PCB残差图片；
S8，通过图像分割定位块，对所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割定位，得到多个图片的图片块和对应的坐标；
S9，通过残差滤波块，对所述二维PCB残差图片的图片块过滤，消去因配准及其它因素产生的比对误差；
S10，缺陷搜索匹配块通过卷积神经网络训练的PCB缺陷特征，在多个图片块中搜索缺陷块，并进行缺陷块匹配；
S11，CNN缺陷识别块通过卷积神经网络对所述二维待测PCB图片中的缺陷进行识别；
S12，PCB缺陷分类块通过卷积神经网络训练的PCB缺陷类别特征对对所述二维待测PCB图片中标记的缺陷进行分类，对不在类别中的缺陷进行判断，判断是否为假缺陷还是新的类别的缺陷，将所述新的类别的缺陷补充至缺陷块图片库；
S13，通过PCB缺陷疑似块，对所述二维待测PCB图片中每一类缺陷标记为疑似缺陷；
S14，PCB缺陷验证块通过卷积神经网络训练的PCB缺陷级别特征和分类信息，判断疑似缺陷块的真假性，若缺陷为假缺陷，则删除对应缺陷，并分析产生假缺陷的原因，若缺陷为真缺陷，则标记在缺陷记录中。


2.根据权利要求1所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，
所述二维PCB缺陷块图片库分为两类，一类为二维PCB缺陷块和对应无缺陷标准PCB块图片组成的数据对图片库，另一类为只有单个二维PCB缺陷块的数据图片库。


3.根据权利要求2所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述步骤S1还包括：
建立二维PCB缺陷块图片库。两类二维PCB缺陷块图片库包含PCB的多种已标记且分类和分级的PCB缺陷块图片，所述PCB缺陷块图片包括多尺度图片。


4.根据权利要求3所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述步骤S2和步骤S3还包括：
对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，用卷积神经网络进行训练，提取PCB缺陷类别特征；
对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，用卷积神经网络进行训练，提取PCB缺陷级别特征。


5.根据权利要求1所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，在S4中，通过PCB图片提取块提取的二维PCB图片包括两种：一种为提取二维标准PCB图片和二维待测PCB图片；另一种为只提取二维待测PCB图片。


6.根据权利要求5所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述S4还包括：
在比对标准PCB的检测方法和PCB混合检测方法中，提取二维待测PCB图片和对应的二维标准PCB图片；
在无标准板比对PCB检测方法中，只提取二维待测PCB图片。


7.根据权利要求6所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述S5中，滤波去噪块对所述二维PCB图片进行去噪处理，包括：
利用算法对所述二维标准PCB图片和所述二维待测PCB图片进行去噪，在比对标准PCB的检测方法和PCB混合检测方法中，对所述二维标准PCB图片和所述二维待测PCB图片去噪，去除图片中的噪声，修正底板颜色对图片的影响，使得标准PCB图片、待测PCB图片、缺陷库中图片的底板颜色一致；<...

【专利技术属性】
技术研发人员：罗贵明，何悦，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11