基于深度学习的二维PCB缺陷实时自动检测与分类装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的二维PCB缺陷实时自动检测与分类装置，包括：图像采集模块、PCB定位模块、图像预处理模块、功能区标注模块、图像校准模块、图像采样模块、序列化数据模块、PCB缺陷库模块、CNN缺陷训练模块、CNN缺陷点检测模块、CNN缺陷点分类模块、CNN缺陷点过滤模块、统计与显示模块。从PCB生产流水线上获取图像，传送到云端检测装置在线实时检测，在图像层面上标识出疑似缺陷并对其进行分类预测。通过PCB检测缺陷的工具，在装配工艺过程的早期查找和消除错误，避免有缺陷的PCB板送入后续的装配阶段，造成电路板的生产废品和使用中潜在的问题。利用卷积神经网络具有速度快、精度高、泛化能力强，结构清晰等优点。

【技术实现步骤摘要】
基于深度学习的二维PCB缺陷实时自动检测与分类装置
本专利技术涉及缺陷检测、计算机软件工程
，特别涉及一种基于深度学习的二维PCB缺陷实时自动检测与分类装置。
技术介绍
PCB是电子设备必不可少的组成部分，如电脑、手机、冰箱等。现代电子设备性能的优劣，不但受电子元器件本身质量和性能的影响，而且在很大程度上取决于PCB质量的好坏，特别是二维PCB是整个电子电路的基础，是关系到后续电子产品质量的第一道关键环节，也关系到电子系统质量和生产周期的重要环节。随着电子信息领域的高速发展，各种设备生产厂商对于电路板的要求越来越高，不只是追求更高性能和效率，对电路板的良品率和产能还有更加严格的要求。二维PCB检测的传统做法是采用人工检测和飞针检测。人工检测是雇佣工人在生产线上对生产完毕的电路板在灯光下用眼睛观察电路板的各个区域，找出电路板的缺陷。人工检测有如下缺点：(1)检测结果不稳定，容易产生漏检：由于人工检测主观影响较大，判断标准难以统一，导致缺陷阈值与检测人高度相关。随着工作时间增长，人眼会出现疲劳，导致有些微小的缺陷漏检。(2)效率低下：现在PCB的精度越来越高，布线和功能模块越来越密集、精细。对于拥有高元件密度和复杂图形的PCB板，人眼很难进行快速且准确的检测。(3)人工成本上升：随着制造业的不断发展，各种硬件成本逐渐下降，与之相对的，劳务成本显得越来越多，相比于用硬件自动检测，人工检测成本会更高。(4)数据收集和实时统计困难：与信息化管理要求相比，人工检测难以做到实时大量数据收集和统计，不能帮助工厂及时发现问题。飞针检测是按照设计图纸检测焊点之间的连通性，是一种物理检测方法。它用探针来取代针床，使用多个由马达驱动的、能够快速移动的电气探针同器件的引脚进行接触并进行电气测量。它有如下缺点：(1)测试时间长：由于需要对各个焊点之间的连通性进行检测，焊点间的组合方案非常多，每次测试又需要飞针移动，因此十分耗时。(2)可能对PCB造成损伤：由于飞针需要通过传动机构移动直到接触到焊点，可能会造成元件脱落或划伤。(3)精度和适应范围受限：由于飞针检测机构的移动范围是固定的，不能按照PCB电路板的大小灵活调整，同时对电路板元件密度限制也很大。随着制造业对于印刷电路板产能需求的不断提升，基于光学原理的自动光学检测(AutomatedOpticalInspection，AOI)用于PCB检测。AOI设备通过摄像头自动扫描PCB采集图像，测试的焊点与数据库中的合格的参数进行比较，经过图像处理，检查出PCB上缺陷，并通过显示器或自动标志把缺陷标示出来。然而现有的一些AOI设备通常配备复杂的灯光、传动、采集系统，需要占用生产线的很大空间，部署成本高。AOI设备需要配备专业工程师针对PCB进行编程，检测性能与编程水准高度相关。使用复杂，泛化性能差。AOI需要对每个不同的PCB分别编程，如果生产PCB型号变化迅速，且每个批次生产数量很少，编程也需要时间，没有人工检测的灵活性。传统的AOI检测原理基于传统的频域变换和统计分析，计算复杂、检测精度低，检测过程中出现大量的虚假缺陷。利用人工智能方法进行自动检测是当前工业智造的发展趋势，它不仅可以改进复杂的AOI设备，也可以将工人从生产线的机械劳动中解放出来，将劳动力用于其他更需要的地方。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习的二维PCB缺陷实时自动检测与分类装置，该装置配置简单，泛化性能强，易部署，空间占用低，速度快，效率和精度高。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习的二维PCB缺陷实时自动检测与分类装置，包括：图像采集模块，包含标准板图像采集和待测板图像采集两类模块，用于从PCB生产流水线上获取包含背景的PCB图像，并发送到服务器端；PCB定位模块，由灰度化及缩放、粗定位及提取、倾角和位移预估计及矫正、倾角和方位参数确定、PCB区域提取、PCB图像定位子模块组成，所述PCB定位模块与所述图像采集模块连接，用于从包含背景的PCB图像中提取PCB板区域，并进行平移、旋转和仿射变换；图像预处理模块，由图像去噪、亮度和对比度增强、边缘增强、预处理后标准和待测PCB图像子模块组成，所述图像预处理模块与所述PCB定位模块连接，用于对提取完毕后的PCB图像进行画质预处理，将预处理后的PCB图像传输到图像校准模块；图像校准模块，由标准PCB图像和待测PCB图像的颜色校正、全局配准、局部配准、灰度值比对子模块组成，所述图像校准模块与所述图像预处理模块连接，用于对待检测板的图像与标准板进行匹配和校准，校准完毕后将标准板与待测板图像进行图片灰度值比对，得到残差图像，将标准板图像、待测板图像、残差图像一起传输到图像采样模块；功能区标注模块，所述功能区标注模块与所述图像预处理模块连接，用于在录入PCB标准板数据时，标记PCB的功能区与非功能区；图像采样模块，由图像分割、非均匀采样、模块数据序列化子模块组成，所述图像采样模块分别与所述图像校准模块和所述功能区标注模块连接，用于对PCB图像进行采样得到多个图像块数据；序列化数据模块，所述序列化数据模块与所述图像采样模块连接，将标准板和待测板图像的图像块数据进行汇总形成序列化数据对；PCB缺陷库模块，所述PCB缺陷库模块用于收集PCB缺陷，标记存在的PCB缺陷以及缺陷区域，并进行分类与分级标记；CNN缺陷训练模块，所述CNN缺陷训练模块与所述PCB缺陷库模块连接，用于对PCB缺陷库中各类PCB缺陷和各级PCB缺陷，采用CNN算法作特征训练，分别提取PCB缺陷类别特征和缺陷级别特征；CNN缺陷点检测模块，由数据对滤波、提取图像对、PCB残差CNN缺陷检测子模块组成，其中PCB残差CNN缺陷检测子模块由卷积神经网络组成，所述CNN缺陷点检测模块与所述序列化数据模块和所述CNN缺陷训练模块连接，用于采用CNN算法，对所述序列化数据对进行检测得到PCB疑似缺陷点，标记检测PCB的缺陷和缺陷位置；CNN缺陷点分类模块，所述CNN缺陷点分类模块与所述CNN缺陷点检测模块和所述CNN缺陷训练模块连接，用于利用CNN算法对标记的缺陷图像块进行细分类，得到每个缺陷的类别或类别的概率数据；CNN缺陷点过滤模块，由区域打标、功能区过滤、CNN类别过滤、CNN分级过滤子模块组成，所述CNN缺陷点过滤模块与所述CNN缺陷点分类模块、所述功能区标注模块和所述CNN缺陷训练模块连接，用于利用卷积神经网络对标记的缺陷图像块进行分类、分级过滤，根据所述功能区标注模块标注的功能区分布、缺陷是否处于背景、缺陷是否属于可忽略缺陷类型以及缺陷的严重程度进行过滤；统计与显示模块，所述统计与显示模块与所述CNN缺陷点过滤模块连接，用于统计、记录、显示生产过程中所有被检测到的缺陷，在修复PCB过程中辅助工人确认缺陷位置，同时本文档来自技高网...

【技术保护点】
1.一种基于深度学习的二维PCB缺陷实时自动检测与分类装置，其特征在于，包括：/n图像采集模块，包含标准板图像采集和待测板图像采集两类模块，用于从PCB生产流水线上获取包含背景的PCB图像，并发送到服务器端；/nPCB定位模块，由灰度化及缩放、粗定位及提取、倾角和位移预估计及矫正、倾角和方位参数确定、PCB区域提取、PCB图像定位子模块组成，所述PCB定位模块与所述图像采集模块连接，用于从包含背景的PCB图像中提取PCB板区域，并进行平移、旋转和仿射变换；/n图像预处理模块，由图像去噪、亮度和对比度增强、边缘增强、预处理后标准和待测PCB图像子模块组成，所述图像预处理模块与所述PCB定位模块连接，用于对提取完毕后的PCB图像进行画质预处理，将预处理后的PCB图像传输到图像校准模块；/n图像校准模块，由标准PCB图像和待测PCB图像的颜色校正、全局配准、局部配准、灰度值比对子模块组成，所述图像校准模块与所述图像预处理模块连接，用于对待检测板的图像与标准板进行匹配和校准，校准完毕后将标准板与待测板图像进行图片灰度值比对，得到残差图像，将标准板图像、待测板图像、残差图像一起传输到图像采样模块；/n功能区标注模块，所述功能区标注模块与所述图像预处理模块连接，用于在录入PCB标准板数据时，标记PCB的功能区与非功能区；/n图像采样模块，由图像分割、非均匀采样、模块数据序列化子模块组成，所述图像采样模块分别与所述图像校准模块和所述功能区标注模块连接，用于对PCB图像进行采样得到多个图像块数据；/n序列化数据模块，所述序列化数据模块与所述图像采样模块连接，将标准板和待测板图像的图像块数据进行汇总形成序列化数据对；/nPCB缺陷库模块，所述PCB缺陷库模块用于收集PCB缺陷，标记存在的PCB缺陷以及缺陷区域，并进行分类与分级标记；/nCNN缺陷训练模块，所述CNN缺陷训练模块与所述PCB缺陷库模块连接，用于对PCB缺陷库中各类PCB缺陷和各级PCB缺陷，采用CNN算法作特征训练，分别提取PCB缺陷类别特征和缺陷级别特征；/nCNN缺陷点检测模块，由数据对滤波、提取图像对、PCB残差CNN缺陷检测子模块组成，其中PCB残差CNN缺陷检测子模块由卷积神经网络组成，所述CNN缺陷点检测模块与所述序列化数据模块和所述CNN缺陷训练模块连接，用于采用CNN算法，对所述序列化数据对进行检测，得到PCB疑似缺陷点，标记检测PCB的缺陷和缺陷位置；/nCNN缺陷点分类模块，所述CNN缺陷点分类模块与所述CNN缺陷点检测模块和所述CNN缺陷训练模块连接，用于利用CNN算法对标记的缺陷图像块进行细分类，得到每个缺陷的类别或类别的概率数据；/nCNN缺陷点过滤模块，由区域打标、功能区过滤、CNN类别过滤、CNN分级过滤子模块组成，所述CNN缺陷点过滤模块与所述CNN缺陷点分类模块、所述功能区标注模块和所述CNN缺陷训练模块连接，用于利用卷积神经网络对标记的缺陷图像块进行分类、分级过滤，根据所述功能区标注模块标注的功能区分布、缺陷是否处于背景、缺陷是否属于可忽略缺陷类型以及缺陷的严重程度进行过滤；/n统计与显示模块，所述统计与显示模块与所述CNN缺陷点过滤模块连接，用于统计、记录、显示生产过程中所有被检测到的缺陷，在修复PCB过程中辅助工人确认缺陷位置，同时随时反馈生产线的生产质量状况。/n...

【技术特征摘要】
1.一种基于深度学习的二维PCB缺陷实时自动检测与分类装置，其特征在于，包括：
图像采集模块，包含标准板图像采集和待测板图像采集两类模块，用于从PCB生产流水线上获取包含背景的PCB图像，并发送到服务器端；
PCB定位模块，由灰度化及缩放、粗定位及提取、倾角和位移预估计及矫正、倾角和方位参数确定、PCB区域提取、PCB图像定位子模块组成，所述PCB定位模块与所述图像采集模块连接，用于从包含背景的PCB图像中提取PCB板区域，并进行平移、旋转和仿射变换；
图像预处理模块，由图像去噪、亮度和对比度增强、边缘增强、预处理后标准和待测PCB图像子模块组成，所述图像预处理模块与所述PCB定位模块连接，用于对提取完毕后的PCB图像进行画质预处理，将预处理后的PCB图像传输到图像校准模块；
图像校准模块，由标准PCB图像和待测PCB图像的颜色校正、全局配准、局部配准、灰度值比对子模块组成，所述图像校准模块与所述图像预处理模块连接，用于对待检测板的图像与标准板进行匹配和校准，校准完毕后将标准板与待测板图像进行图片灰度值比对，得到残差图像，将标准板图像、待测板图像、残差图像一起传输到图像采样模块；
功能区标注模块，所述功能区标注模块与所述图像预处理模块连接，用于在录入PCB标准板数据时，标记PCB的功能区与非功能区；
图像采样模块，由图像分割、非均匀采样、模块数据序列化子模块组成，所述图像采样模块分别与所述图像校准模块和所述功能区标注模块连接，用于对PCB图像进行采样得到多个图像块数据；
序列化数据模块，所述序列化数据模块与所述图像采样模块连接，将标准板和待测板图像的图像块数据进行汇总形成序列化数据对；
PCB缺陷库模块，所述PCB缺陷库模块用于收集PCB缺陷，标记存在的PCB缺陷以及缺陷区域，并进行分类与分级标记；
CNN缺陷训练模块，所述CNN缺陷训练模块与所述PCB缺陷库模块连接，用于对PCB缺陷库中各类PCB缺陷和各级PCB缺陷，采用CNN算法作特征训练，分别提取PCB缺陷类别特征和缺陷级别特征；
CNN缺陷点检测模块，由数据对滤波、提取图像对、PCB残差CNN缺陷检测子模块组成，其中PCB残差CNN缺陷检测子模块由卷积神经网络组成，所述CNN缺陷点检测模块与所述序列化数据模块和所述CNN缺陷训练模块连接，用于采用CNN算法，对所述序列化数据对进行检测，得到PCB疑似缺陷点，标记检测PCB的缺陷和缺陷位置；
CNN缺陷点分类模块，所述CNN缺陷点分类模块与所述CNN缺陷点检测模块和所述CNN缺陷训练模块连接，用于利用CNN算法对标记的缺陷图像块进行细分类，得到每个缺陷的类别或类别的概率数据；
CNN缺陷点过滤模块，由区域打标、功能区过滤、CNN类别过滤、CNN分级过滤子模块组成，所述CNN缺陷点过滤模块与所述CNN缺陷点分类模块、所述功能区标注模块和所述CNN缺陷训练模块连接，用于利用卷积神经网络对标记的缺陷图像块进行分类、分级过滤，根据所述功能区标注模块标注的功能区分布、缺陷是否处于背景、缺陷是否属于可忽略缺陷类型以及缺陷的严重程度进行过滤；
统计与显示模块，所述统计与显示模块与所述CNN缺陷点过滤模块连接，用于统计、记录、显示生产过程中所有被检测到的缺陷，在修复PCB过程中辅助工人确认缺陷位置，同时随时反馈生产线的生产质量状况。


2.根据权利要求1所述的基于深度学习的二维PCB缺陷实时自动检测...

【专利技术属性】
技术研发人员：罗贵明，何悦，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11