一种基于AI视觉检测技术的PCBA在线检测平台制造技术

本发明专利技术公开了一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测系统、目标检测算法模型系统、PCBA检测数据系统及检测产品图像存储系统，本发明专利技术所述的一种基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品，通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈系统。统。统。

【技术实现步骤摘要】
一种基于AI视觉检测技术的PCBA在线检测平台


[0001]本专利技术涉及PCBA在线检测领域，特别涉及一种基于AI视觉检测技术的PCBA在线检测平台。

技术介绍

[0002]PCBA在线检测平台是一种进行PCBA元件检测的支撑系统，在工业生产过程中，视觉检测是其中的关键一环，需要准确、快速地鉴别出有瑕疵的部件，长久以来，这一对产品进行分析检查的步骤通常需要人眼辨识，这就需要对检验人员进行系统培训，合格的视觉检验员通过综合运用各种鉴别知识和技能，随着人工智能技术的不断发展，人工智能按照程序来可靠地执行任务的能力在不断发展。在人脸识别中，人工智能通过对输入图像的分析，识别人脸以及眼睛、鼻子、耳朵等器官的位置，并输出一个边界框来确定这些部分的位置以及大小。但在电子制造行业的印刷电路板(PCBA)图像检测中，其环境远比人脸识别更复杂，比如各种不同封装类型的电子元件，不同的线路线路形态，不同的标识标记，丝印文字，还有元件的焊点，以及不同颜色阻焊膜等都会对PCBA的检测产生影响。幸运的是由于PCBA是按照设计好的装配文档来进行生产，因此上述这些环境影响因素，很容易通过文档来过滤非必要因素而锁定检测目标，智能检测设备，替代人工检测效率高，精确稳定，主要检测项目有零件缺件检测、表面缺陷特征检测、引脚封装完整检测、元件破损检测、端子引脚检测等，非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高系统的可靠性，长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务，利用了机器视觉解决方案，可以节省大量劳动力资源，随着科技的不断发展，人们对于PCBA在线检测平台的要求也越来越高。
[0003]现有的PCBA在线检测平台在使用时存在一定的弊端，首先，人工视觉检验的错误率通常在 20%
‑
30%，其中有些是由于操作失误产生，还有些是因为本身操作空间有限，从而无法避免产生失误，不利于人们的使用，还有，目前产线的主要AOI技术应用传统目标检测算法，与AI相比具有较多的缺陷，主流方法基于滑动窗口的区域选择没有针对性且时间复杂度高，导致传统方法的检测精度较低、泛化能力不强，严重影响了算法的普遍适用性，给人们的使用过程带来了一定的不利影响，为此，我们提出一种基于AI视觉检测技术的PCBA在线检测平台。

技术实现思路

[0004]（一）解决的技术问题针对现有技术的不足，本专利技术提供了一种基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，引入到常见的、明显的元件故障检测中，大幅提高检测精度、增强算法的泛化能力，大幅提高检测效率，基于智能检测结果，构建质量跟踪反馈系统，集成度更高、信息更丰富、追溯质量问题更准确、迅速，系统集成了智能算法的结果与PCBA条形码等信息，可以快速追溯质量问题，可以有效解决
技术介绍
中的问题。
[0005]（二）技术方案为实现上述目的，本专利技术采取的技术方案为：一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测系统、目标检测算法模型系统、PCBA检测数据系统及检测产品图像存储系统，其特征在于：基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品。
[0006]通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈系统，与生产中的相关站位构成闭环持续改善，对产线的品质监控和持续改善更自动化和系统化，再次，由于智能检测时，有读取PCBA条形码并进行拍照，最终通过条码ID将检测结果和产品照片关联并进行存储于资料库，并可实现快速追溯品质问题，最后，将智能检测设备集成机械臂，实现全检测流程自动化，减少人工检验，同时由于无人化作业，避免了人员接触产品的机会，降低了产品上芯片ESD破坏的风险，所述目标检测算法模型系统构建完毕后输出PCBA检测平台，根据BOM及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络，其中，所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练，数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等；所述PCBA智能AI实时检测系统包括以下操作步骤：首先，利用PCBA相关的设计或制造相关资料，比如利用PCBA的CAD或者ODB++资料进行再处理来锁定检测目标，根据BOM按照元件类型和封装对元件进行分类并确定AI检测元件的区域和元件感兴趣区域（Regional of Interest, ROI），然后对其进行标注。其次，AI对已标注的元件产品进行现代神经网络学习和训练，并且将元件检测的特征参数保存在AI检测模型内。 通过这种利用资料将PCBA进行目标锁定，并且用BOM来对目标进行分类及标注，再经过AI学习和训练，实现了PCBA数据集转化为根据元件类型和封装分类的PCBA元件和焊点的数据集。最后，利用通过相关检测得到的元件和焊点数据集，在进行新的PCBA产品检测时，仅需将已学习好的元件检测特征参数迁移到新的PCBA检测上，在训练时保持卷积层参数不变，微调全连接层（比如元件的大小或者方向等，可通过微调实现），通过少量的样本学习，就可以达到精准的检测效果。此过程为迁移学习，通过此过程可以利用已学习好的元件特征参数去检测新的PCBA产品，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
[0007]其中根据CAD或者ODB++文件获取元件位置和边界框， BOM元件的类型和封装对元件进行分类，并对元件进行划分边界框内重点关注区域（ROI），包括以下内容：A.边界框中心区域用来识别元件是否缺件，以及碑文内容；检验系统需要确认元件如下要素：（a）元件位置安装是否合适：无缺件或者元件偏移；（b）元件型号碑文正确；B.边界框中的焊盘或者焊接区域是用来检测焊点的品质；C.在边界框周边对相邻的焊盘或者插件孔进行检测，拦截锡桥或者短路等不良；
D.启发于ROI的理念，在检测模型中采用空间注意力机制以给与ROI更多权重；其中，进行元件和焊点检测模型迁移学习，包括以下内容：A.一旦预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内，基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上，在训练时保持卷积层参数不变，微调全连接层，随着AI模型训练和检测更多的PCBA产品，可以持续地将按照元件类型累积的不良数据进行存储，当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，达到精准的检测效果；B.迁移学习可以使每个新的PCBA被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测系统、目标检测算法模型系统、PCBA检测数据系统及检测产品图像存储系统，其特征在于：基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品；通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈系统，与生产中的相关站位构成闭环持续改善，对产线的品质监控和持续改善更自动化和系统化，再次，由于智能检测时，有读取PCBA条形码并进行拍照，最终通过条码ID将检测结果和产品照片关联并进行存储于资料库，并可实现快速追溯品质问题，最后，将智能检测设备集成机械臂，实现全检测流程自动化，减少人工检验，同时由于无人化作业，避免了人员接触产品的机会，降低了产品上芯片ESD破坏的风险，所述目标检测算法模型系统构建完毕后输出PCBA检测平台，根据BOM及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络中，其中，所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练，数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等；所述PCBA智能AI实时检测系统包括以下操作步骤：首先，利用PCBA相关的设计或制造相关资料，比如利用PCBA的CAD或者ODB++资料进行再处理来锁定检测目标，根据BOM（Bill of Material）按照元件类型和封装对元件进行分类并确定AI检测元件的区域和元件感兴趣区域（Regional of Interest, ROI），然后对其进行标注；其次，AI对已标注的元件产品进行现代神经网络学习和训练，并且将元件检测的特征参数保存在AI检测模型内；通过这种利用资料将PCBA进行目标锁定，并且用BOM来对目标进行分类及标注，再经过AI学习和训练，实现了PCBA数据集转化为根据元件类型和封装分类的PCBA元件和焊点的数据集；最后，利用通过相关检测得到的元件和焊点数据集，在进行新的PCBA产品检测时，仅需将已学习好的元件检测特征参数迁移到新的PCBA检测上，在训练时保持卷积层参数不变，微调全连接层（比如元件的大小或者方向等，可通过微调实现），通过少量的样本学习，就可以达到精准的检测效果；此过程为迁移学习，通过此过程可以利用已学习好的元件特征参数去检测新的PCBA产品，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量；其中根据CAD或者ODB++文件获取元件位置和边界框，通过BOM元件的类型和封装对元件进行分类，并对元件进行划分边界框内重点关注区域（ROI），包括以下内容：A.边界框中心区域用来识别元件是否缺件，以及碑文内容；检验系统需要确认元件如下要素：（a）元件位置安装是否合适：无缺件或者元件偏移；（b）元件型号碑文正确；
B.边界框中的焊盘或者焊接区域是用来检测焊点的品质；C.在边界框周边对相邻的焊盘或者插件孔进行检测，拦截锡桥或者短路等不良；D.启发于ROI的理念，在检测模型中采用空间注意力机制以给与ROI更多权重；其中，进行元件和焊点检测模型迁移学习，包括以下内容：A.一旦预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内，基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上，在训练时保持卷积层参数不变，微调全连接层，随着AI模型训练和检测更多的PCBA产品，可以持续地将按照元件类型累积的不良数据进行存储，当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，达到精准的检测效果；B.迁移学习可以使每个新的PCBA被检测时，就无需进行过多重复的训练学习，通过迁移学习功能，就可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，这样就节省大量的训练学习时间，被标注的数据可以关联到元件位置编号；C.有效的迁移学习是在于利用人工智能去检测类似性的工作，从PCBA检测标准来讲，检验员具有一定的专业技能或者采用PCBA行业的检验标准IPC
‑
A
...

【专利技术属性】
技术研发人员：乔景全，盛颜开，
申请(专利权)人：吴江西格玛电子科技有限公司，
类型：发明
国别省市：