基于机器视觉与知识谱图的SMT产品缺陷分析系统及方法技术方案

本发明专利技术公开了一种基于机器视觉与知识图谱的SMT产品缺陷分析系统，所述系统采用现有技术中的X射线成像技术、机器视觉、知识图谱和深度学习技术，其特征在于，包括顺序连接的操作对象、机器视觉识别单元、图片预处理单元、缺陷识别单元、缺陷分析单元和产品缺陷知识图谱单元，缺陷分析单元外接故障信息呈现单元。这种系统搭建容易，组网快捷，本发明专利技术同时还公开了基于机器视觉与知识图谱的SMT产品缺陷分析系统的分析方法，这种方法能在SMT生产过程中实现SMT产品缺陷的快速检测、快速分析并对缺陷产品快速处理提供依据。陷产品快速处理提供依据。陷产品快速处理提供依据。

【技术实现步骤摘要】
基于机器视觉与知识谱图的SMT产品缺陷分析系统及方法


[0001]本专利技术涉及SMT制造
，具体是一种基于机器视觉与知识图谱的SMT产品缺陷分析系统及方法。

技术介绍

[0002]SMT生产是电子产品生产制造过程的关键环节，对电子产品的质量、可靠性、性能影响极大。SMT生产企业现有的质量检测手段多为目检、以及通路测试等，一方面通过人工目检存在效率低、出错率高的缺陷，不能实现缺陷检测自动化，另一方面仅仅通过通路测试不能对SMT生产过程中的焊点性能进行全面的评估，通路测试不能反映出焊点可靠性程度，因此也不能完全保证产品质量。随着信息技术快速发展，企业获取信息的途径、方式变得更加广泛，加剧了包括电子制造业在内的制造企业间的竞争，单纯依靠生产要素驱动的生产模式已难以满足现代企业提高竞争优势的需求，企业必须从自身发力，通过创新驱动、提高生产效率、产品质量来提高企业自身的核心竞争优势。因此，建立一套高效SMT产品缺陷检测、缺陷分析系统，对提高SMT生产企业的SMT产品质量、生产效率、SMT产品缺陷分析能力、SMT产品缺陷解决能力有十分重要的意义。

技术实现思路

[0003]本专利技术的目的是针对现有技术的不足，而提供一种基于机器视觉与知识谱图的SMT产品缺陷分析系统及方法。这种系统搭建容易，组网快捷，这种方法能在SMT生产过程中实现SMT产品缺陷的快速检测、快速分析并对缺陷产品快速处理提供依据。
[0004]实现本专利技术目的的技术方案是：一种基于机器视觉与知识图谱的SMT产品缺陷分析系统，所述系统采用现有技术中的X射线成像技术、机器视觉、知识图谱和深度学习技术，包括顺序连接的操作对象、机器视觉识别单元、图片预处理单元、缺陷识别单元、缺陷分析单元和产品缺陷知识图谱单元，缺陷分析单元外接故障信息呈现单元，其中：操作对象即SMT生产线上进入到最后一个生产环节
‑
待质量检测的SMT产品；操作对象是基于机器视觉与知识谱图的SMT产品缺陷分析系统的输入信息，是系统分析的对象；机器视觉识别单元设有摄像头成像模块和X射线成像模块，机器视觉识别单元是基于机器视觉与知识谱图的SMT产品缺陷分析系统的输入接口，操作对象SMT产品包含的信息通过机器视觉识别单元输入到系统中，机器视觉识别单元完成SMT产品包含的物理信息转换成数字信息，摄像头成像模块采用传统光学成像原理进行成像，用于对SMT产品外观信息的提取，摄像头成像模块将印制线路板上各个元器件的形状、位置、角度物理信息即器件布局图转换为以像素形式存在的数字信息，X射线成像模块利用X射线的穿透性和X射线成像技术进行成像，用于印制线路板与元器件间焊点信息的提取，由于X射线具有穿透性，X射线成像模块将印制线路板与元器件间焊点的形态、位置物理信息即焊点形态图转换为一像素形式存在的数字信息；
图片预处理单元是对图片的格式、大小进行处理的功能模块，图片预处理单元将摄像头成像模块得到的器件布局图和X摄线成像模块得到焊点形态图处理成为尺寸大小一样的RGB图；缺陷识别单元是在Pytorch框架下搭建的基于深度学习模型YOLOv5的SMT产品缺陷识别模型、用于识别SMT产品缺陷的视觉识别；产品缺陷知识图谱单元是采用图数据库Neo4j建立的基于“图”数据结构的图数据库，产品缺陷知识图谱单元中的产品缺陷知识图谱建立SMT生产过程中各类产品缺陷与造成缺陷原因和解决产品缺陷方法的关系，是系统进行产品缺陷分析的理论依据；故障信息呈现单元是进行故障报警的报警装置和向操作者展示故障信息的计算机操作界面构成的故障信息展示平台，设有故障报警模块和故障信息呈现模块，故障报警模块当系统检测到SMT产线生产的产品出现缺陷时，故障警报模块会自动发出声、光报警，以提醒操作者系统检测到SMT产品出现了缺陷，故障信息呈现界面是向操作者展示故障信息的计算机操作界面，当系统检测到SMT产线生产的产品出现缺陷时，故障信息呈现界面会将缺陷分析模块发给故障信息呈现模块的故障造成原因、故障解决方案和标有故障位置、故障类型的器件布局图和焊点形态图展示在故障信息呈现界面上，以向操作展示SMT产品出现故障的类型、位置和造成故障的原因及解决方案；缺陷分析单元是联系缺陷识别单元、产品缺陷知识图谱单元和故障信息呈现单元的纽带，是结合图数据库查询功能与产品故障信息自动标注功能的功能单元，缺陷分析单元首先根据缺陷识别单元输出的产品缺陷类型、缺陷位置对机器视觉识别单元输出的器件布局图、焊点形态图进行产品缺陷位置和类型的自动标注，其次根据缺陷识别单元输出的缺陷类型生成对应的Neo4j图数据库查询语句对产品缺陷知识图谱单元的图数据库进行查询，缺陷分析单元最后将依据产品缺陷知识图谱单元的图数据库查询得到的造成缺陷的原因及解决方案和标注缺陷类型、缺陷位置的器件布局图和焊点形态图传输给故障信息呈现单元。
[0005]一种基于机器视觉与知识谱图的SMT产品缺陷分析方法，包括上述基于机器视觉与知识图谱的SMT产品缺陷分析系统，所述方法包括如下步骤：1）建立基于机器视觉与知识图谱的SMT产品缺陷分析系统：包括：1
‑
1）在SMT生产线的最后一个环节SMT产品出口处设置机器视觉识别单元；1
‑
2）搭建SMT产品缺陷知识图谱单元的产品缺陷知识图谱：包括：1
‑2‑
1）建立缺陷实体抽取模型；1
‑2‑1‑
1）到SMT生产企业收集SMT产品缺陷分析报告文档资料；1
‑2‑1‑
2）从步骤1
‑2‑1‑
1）中收集到的SMT产品缺陷分析报告文档资料中筛选出部分缺陷分析文本用于制作缺陷实体识别模型训练数据集；1
‑2‑1‑
3）在Pytorch框架下搭建缺陷实体识别模型；1
‑2‑1‑
4）依据步骤1
‑2‑1‑
2）得到的缺陷实体识别模型训练数据集训练步骤1
‑2‑1‑
3）的缺陷实体识别模型；1
‑2‑
2）抽取缺陷实体，建立知识图谱；1
‑2‑2‑
1）依据步骤1
‑2‑1‑
4）训练好的缺陷实体识别模型对步骤1
‑2‑1‑
1）的SMT产品缺陷分析报告文档资料进行缺陷实体抽取操作得到SMT产品缺陷分析报告的缺陷实体；
1
‑2‑2‑
2）依据步骤1
‑2‑2‑
1）得到的缺陷实体采用图数据库Neo4j建立SMT产品缺陷知识图谱；1
‑
3）搭建并训练缺陷识别单元的SMT产品缺陷识别模型：1
‑3‑
1）制作缺陷识别模型的训练数据集：包括：1
‑3‑1‑
1）到SMT生产企业收集SMT产品缺陷图片；1
‑3‑1‑
2）对步骤1
‑3‑1‑
1）中收集到的SMT产品缺陷图片进行人工标注，标注出图片中的缺陷位置和缺陷类型，建立缺陷识别模型的训练数据集；1
‑3‑
2）在Pytorch深度学习开发环境下搭建基于深度学习模型Y本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉与知识图谱的SMT产品缺陷分析系统，所述系统采用现有技术中的X射线成像技术、机器视觉、知识图谱和深度学习技术，其特征在于，包括顺序连接的操作对象、机器视觉识别单元、图片预处理单元、缺陷识别单元、缺陷分析单元和产品缺陷知识图谱单元，缺陷分析单元外接故障信息呈现单元，其中：操作对象即SMT生产线上进入到最后一个生产环节的待质量检测的SMT产品；机器视觉识别单元设有摄像头成像模块和X射线成像模块，摄像头成像模块采用传统光学成像原理进行成像，用于对SMT产品外观信息的提取，摄像头成像模块将印制线路板上各个元器件的形状、位置、角度物理信息即器件布局图转换为以像素形式存在的数字信息，X射线成像模块用于印制线路板与元器件间焊点信息的提取， X射线成像模块将印制线路板与元器件间焊点的形态、位置物理信息即焊点形态图转换为一像素形式存在的数字信息；图片预处理单元是对图片的格式、大小进行处理的功能模块，图片预处理单元将摄像头成像模块得到的器件布局图和X摄线成像模块得到焊点形态图处理成为尺寸大小一样的RGB图；缺陷识别单元是在Pytorch框架下搭建的基于深度学习模型YOLOv5的SMT产品缺陷识别模型、用于识别SMT产品缺陷的视觉识别；产品缺陷知识图谱单元是采用图数据库Neo4j建立的基于“图”数据结构的图数据库，产品缺陷知识图谱单元中的产品缺陷知识图谱建立SMT生产过程中各类产品缺陷与造成缺陷原因和解决产品缺陷方法的关系；故障信息呈现单元设有故障报警模块和故障信息呈现模块，故障报警模块当系统检测到SMT产线生产的产品出现缺陷时，故障警报模块自动发出声、光报警，当系统检测到SMT产线生产的产品出现缺陷时，故障信息呈现界面将缺陷分析单元发给故障信息呈现单元的故障造成原因、故障解决方案和标有故障位置、故障类型的器件布局图和焊点形态图展示在故障信息呈现界面上；缺陷分析单元首先根据缺陷识别单元输出的产品缺陷类型、缺陷位置对机器视觉识别单元输出的器件布局图、焊点形态图进行产品缺陷位置和类型的自动标注，其次根据缺陷识别单元输出的缺陷类型生成对应的Neo4j图数据库查询语句对产品缺陷知识图谱单元的图数据库进行查询，缺陷分析单元最后将依据产品缺陷知识图谱单元的图数据库查询得到的造成缺陷的原因及解决方案和标注缺陷类型、缺陷位置的器件布局图和焊点形态图传输给故障信息呈现单元。2.一种基于机器视觉与知识谱图的SMT产品缺陷分析方法，包括权利要求1所述的基于机器视觉与知识图谱的SMT产品缺陷分析系统，其特征在于，所述方法包括如下步骤：1）建立基于机器视觉与知识图谱的SMT产品缺陷分析系统：包括：1
‑
1）在SMT生产线的最后一个环节SMT产品出口处设置机器视觉识别单元；1
‑
2）搭建SMT产品缺陷知识图谱单元的产品缺陷知识图谱：包括：1
‑2‑
1）建立缺陷实体抽取模型；1
‑2‑1‑
1）到SMT生产企业收集SMT产品缺陷分析报告文档资料；1
‑2‑1‑
2）从步骤1
‑2‑1‑
1）中收集到的SMT产品缺陷分析报告文档资料中筛选出部分缺陷分析文本用于制作缺陷实体识别模型训练数据集；
1
‑2‑1‑
3）在Pytorch框架下搭建缺陷实体识别模型；1
‑2‑1‑
4）依据步骤1
‑2‑1‑
2）得到的缺陷实体识别模型训练数据集训练步骤1
‑2‑1‑
3）的缺陷实体识别模型；1
‑2‑
2）抽取缺陷实体，建立知识图谱；1
‑2‑2‑
1）依据步骤1
‑2‑1‑
4）训练好的缺陷实体识别模型对步骤1
‑2‑1‑
1）的SMT产品缺陷分析报告文档资料进行缺陷实体抽取操作得到SMT产品缺陷分析报告的缺陷实体；1
‑2‑2‑
2）依据步骤1
‑2‑2‑
1）得到的缺陷实体采用图数据库Neo4j建立SMT产品缺陷知识图谱；1
‑
3）搭建并训练缺陷识别单元的SMT产品缺陷识别模型：1
‑3‑
1）制作缺陷识别模型的训练数据集：包括：1
‑3‑1‑
...

【专利技术属性】
技术研发人员：黄春跃，张怀权，廖帅冬，李茂林，龚锦锋，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：