一种基于自学习的自动焊接及缺陷检测方法技术

本发明专利技术公开了一种基于自学习的自动焊接及缺陷检测方法。本发明专利技术包括如下步骤：步骤1、采用基于知识的焊点粗定位，并规划焊接最优路径，为视觉系统和机械臂提供运行方向；步骤2、基于机器视觉的焊点细定位，并判断焊点类型，精确引导机械臂找到焊点位置，针对性实施自动焊接；步骤3、采用基于在线深度强化学习的焊点缺陷检测，自动检测焊点缺陷及判断类型，为同工位二次补焊提供依据和指导。本发明专利技术采用路径规划算法优化相机与机械臂的焊接路径从而提高生产效率；本发明专利技术使用了融合多层特征的深度神经网络，有利于焊点众多小目标场景的检测；本发明专利技术对于单类目标，提高坐标损失的权重，提高定位精度；本发明专利技术对结果进行阈值过滤，筛选掉干扰目标，提高识别精度。

An automatic welding and defect detection method based on self-learning

【技术实现步骤摘要】
一种基于自学习的自动焊接及缺陷检测方法
本专利技术涉及机器视觉领域，具体涉及一种基于自学习的自动焊接及缺陷检测方法。
技术介绍
电子制造产业持续增长，成为当今世界最重要的战略性产业之一。在信息化时代，电子产品不仅应用于小型计算器、移动电话、笔记本电脑，在大型工业设备、汽车、军事武器系统和航空设备领域也应用广泛。电子制造业已成为衡量一个国家经济发展、科技进步和综合国力的重要标志。近年来，我国电子信息制造业以每年20％以上的速度逐年增长，已经成为了国民经济的支柱产业。表面贴装技术(SurfaceMountTechnology，SMT)作为电子制造组装行业的基础技术，在近年得到了迅猛提升，中国的SMT技术及其整个产业的规模已经跃居全球的首位。到目前，在中国拥有超过15000条SMT自动生产线，成为世界上最大和最重要的SMT市场。然而，在电子制造组装业中除了标准的可以自动贴片的元器件外，还有很多其他非标元器件，由于其结构外型的特殊性，至今仍无法实现全自动焊接。大量印刷电路板(PrintedCircuitBoard，PCB)在执行SMT自动贴片后，必须由人工完成非标元器件的手工焊接。这种传统的基于人工焊接的方式，不仅生产效率低、耗费时间长，容易使大量的贴片半成品产生堆积，延迟产品交付时间；而且劳动强度大、质量无法保证。特别是基于人工目检的质量检测与个人的主观经验有关，而人在工作时容易疲劳，受情绪影响大，因此检测效率偏低。多年来，我国电子制造组装企业将数字化生产线建设作为企业信息化重点，并初见成效，特别是对于标准器件的全自动SMT贴片焊接，已经改变了传统的生产制造模式，有力保障了PCB产品的生产。但由于非标元器件形状各异、品种繁多等特点，以及客户需求高度定制化，在建设面向PCB非标元器件“数字化、网络化、智能化”的全自动电子装配生产线的过程中，仍存在以下两大问题：(1)焊接需求高度定制化。非标元器件形态各异、尺寸不一，并且不同PCB板采用的非标元器件种类和排版位置也差异很大。采用传统高机械化工艺设计的焊接生产线并不能满足创新化、个性化和多样化的产品需求，矛盾日益激烈。(2)焊接质量在线实时检测。现有焊接质量检测装备通常与焊接机械手臂工艺分离，而且需要人工辅助操作。这种通过人工目检完成焊接缺陷判断的方式，无法满足智能焊接生产线高度自动化、自学习、自进化的需求。
技术实现思路
本专利技术为了满足PCB非标元器件的柔性焊接生产要求，实现真正意义上的智能化全自动焊接，提出了一种基于自学习的自动焊接及缺陷检测方法。为了实现这一目的，本专利技术的技术方案，包括以下步骤：步骤1、采用基于先验知识的焊点粗定位，并规划焊接最优路径，为视觉系统和机械臂提供运行方向。步骤2、基于机器视觉的焊点细定位，并判断焊点类型，精确引导机械臂找到焊点位置，针对性实施自动焊接。步骤3、采用基于在线深度强化学习的焊点缺陷检测，自动检测焊点缺陷及判断类型，为同工位二次补焊提供依据和指导。上述步骤1中，基于知识的焊点粗定位及焊接最优路径规划，具体实施步骤如下：1-1.首先建立非标元器件知识库，库内包括所有种类非标元器件的名称、信息及焊接手段。读取PCB文件后，得到所需焊接元器件及焊点信息，利用知识库，识别PCB板中所有非标元器件的焊点。建立自定义PCB坐标系，标注所有非标元器件焊点，使每个焊点获得唯一的坐标信息，完成焊点粗定位。1-2.为了最小化总工作时间，多焊接路径进行规划，搜索视觉系统相机移动的最优路径。PCB板中焊点分布密集，为了防止其他焊点对于目标非标元器件焊点的干扰，需要确定目标焊点的唯一视场(FieldofVision，FOV)。视场是一个相机在单次拍照可以获得的最大图像区域。PCB板进板并固定后，相机首先移动到全板MARK点(用铜印刷在电路板上的标记)，作为PCB板上相机寻点路径的初始点。1-3.按照规划的路径顺序移动到目标视场区域。焊点顺序访问的问题建模为一个标准的旅行商问题。以焊点的坐标信息为依据，使用Hopfield神经网络获得最优路径，自动规划焊点焊接顺序，如图2所示。所述的步骤2中基于机器视觉的焊点细定位及焊点形状判别，具体实现如下：使用YOLOv3作为目标检测模型进行目标的细定位，该目标检测模型在YOLOv2的基础上进行了应用性的改进，包括多尺度检测、多标签分类等，并使用基于残差神经网络改进的Darknet53网络作为特征提取器，使YOLO系列方法不擅长检测小物体的缺陷得到了改善，该算法也成为了目前为止最优秀的目标检测算法之一。基于机器视觉的焊点细定位包括如下步骤：数据集制作、网络模型训练、过滤识别结果并输出。所述的数据集制作包括如下步骤：2-1-1.数据采集，本专利技术所用数据来自一台AOI自动光学检测设备拍摄PCB电路板的原始图像，对每一块PCB电路板，相机拍摄多个局部视场，在通过图像拼接的方法拼接成一张完整的图像，如图3所示。2-1-2.数据预处理，YOLOv3在网络输入时将图像统一为416×416大小，为了保证图像在这一过程中不失真，我们将图像都分割成416×416大小，再进行人工标注。2-1-3.数据标注，神经网络训练需要大量的图像数据，随机选取了一部分图像使用标注工具LabelImg进行人工标注，标出其中的接插件焊点目标，如图4所示。2-1-4.数据保存，标注完的结果生成一个.xml文件，其中保存的关键信息有目标类别name，目标框的四个端点坐标xmin，xmax，ymin，ymax。标注完的数据按照VOC数据格式存储，一张图像对应一个标签文件，图像保存格式为.img，标签文件保存格式为.xml。所述的网络模型训练的过程包括如下步骤：2-2-1.网络输入，数据增强。在YOLOv3中有5次下采样过程，25＝32，因此网络输入图像大小为32的倍数，YOLOv3把输入图像分割为13×13的栅格，因此输入图像大小要求为32×13＝416。要保证训练出的模型要足够的泛化性，需要保证有足够多的数据来进行训练，需要对有限的数据进行数据增强。本方法中用到的数据增强方法有翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动和旋转变换。2-2-2.网络结构。在图像特征提取方面，YOLOv3采用了Darknet-53的网络结构，它借鉴了残差网络的做法，在一些层之间设置了快捷链路。从0层一直到74层，含有53个卷积层，其余为res层。从75到105层为YOLOv3网络的特征交互层，分为三个尺度，每个尺度内，通过卷积核的方式实现局部的特征交互，作用类似于全连接层但是通过卷积核(3×3和1×1)的方式实现特征图之间的局部特征交互。2-2-3.网络输出。对于一个输入图像，YOLOv3将其映射到3个尺度的输出张量，代表图像各个位置存在各种对象的概率。对于一个416×416的输入图像，在每个尺度的特征图的每个网格设置3个先验框，总共有13×13×3+26×26×3本文档来自技高网...

【技术保护点】
1.一种基于自学习的自动焊接及缺陷检测方法，其特征在于包括如下步骤：/n步骤1、采用基于知识的焊点粗定位，并规划焊接最优路径，为视觉系统和机械臂提供运行方向；/n步骤2、基于机器视觉的焊点细定位，并判断焊点类型，精确引导机械臂找到焊点位置，针对性实施自动焊接；/n步骤3、采用基于在线深度强化学习的焊点缺陷检测，自动检测焊点缺陷及判断类型，为同工位二次补焊提供依据和指导；/n步骤1中所述的基于知识的焊点粗定位及焊接最优路径规划，具体实施步骤如下：/n1-1.首先建立非标元器件知识库，库内包括所有种类非标元器件的名称、信息及焊接手段；读取PCB文件后，得到所需焊接元器件及焊点信息，利用知识库，识别PCB板中所有非标元器件的焊点；建立自定义PCB坐标系，标注所有非标元器件焊点，使每个焊点获得唯一的坐标信息，完成焊点粗定位；/n1-2.为最小化总工作时间，多焊接路径进行规划，搜索视觉系统相机移动的最优路径；确定目标焊点的唯一视场；所述视场是一个相机在单次拍照能够获得的最大图像区域；PCB板进板并固定后，相机首先移动到全板MARK点，作为PCB板上相机寻点路径的初始点；MARK点是用铜印刷在电路板上的标记；/n1-3.按照规划的路径顺序移动到目标视场区域；焊点顺序访问的问题建模为一个标准的旅行商问题；以焊点的坐标信息为依据，使用Hopfield神经网络获得最优路径，自动规划焊点焊接顺序。/n...

【技术特征摘要】
1.一种基于自学习的自动焊接及缺陷检测方法，其特征在于包括如下步骤：
步骤1、采用基于知识的焊点粗定位，并规划焊接最优路径，为视觉系统和机械臂提供运行方向；
步骤2、基于机器视觉的焊点细定位，并判断焊点类型，精确引导机械臂找到焊点位置，针对性实施自动焊接；
步骤3、采用基于在线深度强化学习的焊点缺陷检测，自动检测焊点缺陷及判断类型，为同工位二次补焊提供依据和指导；
步骤1中所述的基于知识的焊点粗定位及焊接最优路径规划，具体实施步骤如下：
1-1.首先建立非标元器件知识库，库内包括所有种类非标元器件的名称、信息及焊接手段；读取PCB文件后，得到所需焊接元器件及焊点信息，利用知识库，识别PCB板中所有非标元器件的焊点；建立自定义PCB坐标系，标注所有非标元器件焊点，使每个焊点获得唯一的坐标信息，完成焊点粗定位；
1-2.为最小化总工作时间，多焊接路径进行规划，搜索视觉系统相机移动的最优路径；确定目标焊点的唯一视场；所述视场是一个相机在单次拍照能够获得的最大图像区域；PCB板进板并固定后，相机首先移动到全板MARK点，作为PCB板上相机寻点路径的初始点；MARK点是用铜印刷在电路板上的标记；
1-3.按照规划的路径顺序移动到目标视场区域；焊点顺序访问的问题建模为一个标准的旅行商问题；以焊点的坐标信息为依据，使用Hopfield神经网络获得最优路径，自动规划焊点焊接顺序。


2.根据权利要求1所述的一种基于自学习的自动焊接及缺陷检测方法，其特征在于所述的步骤2中基于机器视觉的焊点细定位及焊点形状判别，具体实现如下：
使用YOLOv3作为目标检测模型进行目标的细定位，该目标检测模型在YOLOv2的基础上进行应用性的改进，包括多尺度检测、多标签分类，并使用基于残差神经网络改进的Darknet53网络作为特征提取器；基于机器视觉的焊点细定位包括如下步骤：数据集制作、网络模型训练、过滤识别结果并输出。


3.根据权利要求2所述的一种基于自学习的自动焊接及缺陷检测方法，其特征在于所述的数据集制作包括如下步骤：
2-1-1.数据采集：所用数据来自一台AOI自动光学检测设备拍摄PCB电路板的原始图像，对每一块PCB电路板，相机拍摄多个局部视场，再通过图像拼接的方法拼接成一张完整的图像；
2-1-2.数据预处理：YOLOv3在网络输入时将图像统一为416×416大小，即将图像都分割成416×416大小，再进行人工标注；
2-1-3.数据标注：神经网络训练需要大量的图像数据，随机选取部分图像使用标注工具LabelImg进行人工标注，标注出其中的接插件焊点目标；
2-1-4.数据保存：标注完的结果生成一个.xml文件，其中保存的关键信息有目标类别name，以及目标框的四个端点坐标xmin、xmax、ymin和ymax；标注完的数据按照VOC数据格式存储，一张图像对应一个标签文件，图像保存格式为.img，标签文件保存格式为.xml。


4.根据权利要求3所述的一种基于自学习的自动焊接及缺陷检测方法，其特征在于所述的网络模型训练的过程包括如下步骤：
2-2-1.网络输入，数据增强：在YOLOv3中有5次下采样过程，25＝32，因此网络输入图像大小为3...

【专利技术属性】
技术研发人员：张桦，杨铭凯，沈菲，项雷雷，吴以凡，戴国骏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33