一种基于人工智能的电子元件定位方法及系统技术方案

本发明专利技术涉及计算机视觉技术领域，公开了一种基于人工智能的电子元件定位方法及系统，通过红外热成像技术采集待定位的电路板图像，采用LabelImg标记工具对待定位的电路板图像进行标记，得到电路板图像数据集；对电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集；将预处理后的电路板图像数据集输入预先训练得到的检测定位模型中，通过检测定位模型对电路板图像上的电子元件进行检测定位，并输出检测定位结果；对电路板图像上的电子元件字符依次进行字符识别处理和校正处理，得到电子元件的字符识别结果；基于电子元件的检测定位结果和字符识别结果，得到电子元件在电路板图像上的位置信息；本发明专利技术提高了电路板的检测效率和准确率。电路板的检测效率和准确率。电路板的检测效率和准确率。

【技术实现步骤摘要】
一种基于人工智能的电子元件定位方法及系统


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于人工智能的电子元件定位方法及系统。

技术介绍

[0002]电子元件（electronic component），是电子电路中的基本元素，通常是个别封装，并具有两个或以上的引线或金属接点。电子元件须相互连接以构成一个具有特定功能的电子电路，例如：放大器、无线电线收机、振荡器等，连接电子元件常见的方式之一是焊接到印刷电路板上。电子元件也许是单独的封装（电阻器、电容器、电感器、晶体管、二极管等），或是各种不同复杂度的群组，例如：集成电路（运算放大器、排阻、逻辑门等）。
[0003]随着电子信息行业的高速发展，、电子产品大多使用电路板控制，而电路板则离不开各种电容、电阻、电感等电子元件，传统对电路板的质量检测大多采用人工将电子元件标记出来，不仅耗时，还容易出现错误，无法满足使用需求，人力成本较高。

技术实现思路

[0004]本专利技术的目的是为了解决上述问题，设计了一种基于人工智能的电子元件定位方法及系统。
[0005]本专利技术第一方面提供一种基于人工智能的电子元件定位方法，所述基于人工智能的电子元件定位方法包括以下步骤：通过红外热成像技术采集待定位的电路板图像，并采用LabelImg标记工具对所述待定位的电路板图像进行标记，得到电路板图像数据集，其中每张待定位的电路板图像中包含多个电子元件；对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集；将所述预处理后的电路板图像数据集输入预先训练得到的检测定位模型中，通过检测定位模型对电路板图像上的电子元件进行检测定位，并输出检测定位结果；对电路板图像上的电子元件字符依次进行字符识别处理和校正处理，得到电子元件的字符识别结果；基于电子元件的检测定位结果和字符识别结果，得到电子元件在电路板图像上的位置信息。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集，包括：将所述电路板图像数据集中的图像进行灰度化处理，得到灰度化图像数据集；采用多坐标转换方法将灰度化图像数据集中图像序列由三维矩阵转化为二维坐标系矩阵；将转换后的图像像素中的数据依次排列，对得到的列向量进行矩阵转化处理得到
一维矩阵；将一维序列按照列方向依次排序，构成新的二维矩阵后，对新的二维矩阵进行标准化处理；通过奇异值分解定理分解标准化处理后的二维矩阵，将分解后的矩阵的第一列向量转化为一帧静止图像，得到图像增强后的电路板图像数据集。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集，还包括：读取图像增强后的电路板图像数据集中的图像，通过Canny边缘检测算法进行边缘检测得到边缘图像；通过应用拉普拉斯滤波器增强所述边缘图像中的边缘特征，得到增强后的边缘图像；遍历增强后的边缘图像中每个像素点的梯度方向和大小，并采用图像细化算法对增强后的边缘图像进行边缘细化，得到细化处理后的边缘图像；采用形态学膨胀、腐蚀方法对细化处理后的边缘图像进行处理，以得到预处理后的电路板图像数据集。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，将所述预处理后的电路板图像数据集输入预先训练得到的检测定位模型中，通过检测定位模型对电路板图像上的电子元件进行检测定位，并输出检测定位结果，包括：采用YOLOv5模型作为检测定位模型的基础模型，对YOLOv5模型头部网络进行修改，增加一组锚点，对预处理后的电路板图像数据集中的图像进行上采样，得到扩大特征图；通过YOLOv5模型中的SE注意力机制、SA注意力机制和ECA注意力机制进行特征识别，得到带注意力权重的新特征图；采用YOLOv5模型中的特征金字塔网络自顶向下传达强化语义特征，同时采用YOLOv5模型中的路径聚合网络自底向上传达强化位置特征，通过语义特征和位置特征对带注意力权重的新特征图进行特征融合；YOLOv5模型中的Head输出层进行卷积操作，并生成对应的预测框，得到电子元件的检测定位结果。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述通过YOLOv5模型中的SE注意力机制、SA注意力机制和ECA注意力机制进行特征识别，得到带注意力权重的新特征图，包括：通过检测定位模型中的SE注意力机制对预处理后的电路板图像数据集中的图像进行全局平均池化，生成第一特征向量；基于所述第一特征向量通过全连接层利用加权矩阵，从通道维度的不同位置对图像进行加权，得到不同的第一权重信息，通过所述第一权重信息对图像进行权重赋值，获得第一特征图；对所述第一特征图中的通道特征进行分组，得到多个子特征，并采用检测定位模型中的SA注意力机制对每个子特征进行空间和通道注意力专注，并汇集子特征，通过通道混洗操作对不同组的特征进行融合，得到第二特征图；
通过检测定位模型中的ECA 注意力机制计算所述第二特征图在各个通道中所有像素的平均值，通过全局平均池化操作，将所述第二特征图进行降维，得到第二特征向量；对得到的第二特征向量进行一维卷积操作，经过Sigmoid函数激活，得到每个通道的权重，将预处理后的电路板图像数据集中的图像和得到的每个通道的权重作对应通道间的乘积运算，得到带注意力权重的新特征图。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述对电路板图像上的电子元件字符依次进行字符识别处理和校正处理，得到电子元件的字符识别结果，包括：获取电路板图像上的电子元件字符，将所述电子元件字符进行表征，转换为字符向量；采用一维卷积神经网络，将所述字符向量转换为向量矩阵，提取字符的特征，卷积核上下滑动，进行点积运算，得到不同位置的特征值，得到特征向量序列；将所述特征向量序列输入到LSTM中进行上下文特征提取，以得到字符初步识别结果。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，所述获取电路板图像上的电子元件字符，将所述电子元件字符进行表征，转换为字符向量之前，还包括：将电路板图像的背景点与极坐标相对应，利用极坐标上的累积值计算影电路板图像的倾斜角；基于最近邻聚类方法是在电路板图像的一个子域内，提取电路板图像的连接域的中心点，并通过基线上各点之间的连续关系，得到电路板图像的倾斜角度。
[0012]本专利技术第二方面提供了一种基于人工智能的电子元件定位系统，所述基于人工智能的电子元件定位系统包括图像标记模块、预处理模块、检测定位模块、字符识别模块和结果输出模块，其中，图像标记模块，用于通过红外热成像技术采集待定位的电路板图像，并采用LabelImg标记工具对所述待定位的电路板图像进行标记，得到电路板图像数据集；预处理模块，用于对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集；检测定位模块，用于将所述预处理后的电路板图像数据集输入预先训练得到的检测定位模型中，通过检测定位模型对电路板图像上的电子元件进行检测定位，并输出检测定位结果；字符识别模块，用于对电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的电子元件定位方法，其特征在于，所述基于人工智能的电子元件定位方法包括以下步骤：通过红外热成像技术采集待定位的电路板图像，并采用LabelImg标记工具对所述待定位的电路板图像进行标记，得到电路板图像数据集，其中每张待定位的电路板图像中包含多个电子元件；对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集；将所述预处理后的电路板图像数据集输入预先训练得到的检测定位模型中，通过检测定位模型对电路板图像上的电子元件进行检测定位，并输出检测定位结果；对电路板图像上的电子元件字符依次进行字符识别处理和校正处理，得到电子元件的字符识别结果；基于电子元件的检测定位结果和字符识别结果，得到电子元件在电路板图像上的位置信息。2.如权利要求1所述的一种基于人工智能的电子元件定位方法，其特征在于，所述对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集，包括：将所述电路板图像数据集中的图像进行灰度化处理，得到灰度化图像数据集；采用多坐标转换方法将灰度化图像数据集中图像序列由三维矩阵转化为二维坐标系矩阵；将转换后的图像像素中的数据依次排列，对得到的列向量进行矩阵转化处理得到一维矩阵；将一维序列按照列方向依次排序，构成新的二维矩阵后，对新的二维矩阵进行标准化处理；通过奇异值分解定理分解标准化处理后的二维矩阵，将分解后的矩阵的第一列向量转化为一帧静止图像，得到图像增强后的电路板图像数据集。3.如权利要求1所述的一种基于人工智能的电子元件定位方法，其特征在于，对所述电路板图像数据集中的图像进行预处理，得到预处理后的电路板图像数据集，还包括：读取图像增强后的电路板图像数据集中的图像，通过Canny边缘检测算法进行边缘检测得到边缘图像；通过应用拉普拉斯滤波器增强所述边缘图像中的边缘特征，得到增强后的边缘图像；遍历增强后的边缘图像中每个像素点的梯度方向和大小，并采用图像细化算法对增强后的边缘图像进行边缘细化，得到细化处理后的边缘图像；采用形态学膨胀、腐蚀方法对细化处理后的边缘图像进行处理，以得到预处理后的电路板图像数据集。4.如权利要求1所述的一种基于人工智能的电子元件定位方法，其特征在于，将所述预处理后的电路板图像数据集输入预先训练得到的检测定位模型中，通过检测定位模型对电路板图像上的电子元件进行检测定位，并输出检测定位结果，包括：采用YOLOv5模型作为检测定位模型的基础模型，对YOLOv5模型头部网络进行修改，增加一组锚点，对预处理后的电路板图像数据集中的图像进行上采样，得到扩大特征图；通过YOLOv5模型中的SE注意力机制、SA注意力机制和ECA注意力机制进行特征识别，得到带注意力权重的新特征图；
采用YOLOv5模型中的特征金字塔网络自顶向下传达强化语义特征，同时采用YOLOv5模型中的路径聚合网络自底向上传达强化位置特征，通过语义特征和位置特征对带注意力权重的新特征图进行特征融合；YOLOv5模型中的Head输出层进行卷积操作，并生成对应的预测框，得到电子元件的检测定位结果。5.如权利要求4所述的一种基于人工智能的电子元件定位方法，其特征在于，所述通过YOLOv5模型中的SE注意力机制、SA注意力机制和ECA注意力机制进行特征识别，得到带注意力权重的新特征图，包括：通过检测定位模型中的SE注意力机制对预处理后的电路板图像数据集中的图像进行全局平均池化，生成第一特征向量；基于所述第一特征向量通过全连接层利用加权矩阵，从通道维度的不同位置对图像进行加权，得到不同的第一权重信息，通过所述第一权重信息对图像进行权重赋值，获得第一特征图；对所述第一特征图中的通道特征进行分组，得到多个子特征，并采用检测定位模型中的SA注意力机制对每个子特征进行空间和通道注意力专注，并汇集子特征，通过通道混洗操作对不同组的特...

【专利技术属性】
技术研发人员：赵灵，
申请(专利权)人：轩创广州网络科技有限公司，
类型：发明
国别省市：