基于多模态的电子元器件智能识别方法技术

一种基于多模态的电子元器件智能识别方法，涉及电路板检测技术领域，该方法先拍摄目标电路板在直射光源、侧光源两种模态下的图像，并在图像中对需要识别的目标器件进行标注，并将标注数据分为训练集、验证集、测试集，再从两种模态的图像中随机裁剪出多张样本图像，以Efficientlite轻量级模型为Backbone，自适应特征融合结构为Head构建一个YOLOv5网络，以裁剪的样本图像作为训练数据，对YOLOv5网络进行训练，并用验证集的标注数据进行验证，用测试集的标注数据进行测试，最终得到基于YOLOv5网络的电子元器件识别模型；再用得到的模型对后续电路板上的电子元器件进行识别。模型对后续电路板上的电子元器件进行识别。

【技术实现步骤摘要】
基于多模态的电子元器件智能识别方法


[0001]本专利技术涉及电路板检测技术，特别是涉及一种基于多模态的电子元器件智能识别方法的技术。

技术介绍

[0002]电子设备制造过程中，常使用基于智能视觉技术对PCB(印刷电路板)上的电子元器件进行识别，以实现自动化生产。目前对电子元器件的识别都采用基于机器学习的传统图像识别算法和基于深度学习的智能图像算法。
[0003]基于机器学习的传统图像识别算法通常是先对电路板表面原始图像中每个元器件图像进行图像分割得到各个元器件图像，再基于分割后的图像进行特征抽取和选择，人工提取特征，然后再根据提取的特征对不同电子元器件进行识别。该算法依赖于手动提取特征，过程繁琐，准确率较差，泛化能力(模型预测新数据的准确率)较差。
[0004]基于深度学习的智能图像算法通常是使用现有的经典目标检测网络为主干，采用迁移学习或从头训练的方式对自定义数据集进行训练，然后使用训练得到的模型对图像中的电子元器件进行自动识别。该方法的缺点在于，经典目标检测网络模型往往会忽略实际应用平台有限的计算资源，以及忽略不同尺度下特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的电子元器件智能识别方法，其特征在于，具体步骤如下：1)拍摄目标电路板的直射光源模态图像及侧光源模态图像；直射光源模态图是指目标电路板在顶部光源直射下的俯视图，侧光源模态图是指目标电路板在侧部光源照射下的俯视图；2)对目标电路板的直射光源模态图像及侧光源模态图像进行标注，标注出需要识别的目标器件在图像中的位置及料类名称；3)将步骤2)标注的数据按照预先设定的比例分为训练集、验证集、测试集，共三个数据集；4)对目标电路板的直射光源模态图像及侧光源模态图像，从每个图像中随机裁剪出N张大小一致的样本图像，并使每个样本图像中包含至少一个已标注的目标器件；5)以Efficientlite轻量级模型为Backbone，自适应特征融合结构为Head构建一个YOLOv5网络；其中的自适应特征融合结构的模型公式为：其中的自适应特征融合结构的模型公式为...

【专利技术属性】
技术研发人员：程克林，赵尚义，纪明，
申请(专利权)人：上海赫立智能机器有限公司，
类型：发明
国别省市：