一种基于深度学习与NCA融合的电子元器件识别方法技术

本发明专利技术公开了一种基于深度学习与NCA融合的电子元器件识别方法，该方法包括三个部分:(1)图像的预处理，样本均衡；(2)用卷积神经网络对含有分类标签的图像进行训练；(3)用卷积神经网络提取特征并使用NCA降维，再对降维后的特征进行预测,该方法使用深度学习模型完成真正意义上的端到端系统级电子元器件识别,针对每个类别的重新加权方案，能够快速提高精度,并用1*1的卷积核，fire module,减少通道数量等方式压缩深度学习模型参数量，同时使用NCA降维技术减少参数量，在加快模型推理时间的同时，保障工业级应用水准，实现快速高效的图像识别任务。

A recognition method of electronic components based on deep learning and NCA fusion

【技术实现步骤摘要】
一种基于深度学习与NCA融合的电子元器件识别方法
本专利技术涉及电路
，特别是涉及一种基于深度学习与NCA融合的电子元器件识别方法。
技术介绍
科学、规范的电子元器件分类是企业信息化和提升电子元器件管理水平的重要基础性工作，有助于设计师、管理部门、采购部门对产品快速、准确、高效的查询与使用，更有助于工程元器件的管理。国外的各大机构十分重视对元器件的采购、选用的指导和控制，也十分重视元器件信息的规范化工作和编码体系的建设。依据自身需求，分别建立了元器件的分类体系。例如：美国航空航天局(NASA)的NPSL(美国国家航空航天局零部件选择清单)按功能把电子元器件分为了10个大类、28个小类；美国军方根据电子元器件的具体功能把QPL(合格产品清单表)细分为264个子类别。美国国防供应中心(DSCC)所公布的电子元器件按其军用图纸元件号分成了37个类别的电子元器件；欧洲空间局(ESA)的PPL(优先产品列表)涵盖了15个大类、67个小类的电子元器件，QPL表涵盖了14个大类、37个小类的电子元器件。电子元器件在工业发展方面有着举足轻重的作用，它种类繁多，且朝着微型化、片式化的方向演变。在电子元器件的生产、科研、应用以及回收等方面，其分类是一项非常重要的基础工作，因此设计一种能实时处理的电子元器件自动识别系统具有十分重要的现实意义。如何将大规模图像数据进行高效识别以满足用户需求是一个亟待解决的问题，传统的如PCA+SVM(主成分分析方法结合支持向量机)方法的图像识别，就是先使用PCA算法对图像进行特征降维，然后使用SVM算法对这些降维后的特征进行分类。但是，PCA存在着很多的缺点如：PCA对降维最终得到的数目，也就是潜在的隐变量的数目，不能很好的估计；PCA原理主要是为了消除变量之间的相关性，并且假设这种相关性是线性的，对于非线性的依赖关系则不能得到很好的结果；PCA假设变量服从高斯分布，当变量不服从高斯分布(如均匀分布)时，会发生尺度缩放与旋转。同样SVM也面临很多的问题如：SVM算法对大规模训练样本难以实施；用SVM解决多分类问题存在困难；对缺失数据敏感，对参数和核函数的选择敏感。近些年，深度学习在各种计算机视觉任务中都取得了重大的突破。随着深度学习的发展，卷积神经网络可以提取含有高层语义信息级别的特征，并渐渐应用到图像识别领域，如直接用训练好的AlexNet(Alex提出的网络模型)网络模型对图像进行分类，可获得不错的结果。然而，卷积神经网络提取的特征虽然语义丰富，但对于大规模图像集而言所需要的匹配计算量，内存占用以及时间开销在很大程度上是用户不可接受的。如何减少深度学习模型的参数量，压缩模型大小成为现今深度学习模型研究的一个重点问题。深度学习网络结构，MobileNetV1，V2(Google团队提出的适用于移动端的网络模型第一版与第二版)等相关模型的提出，极大的减少了计算成本和时间开销。
技术实现思路
针对上述情况，为克服现有技术之缺陷，本专利技术的目的是提供一种基于深度学习与NCA融合的电子元器件识别方法，该方法通过简化修改深度学习经典模型深度学习网络结构，对电子元器件的图像进行特征提取，实现了端到端的电子元器件识别，加快模型推理时间，实现快速高效的图像识别任务。其解决的技术方案是，一种基于深度学习与NCA融合的电子元器件识别方法，其特征在于：具体步骤如下：步骤1:对输入的图像进行归一化、随机旋转、镜像、随机噪声预处理操作,最后，将图像统一到112*112大小的RGB图像；步骤2:对各个类别的样本进行加权处理，均衡数据样本，划分训练集、验证集与测试集数据；步骤3:将预处理后的图像构建成元组的形式输入到深度神经网络；步骤4:将部分3*3的卷积模块替换为深度学习网络结构中的FireModule(消防模块)，减少网络参数量；步骤5:将深度学习网络结构模型中过多的FireModule去除，保留少量FireModule；步骤6:用深度卷积神经网络，主干模型包括4个3*3的普通卷积层和3个最大值池化层，用于提取图像特征，其中的3个最大值池化层，用于降低图像分辨率，步骤7:使用全连接层替代深度学习网络结构中7*7的全局池化层，同时，由于全连接层参数量，使用NCA对这些参数进行降维，解决参数量维度过高的问题，步骤8:将降维后的特征通过Softmax(适用于多分类的逻辑回归模型)层转化为图像多分类问题。由于以上技术方案的采用，本专利技术与现有技术相比具有如下优点；1.使用深度学习模型完成真正意义上的端到端系统级电子元器件识别。并用1*1的卷积核，FireModule,减少通道数量等方式压缩深度学习模型参数量，在加快模型推理时间的同时，实现快速高效的图像识别任务。2.引入类别加权因子α，在一定程度上克服了训练样本不均衡的问题，使得训练更加鲁棒，分类精度更高,为了进一步加速网络模型的推理，使用NCA降维技术对深度学习的特征层进行降维处理。3.通过对Loss(损失)函数引入类别加权因子α和L2正规项使得网络模型的训练能够更快的收敛，稳定,使用英伟达深度学习加速库TensorRT对源程序进行的优化，使得图像的推阶段仅需0.65ms即可完成图像识别功能。与此同时在1e-8的fpr(误识率)下，tpr(召回率)达到了0.95以上。即达到了百量级的工业应用水准。附图说明图1是本专利技术的深度学习网络结构示意图。图2是深度学习网络结构的FireModule。图3是图像预处理示意图。图4是图像识别架构流程图。图5是PCA+SVM在测试集上的ROC曲线示意图。图6是深度学习网络结构在测试集上的ROC曲线示意图。具体实施方式有关本专利技术的前述及其他
技术实现思路
、特点与功效，在以下配合参考附图1至图6对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。一种基于深度学习与NCA融合的电子元器件识别方法，其特征在于：具体步骤如下：步骤1:对输入的图像进行归一化、随机旋转、镜像、随机噪声预处理操作,最后，将图像统一到112*112大小的RGB图像；步骤2:对各个类别的样本进行加权处理，均衡数据样本，划分训练集、验证集与测试集数据；步骤3:将预处理后的图像构建成元组的形式输入到深度神经网络；步骤4:将部分3*3的卷积模块替换为深度学习网络结构中的FireModule，减少网络参数量；步骤5:将深度学习网络结构模型中过多的FireModule去除，保留少量FireModule；步骤6:用深度卷积神经网络，主干模型包括4个3*3的普通卷积层和3个最大值池化层，用于提取图像特征，其中的3个最大值池化层，用于降低图像分辨率，步骤7:使用全连接层替代深度学习网络结构中7*7的全局池化层，同时，由于全连接层参数量，使用NCA对这些参数进行降维，解决参数量维度过高的问题，步骤8:将降维本文档来自技高网...

【技术保护点】
1.一种基于深度学习与NCA融合的电子元器件识别方法，其特征在于：具体步骤如下：/n步骤1:对输入的图像进行归一化、随机旋转、镜像、随机噪声预处理操作,最后，将图像统一到112*112大小的RGB图像；/n步骤2:对各个类别的样本进行加权处理，均衡数据样本，划分训练集、验证集与测试集数据；/n步骤3:将预处理后的图像构建成元组的形式输入到深度神经网络；/n步骤4:将部分3*3的卷积模块替换为SqueezeNet(网络压缩模型)中的Fire Module(消防模块)，减少网络参数量；/n步骤5:将SqueezeNet模型中过多的Fire Module去除，保留少量Fire Module；/n步骤6:用深度卷积神经网络，主干模型包括4个3*3的普通卷积层和3个最大值池化层，用于提取图像特征，其中的3个最大值池化层，用于降低图像分辨率；/n步骤7:使用全连接层替代SqueezeNet中7*7的全局池化层，同时，由于全连接层参数量，使用NCA(近邻成分分析法)对这些参数进行降维；/n步骤8:将降维后的特征通过Softmax(逻辑回归模型)层转化为图像多分类问题。/n

【技术特征摘要】
1.一种基于深度学习与NCA融合的电子元器件识别方法，其特征在于：具体步骤如下：
步骤1:对输入的图像进行归一化、随机旋转、镜像、随机噪声预处理操作,最后，将图像统一到112*112大小的RGB图像；
步骤2:对各个类别的样本进行加权处理，均衡数据样本，划分训练集、验证集与测试集数据；
步骤3:将预处理后的图像构建成元组的形式输入到深度神经网络；
步骤4:将部分3*3的卷积模块替换为SqueezeNet(网络压缩模型)中的FireModule(消防模块)，减少网络参数量；
步骤5:将SqueezeNet模型中过多的FireModule去除，保留少量FireModule；
步骤6:用深度卷积神经网络，主干模型包括4个3*3的普通卷积层和3个最大值池化层，用于提取图像特征，其中的3个最大值池化层，用于降低图像分辨率；
步骤7:使用全连接层替代SqueezeNet中7*7的全局池化层，同时，由于全连接层参数量，使用NCA(近邻成分分析法)对这些参数进行降维；
步骤8:将降维后的特征通过Softmax(逻辑回归模型)层转化为图像多分类问题。


2.根据权利要求1所述的一种基于深度学习与NCA融合的电子元器件识别方法，其特征在于：在步骤1中所述的预处理为将输入分辨率小于112*112分辨率的RGB图像上下左右填充到160*160大小，再将所有图像统一resize为112×112，进而，对每一个图像进行归一化、随机旋转、镜像、随机噪声处理，将图像统一到112*112大小的RGB图像，
归一化的公式如下：



其中xi表示图像当前像素点的值，minx(x),max(x)分别表示图像像素值的最大与最小值，norm为归一化后的图像像素值，
旋转、镜像计算公式如下：



其中(x,y)为旋转后坐标，(x′，y′)为原坐标，α为旋转角度(顺时针)，(x0，y0)为旋转中心，left为旋转后最左边的横坐标，top为旋转后最右边的横坐标，
随机高斯噪声公式如下：






其中u1u2为相互独立的处于(0,1)之间的均匀分布。


3.根据权利要求1所述的一种基于深度学习与NCA融合的电子元器件识别方法，其特征在于：在步骤2中对各个类别的样本进行加权处理，均衡数据样本，引入类别加权因子ny为类别为yi的训练样...

【专利技术属性】
技术研发人员：姚征远，刘海建，
申请(专利权)人：厦门思泰克智能科技股份有限公司，
类型：发明
国别省市：福建;35