基于深层神经网络的电子元器件批量信息检测方法及系统技术方案

本发明专利技术涉及基于深层神经网络的电子元器件批量信息检测方法，包括：获取待检测批量芯片的第一图像；对第一图像进行预处理得到增强的灰度图像作为第二图像；使用训练好的目标定位深层神经网络模型确定视野范围内所有芯片的位置；使用图像模板匹配计算出每个芯片的偏移角度；将所有目标依据偏移角度进行修正，并将其处理后得到的正向图单独截取出来作为第三图像；使用训练好的文本定位深层神经网络模型确定芯片表面文本区域位置并将其作为第四图像；使用训练好的字符识别深层神经网络模型确定第四图像文本区域的具体内容；通过串口将识别结果写入txt文档并发送给上位机软件。该方法检测的准确率高、检测效率高、检测成本低、通用性好、易维护。

【技术实现步骤摘要】
基于深层神经网络的电子元器件批量信息检测方法及系统
本专利技术涉及一种电子元器件批量检测的方法，尤其是基于深层神经网络的电子元器件批量信息检测方法及系统。
技术介绍
现今社会，电子元器件的地位非常重要，应用范围也越来越大。以元器件为例，随着科学技术的飞速发展，其使用数量随之暴增。不论对于哪种电子元器件而言，在生产出来后都需要对其进行内核、外设电路等进行封装及测试，最终再将这些检测结果与元器件表面所印有的型号、批次等信息进行绑定。这样就能在元器件发生故障的情况下及时进行排查、溯源等工作，从而使得电子元器件在工业生产的各个环节都能得到有力的保障。但元器件生产的数量之多，检测工序又较为复杂，特别是在信息检测及录入环节，人为地去操作这些信息目前仍然占据了很大的比重。由于数量巨大，所以在这方面的人工成本也会非常的高，智能化的检测是减少成本的重要途径。一般情况，同一种功能的元器件会衍生出很多型号。而对于元器件表面信息的检测及录入工作而言，为了尽可能地减小环境因素对后期检测能力的影响、目前所采用的都基于专用光源、专用导轨、专用相机组成的专用系统。一般本文档来自技高网...

【技术保护点】
1.基于深层神经网络的电子元器件批量信息检测方法，其特征在于，包括以下步骤：/n图像采集，通过相机获取待检测批量元器件的第一图像；/n图像预处理，第一图像通过设定阈值进行形态学处理，去除噪点得到经过增强的灰度图像，将灰度图像作为第二图像；/n元器件的位置区域检测，使用设计并训练好的目标定位深层神经网络模型对第二图像进行元器件目标位置检测，检测结果为包含元器件在内的一个最小正向外接矩形边界框，返回结果是此边界框的中心点坐标、宽、高、置信度以及类别概率，从而确定出视野范围内每一个元器件的位置区域；/n元器件的偏移角度检测，使用基于HALCON建立的图像模板匹配计算出每个位置区域的偏移角度；/n偏移...

【技术特征摘要】
1.基于深层神经网络的电子元器件批量信息检测方法，其特征在于，包括以下步骤：
图像采集，通过相机获取待检测批量元器件的第一图像；
图像预处理，第一图像通过设定阈值进行形态学处理，去除噪点得到经过增强的灰度图像，将灰度图像作为第二图像；
元器件的位置区域检测，使用设计并训练好的目标定位深层神经网络模型对第二图像进行元器件目标位置检测，检测结果为包含元器件在内的一个最小正向外接矩形边界框，返回结果是此边界框的中心点坐标、宽、高、置信度以及类别概率，从而确定出视野范围内每一个元器件的位置区域；
元器件的偏移角度检测，使用基于HALCON建立的图像模板匹配计算出每个位置区域的偏移角度；
偏移角度修正，根据偏移角度对位置区域进行矫正，得到元器件四边与图像视野水平、垂直方向相互平行的正向图，并将正向图单独截取出来作为第三图像；
文本区域位置检测，使用设计并训练好的文本定位深层神经网络模型对第三图像处理得到元器件表面的文本区域位置，并将文本区域位置作为第四图像；
文本内容识别，使用设计并训练好的字符识别深层神经网络模型对第四图像进行识别，得到元器件表面信息；
存档并上传，将元器件信息写入文档，并上传给上位机软件；
得到批量信息，上位机软件将接收到的元器件表面信息，替换缺省状态下文件对应字段的数据，得到检测的批量信息。


2.根据权利要求1所述的基于深层神经网络的电子元器件批量信息检测方法，其特征在于，所述图像预处理中包括基于OpenCV对第一图像依次进行腐蚀、膨胀、高帽变换以及中值滤波处理。


3.根据权利要求1所述的基于深层神经网络的电子元器件批量信息检测方法，其特征在于，所述目标定位深层神经网络模型的设计和训练包括以下步骤：
大批量地采集目标元器件样本图像，制作网络训练所需要的数据集，并完成位置区域的标定，所述标定时采用两点标注的形式确定位置区域；
将每张图片上的所有目标都以两点坐标的形式储存在一个xml文件之中，所述两点坐标分别为矩形的位置区域的两个对角坐标；
在Ubuntu系统上对预设的YOLO系列网络进行调优训练，经过迭代得到目标定位深层神经网络模型。


4.根据权利要求3所述的基于深层神经网络的电子元器件批量信息检测方法，其特征在于，所述元器件的位置区域检测时包括以下步骤：
目标定位深层神经网络模型先将输入图片修改为统一的尺416×416像素，接着把图片分割为S×S的网格，输出是一个S×S×(5×B+C)的张量，其中S为最开始将图像划分网格的行列数，每个网格需要检测B个边界框，每个边界框都包含5个参数信息，分别为预测参数(x,y,w,h)和置信度评分，其中(x,y,w,h)为物体的中心位置相对格子位置的偏移及宽度和高度，其数值均被归一化至[0，1]，C代表目标类别数；
通过对数据集进行k-means聚类，产生9个不同尺寸的大小的anchor，并将其应用于三个不同的特征层，三个不同的特征层分别为：13×13特征图对应(116，90)、(156，198)和(373，326)的anchor；26×26特征图对应(30，61)、(62，45)和(59，119)的anchor；52×52特征图对应(10，13)、(16，130)和(33，23)的anchor；
其中边界框的置信度评分用于衡量网络内模板物体的准确度和衡量边界框的准确度；
衡量网络内目标物体的准确度时用Pr(object)表示，当边界框内检测到物体的时候，Pr(object)＝1；当边界框内没有检测到物体的时候，Pr(object)＝0；
衡量边界框的准确度时用预测框与实际框的交并比(IntersectionOverUnion，IOU)来表征，记为
计算方式是“预测边框”与“真实边框”的交集与并集的...

【专利技术属性】
技术研发人员：朱涛，王小龙，刘天赐，王志伟，杨一粟，
申请(专利权)人：中科芯集成电路有限公司，
类型：发明
国别省市：江苏;32