芯片定位方法、系统、存储介质和电子设备技术方案

本发明专利技术公开了一种芯片定位方法、系统、存储介质和电子设备。本发明专利技术的芯片定位方法包括：对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，标注包括目标芯片的矩形检测框标注和关键点的标注；基于标注图像数据集对目标检测算法模型进行训练；采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到目标芯片的检测框和芯片上的关键点，依据芯片的检测框和关键点来确定得出图像中芯片的定位信息。本发明专利技术的芯片定位方法、系统、存储介质和电子设备，将深度学习的关键点检测应用到芯片定位领域，对工作场景的适应性强，提升芯片检测识别的鲁棒性，此外，通过算法模型的调整，可以获得更高的检测精度和速度，提升作业效率。业效率。业效率。

【技术实现步骤摘要】
芯片定位方法、系统、存储介质和电子设备


[0001]本专利技术涉及计算机视觉识别
，尤其涉及一种芯片定位方法、系统、存储介质和电子设备。

技术介绍

[0002]半导体芯片在制作、封装或是组装使用过程中，通过自动抓取方式实现转移、排列、装贴、贴膜等操作，在此过程中，需要对芯片进行位置和姿态的判定。
[0003]随着技术的进步，针对芯片的生产操作过程，开始采用一些图像识别技术来对芯片的状态进行识别。目前，对于芯片的定位，诸如芯片的坐标位置、旋转角度、尺寸，等等，传统算法方面存在对取像环境要求高、复杂芯片识别难度高、时间延迟高等局限性，深度学习在芯片领域的应用主要集中在种类判定和缺陷检测上。而且，芯片种类和工业操作场景多样，传统图像处理需要专门为特定芯片和使用场景定制特征提取算法以及参数，鲁棒性差、效率低且人力成本高，存在对光学环境敏感的问题，还有对复杂结构或细小特征芯片识别困难的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种芯片定位方法，该芯片定位方法能有效提升芯片定位检测的鲁棒性。
[0005]本专利技术的目的还在于提供一种芯片定位系统、一种存储介质和一种电子设备。
[0006]为了实现上述技术目的，本专利技术采用如下技术方案：
[0007]一种芯片定位方法，包括：
[0008]拍摄获取目标识别芯片的图像样本数据集；
[0009]对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，所述标注包括目标识别芯片的目标检测框的标注和关键点的标注；
[0010]构建目标检测算法模型，基于标注图像数据集对目标检测算法模型进行训练，得到训练好的目标检测算法模型；
[0011]采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到芯片上的关键点，依据识别得出的芯片的目标检测框和关键点来确定得出图像中芯片的定位信息。
[0012]进一步地，在对图像样本数据集中的芯片图像进行标注之前，对图像样本数据集中的芯片图像进行扩增预处理。
[0013]进一步地，对芯片图像进行的标注是采用Labelme软件来实施的。
[0014]进一步地，在芯片图像上标注的关键点为
[0015]芯片外轮廓的2至4个角点，
[0016]或者，
[0017]芯片封装面轮廓的2至4个角点。
[0018]进一步地，在对目标检测算法模型进行训练之前，将标注图像数据集划分为训练
集、验证集和测试集。
[0019]进一步地，在构建目标检测算法模型时，采用初始化训练或者迁移学习的方式进行，将训练好的模型存入知识库中，知识库中存放的模型可直接使用或根据需要再训练；根据所述目标检测算法模型对所述获取的目标识别芯片图像进行实时或离线的关键点检测，以识别得到所述目标识别芯片图像中芯片的定位信息，输出位置和姿态信息。
[0020]进一步地，所述目标检测算法模型采用一阶段模型或两阶段模型。
[0021]一种芯片定位系统，包括：
[0022]图像获取模块，用于在图像样本数据集制作阶段，对目标识别芯片的拍摄采集，以及在芯片识别阶段，对目标识别芯片实时图像获取；
[0023]图像标注模块，用于对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，所述标注包括目标识别芯片的目标检测框的标注和关键点的标注；
[0024]模型构建训练模块，用于构建目标检测算法模型，基于标注图像数据集对目标检测算法模型进行训练，得到训练好的目标检测算法模型；
[0025]芯片识别模块，用于采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到芯片上的关键点，依据识别得出的目标识别芯片的目标检测框和关键点来确定得出图像中芯片的定位信息。
[0026]一种存储介质，该存储介质中存储有计算机程序，所述计算机程序被处理器执行时能实现上述述芯片定位方法。
[0027]一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时能实现上述芯片定位方法。
[0028]本专利技术的芯片定位方法、系统、存储介质和电子设备相对现有技术，其有益效果在于：将深度学习应用到芯片定位技术中，深度学习本身的图像特征提取能力就具有广泛的适应性，在对芯片定位的训练后，将拥有更强的鲁棒性，解决了视觉技术对光学环境敏感的问题，还有对复杂结构或细小特征芯片识别困难的问题，从而实现了芯片定位高准确度的效果；基于2至4个关键点定位的方式，减少了算法在检测识别过程中的运算量，提升了检测速度，配合具体算法的改进和硬件的搭配，可大幅提高生产效率；另外，对于应用场景和新芯片的定位，只需要相机采集新的数据就可以实现再训练或者迁移学习，操作更加简单，无需上传云端，可实现端侧的训练和使用，使检测数据和算法具有保密性；最后使用深度学习的关键点检测实现角度判定，这对于推动深度学习在芯片半导体领域应用十分新颖且具有重要意义。
附图说明
[0029]图1为本专利技术的芯片定位方法的流程图；
[0030]图2为在芯片上标注目标识别芯片的目标检测框和关键点的示意图；
[0031]图3至图5为依据芯片上识别得出的目标识别芯片的目标检测框和关键点来计算得出芯片定位信息的示意图。
具体实施方式
[0032]下面用具体实施例对本专利技术作进一步说明：
[0033]本实施方式提供了一种芯片定位方法。
[0034]本实施方式的芯片定位方法包括步骤S1至S5。
[0035]S1，针对作业现场的各种类型的目标识别芯片，通过相机来拍摄获取该目标识别芯片的图像集合。
[0036]具体来说，
[0037]所述相机一般指作业现场的工业相机，
[0038]采用作业现场的相机对处于作业环境中的目标识别芯片进行图像摄取，获取众多的目标识别芯片的图像，并将这些众多的目标识别芯片图像集合成一个图像集合，该图像集合称其为图像样本数据集。
[0039]所述作业现场是指，需要进行芯片识别的作业现场，比如，电子元器件自动贴标生产线、自动化制造、电子组装和焊接、芯片测试和检测、物联网设备分析，等等作业场景。
[0040]芯片图像的采集并非一定要在作业现场，也可以在其它场景下采集，比如在实验室内采用与作业现场相同的的相机来采集图像。
[0041]S2，对于步骤S1获取的图像样本数据集，对其中的芯片图像进行预处理。
[0042]这里所述的“预处理”，实质就是对芯片图像进行扩增预处理，并且，获取与芯片图像匹配的标签。
[0043]所述扩增预处理具体包括：曝光程度、亮暗调节、图像模糊、角度旋转、调整对比度及切换通道中的至少一种。
[0044]需要说明的是，这里所述的“扩增”，实质就是增加图像样本数据集中的图像数量。
[0045]S3，对于步骤S2中预处理之后的图像样本数据集，对其中的每一幅芯片图像进行标注。
[0046]这里所述的“标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种芯片定位方法，其特征在于：包括：拍摄获取目标识别芯片的图像样本数据集；对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，所述标注包括目标识别芯片的目标检测框的标注和关键点的标注；构建目标检测算法模型，基于标注图像数据集对目标检测算法模型进行训练，得到训练好的目标检测算法模型；采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到芯片上的关键点，依据识别得出的芯片的目标检测框和关键点来确定得出图像中芯片的定位信息。2.根据权利要求1所述芯片定位方法，其特征在于：在对图像样本数据集中的芯片图像进行标注之前，对图像样本数据集中的芯片图像进行扩增预处理。3.根据权利要求1所述芯片定位方法，其特征在于：对芯片图像进行的标注是采用Labelme软件来实施的。4.根据权利要求1所述芯片定位方法，其特征在于：在芯片图像上标注的关键点为芯片外轮廓的2至4个角点，或者，芯片封装面轮廓的2至4个角点。5.根据权利要求1所述芯片定位方法，其特征在于：在对目标检测算法模型进行训练之前，将标注图像数据集划分为训练集、验证集和测试集。6.根据权利要求1所述芯片定位方法，其特征在于：在构建目标检测算法模型时，采用初始化训练或者迁移学习的方式进行，将训练好的模型存入知识库中，知识库中存放的模型可直接使用或根据需要再训练；根据所述目标检测算法模...

【专利技术属性】
技术研发人员：刘涛，孙会，
申请(专利权)人：上海电机学院，
类型：发明
国别省市：