一种芯片表面印刷符号结构缺陷的质量评估方法技术

本发明专利技术公开了一种面向芯片表面符号的结构缺陷的评估方法，其步骤包括：1、采集芯片表面印刷的符号图像作为参考符号图像或评估符号图像，并进行预处理；2、符号图像的特征提取与参考图像和待评估图像的特征配对；3、基于上一步的配对结果，使用薄板样条插值函数将待评估符号和模板符号进行结构对齐；4、再次提取待评估符号图像特征，结合参考符号图像特征，计算缺陷的大小、位置等特征，并定义出定义符合人实际感观的评估策略。本发明专利技术能应用于芯片生产的质量检测中，通过使用Shape Context、TPS等算法以及提取和分析符号图像的缺陷特征，从而得到针对芯片表面印刷符号结构质量的连续、直观的评估。

【技术实现步骤摘要】
一种芯片表面印刷符号结构缺陷的质量评估方法
本专利技术涉及图像质量评估领域，具体涉及一种芯片表面印刷符号结构缺陷的质量评估方法。
技术介绍
芯片表面符号表明了产品的规格型号、生产厂家等信息，是用户用于区分外观类似而功能不同芯片的重要依据，因此清晰的符号是高质量芯片的一部分。因为基于机器视觉的自动检测方法具有“成本低、效率高”等优点，目前已经在芯片企业广泛采用，自动检测的核心是基于图像的表面符号质量评估。芯片表面符号属于工业印刷符号，近年很多学者对工业印刷符号的质量评估和识别开展了研究。基于符号识别的质量评估方法首先对待评估符号进行识别，如果识别成功则认为质量好，否则认为质量差。因此以深度学习为代表的识别方法近年来快速发展，所以基于符号识别的质量评估方法也蓬勃发展。但这类方法存在两个问题：一是现在识别算法比较强大，计算机能够识别的符号不一定意味着人能看清楚；另一方面，这类方法只能给出识别率是否好的结果，难以实现对符号质量的不同程度的控制。为提高质量符号图像的识别效果，人们对可感知图像的质量评估进行了大量研究，但仍缺少较好的通用解决方案，据了解，在芯片表面字符评估领域，基于参考图像进行逐点对比的评估方法仍被大量采用，主要原因有二：(1)对于某个批次的芯片，其表面字符的参考图像容易制作；(2)这种质量评估方法是实现方便、比较鲁棒。但在实践中发现两个问题：1)印刷符号的少量形变虽然不影响其可读性，但逐点对比评估方法会给出很差的评分，导致误判；2)对人而言，印刷符号中“断裂、冗余”等结构缺陷会整体影响符号的可读性，但逐点对比的评估方法无法考虑整体性。
技术实现思路
本专利技术为克服上述现有技术的不足之处，提出了一种芯片表面印刷符号结构缺陷的质量评估方法，以期通过提取和分析符号图像的缺陷特征，从而得到针对芯片表面印刷符号结构质量的连续、直观的评估。为实现上述目的，本专利技术采用以下技术方案：本专利技术一种芯片表面印刷符号结构缺陷的质量评估方法的特点在于包括如下步骤：S1、采集数据并预处理S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Refu，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为S1.3、采用canny边界检测算法提取参考图像Refu和第r张待评估图像的轮廓信息，并使用JitendraMalik均匀采样算法对所提取的轮廓信息分别采样出n个关键点，得到参考图像Refu的n个关键点坐标集合和第r张待评估图像的n个关键点坐标集合其中，表示参考图像Refu的第i个关键点坐标，表示第r张待评估图像Imgu的第i个关键点坐标，i＝1,2,…,n；S2、符号图像的特征提取与参考图像和待评估图像的特征配对S2.1、利用ShapeContext特征提取算法分别计算参考图像Refu和第r张待评估图像中所有关键点的形状特征，从而得到参考图像Refu和第r张待评估图像中每个关键点的形状特征直方图；S2.2、基于参考图像Refu和第r张待评估图像中所有关键点的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵其中，为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Refu中第i个关键点和第r张待评估图像中第j个关键点的差异值；S2.3、根据所述第u种符号图像所对应的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果从而得到n个关键点之间的匹配结果集合对所述配对结果集合进行筛选，若则保留相应的配对结果否则，删除相应的配对结果从而得到筛选后的配对结果集合，记为ε表示超参数；S3、待评估图像与参考图像中符号结构的对齐S3.1、将所述筛选后的配对结果集合中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，其中x为第r张待评估图像的n个关键点坐标集合中的关键点坐标；利用所述TPS插值函数Φ(x)对第r张待评估图像的n个关键点坐标集合中的关键点坐标进行变换，得到第r张待评估图像变换后的n个坐标关键点集合其中，表示第r张待评估图像Imgu变换后的第i个关键点坐标；S3.2、利用式(1)得到第r张待评估图像的形变量S3.3、判断是否成立，若成立，则表示第r张待评估图像有质量缺陷；否则执行步骤S4；α为所设定的阈值；S4、评估符号图像的质量S4.1、利用ShapeContext特征提取算法，计算第r张待评估图像变换后的n个坐标关键点集合的形状特征，从而得到变换后的n个坐标关键点集合中每个关键点的形状特征直方图；S4.2、基于参考图像Refu和第r张待评估图像变换后的n个坐标关键点集合中所有关的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图像变换后的n个坐标关键点集合中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵表示参考图像Refu中第i个关键点和第r张待评估图像变换后的n个坐标关键点集合中第j个关键点的差异值；S4.3、根据所述第u种符号图像所对应的变换后的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图变换后的n个坐标关键点集合中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果S4.4、对所述配对结果集合进行筛选，若则表示参考图像Refu中第i个关键点和第r张待评估图变换后的第e关键点均为缺陷点；否则，表示参考图像Refu中第i个关键点和第r张待评估图变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Refu和第r张待评估图变换后的缺陷点集合，记为表示第m个缺陷点，m＝1,2,…,M；S4.5、根据各个缺陷点所对应的坐标对所述缺陷点集合进行谱聚类，得到缺陷簇集合其中，表示第g个缺陷簇，并有表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；S4.6、利用Jarvis步进法提取第g个缺陷簇的凸包并得到第g个缺陷簇的凸包面积S4.7、利用Shi-Tomasi角点检测算法计算参考图像Refu的角点，得到关键位置点集合其中，表示第q个角点所对应的关键位置点，q＝1,2,…,Q；S4.8、利用式(2)得到第r张待评估图像相对于参考图像Refu的质量评估值式(2)中，表示根据缺陷簇和关键位置点所给出的权重系数，并有：式(3)中，表示第g个缺陷簇与关键位置点集合KPu中最近关键位置点之间的欧式距离，并有：δ为给定的距离阈值，且与已有技术相比，本专利技术的有益效果体现在：1、在相同符号类型的前提下，本专利技术只需要挑选一张参考图像，大大减轻了人为挑选参考符号的复杂性。2、对于具有形变的待评估符号图像，本专利技术通过引入形变量、TPS薄本样条插值算法等算法，用户根据自己的需求决定待评估符号形变的容忍度，去除形变量过大的待评估符号图像。对于形变量在合理范围内的待评估符号图像，本文档来自技高网...

【技术保护点】
1.一种芯片表面印刷符号结构缺陷的质量评估方法，其特征在于包括如下步骤：S1、采集数据并预处理S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Refu，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为

【技术特征摘要】
1.一种芯片表面印刷符号结构缺陷的质量评估方法，其特征在于包括如下步骤：S1、采集数据并预处理S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Refu，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为S1.3、采用canny边界检测算法提取参考图像Refu和第r张待评估图像的轮廓信息，并使用JitendraMalik均匀采样算法对所提取的轮廓信息分别采样出n个关键点，得到参考图像Refu的n个关键点坐标集合和第r张待评估图像的n个关键点坐标集合其中，表示参考图像Refu的第i个关键点坐标，表示第r张待评估图像Imgu的第i个关键点坐标，i＝1,2,…,n；S2、符号图像的特征提取与参考图像和待评估图像的特征配对S2.1、利用ShapeContext特征提取算法分别计算参考图像Refu和第r张待评估图像中所有关键点的形状特征，从而得到参考图像Refu和第r张待评估图像中每个关键点的形状特征直方图；S2.2、基于参考图像Refu和第r张待评估图像中所有关键点的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵其中，为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Refu中第i个关键点和第r张待评估图像中第j个关键点的差异值；S2.3、根据所述第u种符号图像所对应的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果从而得到n个关键点之间的匹配结果集合对所述配对结果集合进行筛选，若则保留相应的配对结果否则，删除相应的配对结果从而得到筛选后的配对结果集合，记为ε表示超参数；S3、待评估图像与参考图像中符号结构的对齐S3.1、将所述筛选后的配对结果集合中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，其中x为第r张待评估图像的n个关键点坐标集合中的关键点坐标；利用所述TPS插值函数Φ(x)对第r张待评估图像的n个关键点坐标集合中的关键...

【专利技术属性】
技术研发人员：罗月童，饶永明，卞景帅，吴帅，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34