【技术实现步骤摘要】
本专利技术涉及基于多尺度残差unet分割的芯片姿态检测方法，属于数字图像处理。
技术介绍
1、在芯片制造环节中，需要将芯片翻转至金属盘中，在表面打印彩色标识图案。为了防止芯片被翻转装置压碎，给制造商增加高额的生产成本，必须确保芯片在料盘中处于正确的位姿。当前普遍采用人工目检的方法，效率低、准确性易受主观因素影响。因此，研究一种基于机器视觉的芯片位姿自动检测方法代替人工目检是一种必然趋势。
2、对于位姿检测方法的研究，总体可分为三大类：基于对应关系、基于模板匹配和基于网络回归的方法。基于对应关系的位姿检测方法是通过提取图像中的某一类关键点，当物体存在重叠、遮挡等情况时，基于关键点的检测方法往往效果不理想。基于模板匹配的位姿检测方法是利用物体的cad模型，在距离和视角变化情况下，通过渲染来获取模板图像，然后提取模板库特征，检测时匹配到与目标最接近的模板作为物体位姿，对遮挡、杂波等干扰鲁棒性高，但是，当物体表面特征复杂变化时，检测精度将会下降。基于网络回归的位姿检测方法是通过神经网络自动提取目标特征，然后利用训练好的网络模型进行位姿检测。但是，若仅利用神经网络，模型的性能容易受到目标相似位姿歧义性的影响，导致检测结果不准。
3、因此，亟需提供一种克服以上缺点，准确率高，能对表面特征复杂变化的多型号芯片实现自动快速换型的位姿检测算法。
技术实现思路
1、为了提升芯片姿态检测的准确率，本专利技术提供了基于多尺度残差unet分割的芯片姿态检测方法，所述技术方案如下：p>
2、步骤1：采集待测芯片的图像，并根据固定坐标对待测芯片的显著特征点和料盘关键点进行粗定位；
3、步骤2：粗定位后，利用多尺度残差unet模型mr-unet对芯片与料盘进行图像分割；
4、步骤3：分割后利用多级位姿检测方法，利用svm分类器和模板匹配算法对芯片的位姿进行实时精确检测。
5、可选的，所述步骤2中的mr-unet模型将原unet网络编码器阶段的两层3×3卷积层的第二层卷积替换为多尺度残差卷积模块mrc；每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作；在每次卷积操作后引入bn层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；
6、然后将所述bn层后的特征图经过relu函数激活；
7、最后将下采样通道数减半；
8、所述多尺度残差卷积模块mrc首先使用四种具有不同大小感受野的卷积核以并行的方式对输入图像进行特征提取，并对图像进行padding像素填充操作；
9、然后对提取的特征分别经过批归一化操作和relu激活函数后进行特征融合，然后对融合后的特征图再次进行1×1的卷积操作，将通道数降维至与输入图像相同；
10、最后将输入特征图与降维后的特征图对应通道进行逐像素相加，将相加后的特征图进行relu激活后输出。
11、可选的，所述多级位姿检测方法包括：
12、步骤31：统计分割后的图像中前景像素个数，若所述前景像素个数小于预设阈值，则判断为“少料”；若所述前景像素个数大于所述预设阈值，则采用步骤32继续检测；
13、步骤32：采用svm分类器对待检测芯片图像进行分类，根据分类模型预测所属类别，若输出结果为0，则初步判断为正常位姿，并采用步骤33继续检测；若输出结果为1，则直接输出判断结果为“严重翘起位姿”；
14、步骤33：对所述步骤32中初步判断为正常位姿的图像，通过计算芯片显著特征点和料盘关键点之间的相对距离，若相对距离在预设的容忍范围内，则初步判断为正常位姿，并采用步骤34继续检测；若所述相对距离超出所述容忍范围，则直接输出检测结果为“偏移位姿”；
15、步骤34：对所述步骤33初步判断为正常位姿的图像，通过获取图像最小外接矩形，计算其旋转角度，通过角度值最终判断芯片为“旋转位姿”或“正常位姿”。
16、可选的，所述步骤31中的预设阈值的计算过程包括：首先选择100幅以上分割后少料位姿芯片图像，统计每幅图像中像素值等于255的个数，然后相加除以图像个数得到平均前景像素个数，将此作为区分少料位姿与其它位姿的阈值参数。
17、可选的，所述步骤32中的svm分类器训练过程包括：
18、首先将正常位姿与严重翘起位姿芯片图片分别放入到两个文件夹中，读取两个文件夹中的待训练图片，提取hog特征描述子，将正常位姿芯片的特征向量标记为0类标签，严重翘起位姿芯片的特征向量标记为1类标签；最后结合标签和svm分类器输出分类模型。
19、可选的，所述步骤33中的基于相对距离的方法包括：
20、首先，利用模板匹配算法精定位到芯片显著特征点p(x,y)和料盘关键点q(x,y)；
21、然后，用所述芯片显著特征点p(x,y)相对于芯片区域左上角点o1(x1,y1)的绝对坐标加上o1(x1,y1)相对于图像原点o(x,y)的绝对坐标，得到p(x,y)相对于o(x,y)的绝对坐标；用所述料盘关键点q(x,y)相对于料盘区域左上角点o2(x2,y2)的绝对坐标加上o2(x2,y2)相对于图像原点o(x,y)的绝对坐标，得到q(x,y)相对于o(x,y)的绝对坐标；
22、最后，用所述芯片显著特征点p(x,y)的x和y绝对坐标值减去q(x,y)的x和y绝对坐标值得到二者之间的x相对距离xrelative和y相对距离yrelative；
23、利用上述步骤得到所有图像相同行列位置的x和y相对距离，将它们相加除以图像数量得到平均x和平均y相对距离xaverage和yaverage；
24、由于芯片在卡槽内会出现小幅度晃动，所以在xaverage和yaverage的基础上前后增加n个像素的容忍度，那么x和y方向的容忍范围分别为：[xaverage-n，xaverage+n]、[yaverage-n，yaverage+n]，重复上述步骤得到图像中其余行列位置的容忍范围；
25、在检测过程中，若x和y相对距离均在容忍范围内，则初步判断检测结果为正常位姿，若有一个超出容忍范围，则直接输出检测结果为“偏移位姿”。
26、可选的，所述步骤34具体包括：
27、计算图像最小外接矩形，同时获取最小外接矩形的旋转角度α,α∈(-90°,0°]；
28、通过下式计算判断角度β，β∈[0°,45°]：
29、
30、当β>3.5°时，判断为“旋转位姿”，当β<3.5°时，判断为“正常位姿”。
31、可选的，所述容忍度n选择5个像素。
32、本专利技术的第二个目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一项所述的芯片姿态检测方法。
33、本专利技术有益效果是：
34、本发本文档来自技高网...
【技术保护点】
1.一种芯片姿态检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述步骤2中的MR-UNet模型将原UNet网络编码器阶段的两层3×3卷积层的第二层卷积替换为多尺度残差卷积模块MRC；每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作；在每次卷积操作后引入BN层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；
3.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述多级位姿检测方法包括：
4.根据权利要求3所述的芯片姿态检测方法，其特征在于，所述步骤31中的预设阈值的计算过程包括：首先选择100幅以上分割后少料位姿芯片图像，统计每幅图像中像素值等于255的个数，然后相加除以图像个数得到平均前景像素个数，将此作为区分少料位姿与其它位姿的阈值参数。
5.根据权利要求3所述的芯片姿态检测方法，其特征在于，所述步骤32中的SVM分类器训练过程包括：
6.根据权利要求3所述的芯片姿态检测方法，其特征在于，所述步骤33中的基于相对距离的方
7.根据权利要求3所述的芯片姿态检测方法，其特征在于，所述步骤34具体包括：
8.根据权利要求6所述的芯片姿态检测方法，其特征在于，所述容忍度n选择5个像素。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据权利要求1至8中任一项所述的芯片姿态检测方法。
...【技术特征摘要】
1.一种芯片姿态检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述步骤2中的mr-unet模型将原unet网络编码器阶段的两层3×3卷积层的第二层卷积替换为多尺度残差卷积模块mrc；每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作；在每次卷积操作后引入bn层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；
3.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述多级位姿检测方法包括：
4.根据权利要求3所述的芯片姿态检测方法，其特征在于，所述步骤31中的预设阈值的计算过程包括：首先选择100幅以上分割后少料位姿芯片图像，统计每幅图像中像素值...
【专利技术属性】
技术研发人员：王萍，吴静静，安聪颖，李天贺，
申请(专利权)人：无锡九霄科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。