一种微观晶圆表面缺陷图像检测方法技术

本发明专利技术公开了一种微观晶圆表面缺陷图像检测方法。由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。本发明专利技术方法可以很好地对微观晶圆表面缺陷进行识别和定位，并且识别的效率也有了很大提高。

An image detection method for micro wafer surface defects

The invention discloses a microscopic wafer surface defect image detection method. The training set is constructed from the original image of the labeled defect type and its calibrated bounding box of the microcrystalline wafer; the training set is trained by combining the faster regional convolution neural network method with the regional recommendation network to get the final model; the microcrystalline wafer images taken in industrial production are collected and detected by the final model. Get the location of the defect in the image. The method of the invention can identify and locate the surface defects of the micro wafer well, and the recognition efficiency is greatly improved.

【技术实现步骤摘要】
一种微观晶圆表面缺陷图像检测方法
本专利技术涉及了一种微观晶圆表面缺陷图像检测方法，属于图像识别领域。
技术介绍
半导体元器件和集成电路是重要的电子元器件，被广泛应用于通讯、汽车和工业自动化等产品中。在半导体中，晶圆是其中最主要的材料，在市面上90％以上的电子设备是基于晶圆制造而成。微观晶圆表面的缺陷，可能会破坏晶体结构中密排面的正常堆垛顺序，通常会影响晶圆电路的连通性，从而造成集成电路结构上的缺陷。因此晶圆表面的缺陷已经成为影响良率的主要障碍，因此如何精确地检测晶圆的微小缺陷已经成为半导体产业的关键技术。目前工业对于晶圆表面缺陷检测的要求，一般是要求高效准确，能够捕捉有效缺陷，实现实时检测。较为普遍的表面检测技术主要可以分为两大类：针接触法和非接触法，接触法以针触法为代表，因其易损伤被测样品表层，一般不使用；非接触法又可以分为原子力法和光学法，前者设备昂贵难以大规模应用，后者随着近年来计算机视觉技术的不断发展逐渐成为主流的检测方法。传统的视觉检测方法是采用模板匹配来检测晶圆微小缺陷，通过电子显微镜扫略晶圆表面获取图像。为提高检出缺陷的能力，需要一定数量的模板库。这导致生成模板过程较为繁琐，同时在数目众多的模板库中筛选出对应合适项也较为费时。目前该领域技术多聚焦于改进模板匹配的方式来提升检测效率，其中一种改进的方法是以前一帧的图像作为模板，将后一帧的图像做差分，而差分之后图像中包含的像素就作为晶圆的微观缺陷，这种方法是默认前后帧图像是几乎一致的情况下来操作的，但是在很多复杂的晶圆表面图案中并不适用，因为并不是每一帧图像都是相同的，所以对于生产实际，一个鲁棒性高且拥有较高精准度的晶圆微观缺陷检测方法显得尤为重要。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术的目的在于提供了一种微观晶圆表面缺陷图像检测方法，用来检测微观晶圆图像中的晶圆，方法有效且能够很准确地定位微观缺陷。为了解决上述技术问题，如图1所示，本专利技术所采取的技术方案是：1)由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；2)由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；3)采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。所述缺陷类型分为加热不均hump、灰尘颗粒dust、机械损伤injury和液体残留物blot的四种。所述的缺陷类型的标定包围盒为包围缺陷的最小外接矩形。所述步骤1)中，对所有微观晶圆原始图像进行扩充，对图像进行旋转、错切和翻转的操作，构成训练集。所述步骤3)具体为：3.1)将训练集图像输入ZFNet神经网络模型进行训练，获取特征图，具体过程如下：3.1.1)通过卷积层处理得到原始特征图；3.1.2)将步骤3.1.1)获取的原始特征图采用LeakyReLU作为激活函数进行激活，公式为：其中，f(x)为输出特征图的像素值，λ为激活系数，x为输入的原始特征图的像素值；经实验筛选，具体实施方法取λ＝0.10。3.1.3)将经过步骤3.1.2)激活获得的特征图做池化处理，池化方式是核为3×3的最大池化，公式为：F(f(x))＝max(f(x),0)其中，F(f(x))表示池化处理后的特征图的像素值，当f(x)<0时，F(f(x))＝0；当f(x)≥0时，F(f(x))＝f(x)；3.2)将步骤3.1.2)获得的特征图及其缺陷类别输入区域建议网络(RPN网络)进行训练，输出预测框，具体过程如下：3.2.1)建立大小为3×3的窗口，在特征图上滑动窗口并在每个窗口下生成九个锚区，对于每个锚区，计算锚区与已知的标定包围盒(tBox)之间的重合度p*：其中，IoU表示锚区和标定包围盒的交集与并集之比，anchor表示锚区，tBox表示标定包围盒；3.2.2)采用选择性搜索(SelectiveSearch)方法针对训练集的图像生成若干个候选框及其候选概率；3.2.3)根据步骤3.2.1)获取的锚区和步骤3.2.2)获取的候选框，将候选框进行分类和回归处理，输出预测框；构建以下损失函数对每一幅图像进行分类和回归处理，以损失函数最小为目标处理获得预测框的尺寸参数(x,y,w,h)，损失函数是由分类损失和回归损失按一定比重组成的，具体公式为：其中，Ncls为候选框的数目，表示第j个锚区与标定包围盒的重合度，pi表示第i个候选框的候选概率，λ为分类与回归损失函数的权值，Nreg为图像中锚区的数量，i表示候选框的序号，j表示锚区的序号，q表示标定包围盒的序号；ti表示第i个候选框的尺寸参数，表示第q个标定包围盒的尺寸参数；表示为锚区和候选框下的分类损失函数，表示为候选框和标定包围盒下的回归损失函数；分类损失函数计算为：回归损失函数计算为：其中，第i个候选框的尺寸参数ti由tx、ty、tw和th构成，tx和ty表示候选框的中心坐标，tw和th表示候选框的宽度和高度；第q个标定包围盒的尺寸参数由和组成，和表示标定包围盒的中心坐标，和表示标定包围盒的宽度和高度；上述候选框的中心坐标tx和ty以及候选框的宽度和高度tw和th表示为：上述标定包围盒的中心坐标和以及标定包围盒的宽度和高度和表示为：其中，(x*,y*,w*,h*)表示标定包围盒的尺寸参数，(xa,ya,wa,ha)为候选框的尺寸参数；(x,y,w,h)为预测框的尺寸参数，x和y表示预测框的中心坐标，w和h表示预测框的宽度和高度。所述步骤3.2.1)中，由每个窗口通过截取生成三种不同横纵比的窗口区域，每种横纵比的窗口区域下生成三个不同边长尺度的子区域，以子区域作为锚区，共计生成9个锚区。进一步地，将步骤3)输出的预测框映射到步骤3.1.3)获得的特征图中，得到筛选特征图，然后将筛选特征图和标定包围盒进行归一化得到池化特征图和池化后的包围盒，接着将池化特征图和池化后的包围盒进行比较，得到缺陷检测精度的数据。本专利技术将包围盒的回归和区域分类合并一个多任务模型，可以共享卷积特征。本专利技术采用RPN网络快速扫描区域位置并评估区域位置的下一步处理，能够为候选框的选择提供依据，并且减少候选框的数据，提升训练效率。具体实施中，在同一数据集下本专利技术方法与其他网络模型处理方法进行做识别率对比来评价本专利技术算法的检测效果，当识别率曲线所覆盖的区域面积越大，其检测效果越好。经实施例获得的本方法的识别率曲线覆盖的区域面积为0.9616，均优于其他神经网络算法。本专利技术利用ZFNet生成5层神经网络，用于产生缺陷特征图，输入至RPN网络产生对应的缺陷预测框，在此过程中训练整个FasterRCNN网络并更新各层神经网络的参数。经过上述过程，可得到针对微观晶圆缺陷的识别与分类的最佳网络模型。本专利技术的有益效果是：本方法能够扫描并评估提取缺陷候选区域，减少候选区域数目，有效提高训练效率。同时采用了ReLU的改进版本—LeakyReLU激活函数，减少了死亡神经元的产生，总体上有效提高了晶圆微观缺陷检出率。与传统的模板匹配法相比，本专利技术方法无需在众多模板中进行筛选，只需要输入一幅包含缺陷微观晶圆图像到训练好的网络模型中，即可得到晶圆缺陷类别和位置，无需其他操作，并且测试精度要传统方法。附图说明图1是本专利技术的算法流程图；图2是微观晶圆缺陷分类图；图3是本文档来自技高网...

【技术保护点】
1.一种微观晶圆表面缺陷图像检测方法，其特征在于：1)由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；2)由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；3)采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。

【技术特征摘要】
1.一种微观晶圆表面缺陷图像检测方法，其特征在于：1)由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；2)由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；3)采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。2.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述缺陷类型分为加热不均hump、灰尘颗粒dust、机械损伤injury和液体残留物blot的四种。3.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述的缺陷类型的标定包围盒为包围缺陷的最小外接矩形。4.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述步骤1)中，对所有微观晶圆原始图像进行扩充，对图像进行旋转、错切和翻转的操作，构成训练集。5.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述步骤3)具体为：3.1)将训练集图像输入ZFNet神经网络模型进行训练，获取特征图，具体过程如下：3.1.1)通过卷积层处理得到原始特征图；3.1.2)将步骤3.1.1)获取的原始特征图采用LeakyReLU作为激活函数进行激活，公式为：其中，f(x)为输出特征图的像素值，λ为激活系数，x为输入的原始特征图的像素值；3.1.3)将经过步骤3.1.2)激活获得的特征图做池化处理，池化方式是核为3×3的最大池化，公式为：F(f(x))＝max(f(x),0)其中，F(f(x))表示池化处理后的特征图的像素值，当f(x)<0时，F(f(x))＝0；当f(x)≥0时，F(f(x))＝f(x)；3.2)将步骤3.1.2)获得的特征图及其缺陷类别输入区域建议网络(RPN网络)进行训练，输出预测框，具体过程如下：3.2.1)建立大小为3×3的窗口，在特征图上滑动窗口并在每个窗口下生成九个锚区，对于每个锚区，计算锚区与已知的标定包围盒(tBox)之间的重合度p*：其中，IoU表示锚区和标定包围盒的交集与并集之比，anchor表示锚区，tBox表示标定包围盒；3.2.2)采用选择性搜...

【专利技术属性】
技术研发人员：赵昕玥，张树有，何再兴，刘明明，王宏远，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33