【技术实现步骤摘要】
本专利技术涉及晶圆检测和图像处理，具体涉及一种基于自监督对比学习的混合型晶圆缺陷识别分割方法。
技术介绍
1、如今，半导体产业已经成为支撑国民经济发展的战略性、基础性、先导性产业。在半导体制造中，晶片缺陷形成的图案可以反映生产中的特定问题。人工识别需要大量的时间和成本，因此，自动检测与识别晶圆缺陷图形的是半导体工业中的一个重要课题。近年来，随着集成电路技术的发展，晶圆尺寸和晶圆上的芯片数大大增加，制造工艺越来越复杂。根据摩尔定律，光刻和蚀刻工艺的临界尺寸不断缩小，这些因素可能导致单个晶圆中可能存在多种缺陷图案(即混合型缺陷模式)。对于采集到的晶圆图数据，大规模缺陷样本的标记需要花费大量人力，所以标记样品通常是有限的。另外，采集到的晶圆图数据中大部分为无缺陷模式，各种缺陷模式的数量区别很大，数据呈现显著的类不平衡性。
2、混合型晶圆图缺陷模式分割的难点在于晶圆图的数据量大、质量低、噪声多、分辨率低、类别不平衡等问题，以及混合型缺陷模式的复杂性和多样性。传统的基于规则或统计的方法往往难以适应不同场景和需求，而且效率和准确性不高。而深度学习基于数据驱动的自动特征提取具有更强的适应性以及鲁棒性，因此深度神经网络的人工智能算法在晶圆缺陷检测行业取得了广泛的应用。但是，当前基于深度学习的晶圆缺陷检测算法需要依赖大量带真实值标注的数据，且研究多集中在对单一晶圆缺陷的识别问题上，而对于混合型晶圆缺陷的识别与分割研究较少且算法并不成熟。
技术实现思路
1、本专利技术的目的在于提供一种基于
2、本专利技术通过以下技术方案来实现上述目的：
3、一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，该方法包括以下步骤：
4、步骤1)收集大量无标签混合型晶圆数据，并通过合成的方法，生成少量有像素级别标签的混合型晶圆数据；
5、步骤2)将有像素级别标签的混合型晶圆数据集划分为训练集和测试集；
6、步骤3)构建深度学习图像识别分割网络，将整个网络划分为编码器和解码器两部分组成；
7、步骤4)网络预训练阶段，基于无标签数据集构建自监督任务，以从大规模无标签数据中学习可迁移的知识；
8、步骤5)网络微调阶段，使用有标签数据的训练集重新训练图像分割网络，并在测试集上进行准确率验证；
9、步骤6)输出重新训练完成的图像识别分割网络，进行混合型晶圆图像的识别与分割。
10、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，有像素级别标签的混合型晶圆数据集的生成包括以下步骤：
11、收集单一晶圆缺陷图，使用dbscan聚类算法提取缺陷区域，并修改不同类型缺陷区域的像素值，生成单一晶圆缺陷图的像素级标签；
12、对于一组待合成的单一晶圆缺陷原图，采用“像素优先级取法”，即将每个像素的值看作是其优先级，数值越大，优先级越高。当像素相遇时，选择优先级更高的像素值，由此生成两种、三种和四种缺陷类型混合的晶圆缺陷图；
13、对于一组待合成的单一晶圆缺陷图标签，同样采用“像素优先级取法”，并考虑为一些较难识别分割的缺陷类型赋予更大的优先级权重，由此生成相应的混合型晶圆缺陷标签。
14、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，图像分割网络包括编码器和解码器两个部分，编码器以修改后的残差网络resnet18为骨架构建，然后是带有空洞卷积的空间金字塔池化模块，以提取图像的高级特征；而解码器主要对细化后的特征图进行上采样，以恢复到原始图像的分辨率，即得到具有和原输入图像相同的尺寸大小的特征图。
15、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，在预训练阶段，基于无标签数据集构建自监督任务的步骤如下：
16、对输入的无标签晶圆图像随机进行多样化的数据增强操作，包括随机旋转、翻转、随机噪声，生成一组增强视图；
17、将增强视图送到编码器进行编码，并将编码后的特征向量输送到全局对比学习模块计算全局对比损失；
18、将编码后的特征向量再经过解码器进行解码，然后输送到局部对比学习模块计算局部对比损失；
19、利用全局对比损失和局部对比损失更新编码器和解码器的网络参数。
20、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，当计算全局对比损失时，在全局对比学习模块中先将编码后的特征向量通过mlp映射到z空间，得到在z空间上的向量表示和再由infonce loss损失函数计算两个向量之间的全局对比损失，损失函数计算如公式(1)所示：
21、
22、其中，为正样本向量；为正样本向量；为负样本向量集合；τ为温度参数。
23、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，局部对比损失计算步骤如下：
24、旋转和翻转的数据增强操作会导致增强视图之间的位置不匹配，由此引入索引标签矩阵与增强视图进行相同的数据增强操作，记录像素位置；
25、将增强视图输入到卷积核大小与局部区域大小相同的卷积层中，通过滑动卷积核，计算出每个局部区域的权重，然后根据权重大小选择局部区域；
26、为了减少局部区域重叠，在每次选择局部区域后，都会进行区域排除，以确保后续选择的区域的中心不会落在任何先前的选择中；
27、局部区域的选择与匹配完成后，在解码后的特征图中提取所选择的局部区域对应的局部特征图，并将局部特征图进行平均池化，得到局部特征向量；
28、同样由infonce loss函数计算局部特征向量之间的局部对比损失。
29、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，利用全局对比损失和局部对比损失的加权和更新编码器和解码器的网络参数，更新结束后进行知识迁移。
30、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，在微调阶段，使用有标签数据的训练集重新训练图像分割网络，并在测试集上进行准确率验证，直到满足停止训练的条件后，输出重新训练完成的图像分割网络，用于进行混合型晶圆图像的识别分割。
31、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，使用有标签数据的训练集重新训练图像分割网络时使用cross entropy损失函数：
32、
33、其中，lce为交叉熵损失函数，c表示类别数量，yic表示如果样本i的真实类别为c则取1，否则取0，pic观测样本i属于类别c的预测概率。
34、根据本专利技术提供的一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，微调阶段所述停止训练的条件为模型已经完成预设的训练轮数或者模型在测试集上的性能不再提升。
35、本专利技术还提供了一种本文档来自技高网...
【技术保护点】
1.一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，有像素级别标签的混合型晶圆数据集的生成包括以下步骤：
3.根据权利要求1所述的方法，其特征在于，图像分割网络包括编码器和解码器两个部分，编码器以修改后的残差网络ResNet18为骨架构建，然后是带有空洞卷积的空间金字塔池化模块，以提取图像的高级特征；而解码器主要对细化后的特征图进行上采样，以恢复到原始图像的分辨率，即得到具有和原输入图像相同的尺寸大小的特征图。
4.根据权利要求1所述的方法，其特征在于，在预训练阶段，基于无标签数据集构建自监督任务的步骤如下：
5.根据权利要求4所述的方法，其特征在于，当计算全局对比损失时，在全局对比学习模块中先将编码后的特征向量通过MLP映射到Z空间，得到在Z空间上的向量表示和再由InfoNCE Loss损失函数计算两个向量之间的全局对比损失，损失函数计算如公式(1)所示：
6.根据权利要求4所述的方法，其特征在于，局部对比损失计算步骤如下：
7
8.根据权利要求1所述的方法，其特征在于，在微调阶段，使用有标签数据的训练集重新训练图像分割网络，并在测试集上进行准确率验证，直到达到满足停止模型训练的条件。
9.根据权利要求8所述的方法，其特征在于，使用有标签数据的训练集重新训练图像分割网络时使用Cross Entropy损失函数，如以下公式：
10.根据权利要求8所述的方法，其特征在于，微调阶段所述停止训练的条件为模型已经完成预设的训练轮数或者模型在测试集上的性能不再提升。
...【技术特征摘要】
1.一种基于自监督对比学习的混合型晶圆缺陷识别分割方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，有像素级别标签的混合型晶圆数据集的生成包括以下步骤：
3.根据权利要求1所述的方法，其特征在于，图像分割网络包括编码器和解码器两个部分，编码器以修改后的残差网络resnet18为骨架构建，然后是带有空洞卷积的空间金字塔池化模块，以提取图像的高级特征；而解码器主要对细化后的特征图进行上采样，以恢复到原始图像的分辨率，即得到具有和原输入图像相同的尺寸大小的特征图。
4.根据权利要求1所述的方法，其特征在于，在预训练阶段，基于无标签数据集构建自监督任务的步骤如下：
5.根据权利要求4所述的方法，其特征在于，当计算全局对比损失时，在全局对比学习模块中先将编码后的特征向量通过mlp映射到z空间，得到在z空间上的向量表示和再...
【专利技术属性】
技术研发人员：王睿，尹善通，李芃，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。