一种基于深度学习的晶圆瑕疵检测方法技术

本发明专利技术属于晶圆检测技术领域，提出了一种基于深度学习的晶圆瑕疵检测方法。基于现有YOLOv7目标检测算法改进获得教师网络和学生网络，二者组成双通道教师

【技术实现步骤摘要】
一种基于深度学习的晶圆瑕疵检测方法


[0001]本专利技术涉及晶圆检测
，特别涉及一种基于深度学习的晶圆瑕疵检测方法。

技术介绍

[0002]晶圆是指制作集成电路时所用的晶片，常用的材料有硅、锗、砷化镓、氧化锌、磷化铟、氧化镓、碳化硅、氮化铝等，以硅材料为例，高纯度的多晶硅溶解后掺入硅晶体晶种，然后慢慢拉出，就形成了圆柱形的单晶硅；硅晶棒在经过研磨、抛光、切片后，形成硅晶圆片，也就是晶圆。在晶圆制作过程中，化学气相沉淀、光学显影、化学机械研磨在拉单晶、切片、磨片、抛光、增层、光刻、掺杂、热处理以及划片等一系列过程中可能使晶圆表面产生缺陷；在晶圆的缺陷种类中，晶圆表面冗余物、晶体缺陷、机械损伤(划痕图案)是较为常见缺陷。晶体缺陷的产生往往是由于晶体生长时加热不均所造成的，相较于其它晶圆表面缺陷，由于自身特征的缺陷对晶圆的制作工艺有更大的影响；机械损伤一般产生于晶圆制造过程的抛光、切片等步骤中，由化学机械研磨所致，是一种较为严重的晶圆表面缺陷，能够对集成电路芯片造成极为严重的影响。
[0003]随着我国集成电路制作工艺水平的飞速发展，晶圆的集成度不断提高，工艺的稳定性和可靠性也越来越好，但还是难免会出现有瑕疵的晶圆，这就对晶圆检测技术提出了更高的要求，对晶圆表面缺陷的高精度检测成为制作工艺过程中的重要环节。为了防止存在缺陷的晶圆流入下一步的封装工序,需要借助光学检测设备来识别晶圆表面缺陷并分类、标记,并分析缺陷原因，以改进制造工艺。CN 111982931 A等早期的晶圆光学检测方法，一般是将晶圆置于一个明亮的环境中，通过人工目检或抽检的方式观察晶圆表面是否存在机器损伤，灰尘或脏污等缺陷。但随着晶粒的特征尺寸不断减少，缺陷的尺寸也相应缩小，早期的简单检测方法明显已经不能满足高精度、高效率的产业需求。如果晶圆瑕疵检测步骤失败，带有不同缺陷类型的晶圆进入下一道封装工序，就有可能导致产品报废。所以如果要实现晶圆表面多种缺陷的快速准确检测，需要一种兼具实时性和精确性的检测方法。

技术实现思路

[0004]本专利技术目的在于提出一种基于深度学习的晶圆瑕疵检测方法，引入目标检测算法YOLOv7，并针对晶圆瑕疵检测的特殊需求对算法进行改进，实现实时、准确地检测并细分不同种类的晶圆瑕疵。
[0005]本专利技术的技术方案为：
[0006]一种基于深度学习的晶圆瑕疵检测方法，基于现有YOLOv7目标检测算法改进获得教师网络和学生网络，二者组成双通道教师
‑
学生网络；输入图像经教师网络训练获得泛在瑕疵区域，记泛在瑕疵区域概率为PA，图像为正常的概率PN＝1
‑
PA；训练过程中教师网络获得的泛在瑕疵信息经蒸馏知识迁移至学生网络；输入图像经学生网络训练获得泛在瑕疵区域内的细分瑕疵，即特定瑕疵的概率Pj，j＝1,...,M，M表示泛在瑕疵区域数目；最终测试阶
段仅保留训练完成的学生网络，输入图像获得晶圆的正常与否以及晶圆的缺陷类别；
[0007]教师网络包括现有YOLOv7目标检测算法的主干网络、注意力增强机制、多任务学习机制以及融合模块；学生网络包括改进的YOLOv7目标检测算法的主干网络、注意力增强机制、多任务学习机制以及融合模块；改进的YOLOv7目标检测算法的主干网络为基于现有YOLOv7目标检测算法的主干网络基础上进行精简，仅使用两组CSP瓶颈层模块；多任务学习机制包括泛在瑕疵的检测和细分瑕疵的检测；训练教师网络时仅进行泛在瑕疵的检测任务，训练学生网络时仅进行细分瑕疵的检测任务；融合模块用于将多任务学习机制的输出结果进行拼接，输出瑕疵概率以及瑕疵图像。
[0008]注意力机制借鉴了人类视觉方面的选择性注意特点，即人类快速地扫描全局图像，可以获得需要重点关注的目标区域，进而从该区域获得目标细节信息，抑制无用信息。根据应用场景的不同，注意力通常可分为时序注意力、空间注意力和通道注意力。时序注意力可以为序列特征分配不同的权重，并通过概率分配的方式自动提高模型对重要特征的关注程度，从而在不增加计算与储存成本的前提下，增加对序列数据处理的准确性。空间注意力将原始图像中的空间信息变换到另一空间并保留关键信息，从而找出图像中需要关注的区域，并增加网络对这些区域的关注权重。通道注意力从特征维度层面挖掘有效特征，抑制与任务无关特征，从而改善网络性能。本专利技术中所述注意力增强机制包括空间注意力和通道注意力；采用空间注意力增强机制对小瑕疵区域的敏感程度，提升算法对小区域瑕疵的敏感度。然后，采用通道注意力增强机制，抑制非瑕疵特征，从而突出瑕疵特征。
[0009]经主干网络输出的特征图为F，空间注意力权重As(F)和通道注意力权重Ac(F)分别如下所示：
[0010][0011][0012]其中，MLP()表示多层感知器共三层，神经元个数分别为m、m/4、m，其中m表示F通道池化后的维度，Conv()表示核尺寸为7*7的卷积操作；表示空间注意力权重下特征图F的平均值；表示空间注意力权重下特征图F的最大值；表示通道注意力权重下特征图F的平均值；表示通道注意力权重下特征图F的最大值；
[0013]注意力增强机制表示如下：
[0014][0015][0016]所述融合模块融合拼接泛在瑕疵与特定瑕疵的概率，测试阶段时，融合模块将图像为正常的概率PN与特定瑕疵的概率Pj进行融合拼接，通过Softmax激活函数进行归一化处理，得到晶圆图像属于正常样本或某种特定瑕疵的概率。
[0017]所述教师网络在输出瑕疵区域结果及瑕疵区域概率时，考虑到晶圆表面瑕疵只占采集到图片的一小部分，可能出现目标检测中的样本不平衡问题，即同一图像中正样本与负样本数目不均衡，引入Focal损失函数L
F
用于缓减训练样本不均衡，采用交叉熵损失函数L
T
实现教师网络中泛在瑕疵的泛在瑕疵检测；
[0018]L
F
＝
‑
α(1
‑
p
i
)
γ
log(p
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0019][0020]其中，超参数
ɑ
和γ分别用于缓解正负样本和难易样本的不平衡问题；y
i
表示训练样本标签，p
i
表示泛在瑕疵检测输出概率，K表示训练样本数目；
[0021]所述学生网络依靠从教师网络蒸馏信息实现对多尺度特征的挖掘，从而减小学生网络的时空复杂度；学生网络输出细分瑕疵及特定瑕疵的概率时，引入Softmax损失函数Ls和中心损失函数L
C
；
[0022][0023]其中，M表示细分瑕疵种类数目，表示真实标签的one
‑
hot编码，Z
i
表示样本属于第i种瑕疵的概率；
[0024]中心损失函数L
C
进行约束，增加分类样本的类间聚类，减小类内距离；
[0025][0026]其中，x
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的晶圆瑕疵检测方法，其特征在于，基于现有YOLOv7目标检测算法改进获得教师网络和学生网络，二者组成双通道教师
‑
学生网络；输入图像经教师网络训练获得泛在瑕疵区域，记泛在瑕疵区域概率为PA，图像为正常的概率PN＝1
‑
PA；训练过程中教师网络获得的泛在瑕疵信息经蒸馏知识迁移至学生网络；输入图像经学生网络训练获得泛在瑕疵区域内的细分瑕疵，即特定瑕疵的概率Pj，j＝1,...,M，M表示泛在瑕疵区域数目；最终测试阶段仅保留训练完成的学生网络，输入图像获得晶圆的正常与否以及晶圆的缺陷类别；教师网络包括现有YOLOv7目标检测算法的主干网络、注意力增强机制、多任务学习机制以及融合模块；学生网络包括改进的YOLOv7目标检测算法的主干网络、注意力增强机制、多任务学习机制以及融合模块；改进的YOLOv7目标检测算法的主干网络为基于现有YOLOv7目标检测算法的主干网络基础上进行精简，仅使用两组CSP瓶颈层模块；多任务学习机制包括泛在瑕疵的检测和细分瑕疵的检测；训练教师网络时仅进行泛在瑕疵的检测任务，训练学生网络时仅进行细分瑕疵的检测任务；融合模块用于将多任务学习机制的输出结果进行拼接，输出瑕疵概率以及瑕疵图像。2.根据权利要求1所述的基于深度学习的晶圆瑕疵检测方法，其特征在于，所述注意力增强机制包括空间注意力和通道注意力；经主干网络输出的特征图为F，空间注意力权重As(F)和通道注意力权重Ac(F)分别如下所示：(F)和通道注意力权重Ac(F)分别如下所示：其中，MLP()表示多层感知器，Conv()表示核尺寸为7*7的卷积操作；表示空间注意力权重下特征图F的平均值；表示空间注意力权重下特征图F的最大值；表示通道注意力权重下特征图F的平均值；表示通道注意力权重下特征图F的最大值；注意力增强机制表示如下：注意力增强机制表示如下：3.根据权利要求1或2所述的基于深度学习的晶圆瑕疵检测方法，其特征在于，所述融合模块融合拼接泛在瑕疵与特定瑕疵的概率，测试阶段时，融合模块将图像为正常的概率PN与特定瑕疵的概率Pj进行融...

【专利技术属性】
技术研发人员：夏新栋，杨彪，戚璐璐，兰昊，姜丰，王睿，杨长春，
申请(专利权)人：常州大学，
类型：发明
国别省市：