基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法技术

本发明专利技术公开了基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，包括：1）基于ResNet网络进行晶圆特征提取；2）融合注意力的特征图金字塔网络A

FPN wafer surface defect detection method based on parallel attention compensation mechanism

【技术实现步骤摘要】
基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法


[0001]本专利技术涉及晶圆后处理领域，特别涉及基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法。

技术介绍

[0002]在晶圆缺陷检测过程中，由于晶圆表面具有图案整齐的线路，所以导致晶圆进行视觉检测时，整齐规则排列的电路图案会成为非常复杂的背景，所以在晶圆检测过程中，缺陷表现为形状多样的多尺度特征，以上难点为检测任务带来了极大的挑战。所以需要解决在检测过程中复杂背景干扰的问题，提高缺陷检测精度。
[0003]本次需要解决的主要技术是现有晶圆检测技术中，在检测过程中无法抑制背景图像干扰，造成缺陷漏检、误检等问题，而提出的一种融合注意力的多尺度晶圆表面缺陷检测的方法。
[0004]2018年邡鑫等人在《基于卷积神经网络的晶圆缺陷检测与分类算法》(计算机工程,2018,44(08):218
‑
223)一文中采用改进的更快区域
‑
卷积神经网络方法(Faster RCNN：全称：Faster Regions with CNN Features)对晶圆表面缺陷进行检测，对于较为显著的缺陷检测效果良好，但是由于晶圆缺陷种类多样，此方法检测范围有限；
[0005]2019年张义东等人专利技术了检测晶圆缺陷的方法和系统(公开CN108831844B)，此专利技术提供了一种晶圆检测方法及晶圆检测系统，采取红外成像的一种方法识别所述待检测晶圆的缺陷。但是晶圆表面具有复杂的背景，所以采用模板匹配的方式进行缺陷检测，检测的准确度不高；
[0006]2022年连浩臻等人提出了一种基于卷积神经网络的晶圆缺陷检测方法及系统(授权号：CN112700406B)，该
技术实现思路
主要涉及检测的图像预处理。获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型。
[0007]综上所述，现有晶圆缺陷检测的方法，涉及图片与处理方面和比较显著特征缺陷的检测，对于复杂背景图案的处理并未涉及，但是复杂背景图案对于检测结果具有较大的影响。

技术实现思路

[0008]本专利技术的目的是克服现有技术缺陷，提供基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，能够避免复杂背景图案对缺陷检测效果的影响，同时能防止对较小目标或者与背景特征相似缺陷的漏检和误检现象。
[0009]本专利技术的目的是这样实现的：一种基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，包括以下步骤：
[0010]步骤1)基于ResNet网络进行晶圆特征提取；
[0011]步骤2)融合注意力的特征图金字塔网络A
‑
FPN对特征图进行细分化；
[0012]步骤3)基于K
‑
means聚类改进锚框的大小生成；
[0013]步骤4)得到候选区域进行分类及回归。
[0014]进一步的，步骤1)具体包括使用ResNet
‑
50网络进行特征提取，得到四种不同规格的特征图，包括底层特征图L2、L3和高层特征图L4和L5。
[0015]进一步的，所述步骤2)具体包括：在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3；在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F
’4，将特征图输进FPN网络之前，先进行通道筛选和区域筛选。
[0016]进一步的，所述通道注意力机制的执行过程具体包括：
[0017]首先对特征图进行平均池化和最大池化，提取两种特征描述和并使特征图的输出变为1
×1×
C/r，r为降维倍数；
[0018]其次，将这两个不同的特征和分别送入中间的共享网络层，然后将得到的两个特征的对应元素相加，再经过sigmoid激活函数得到通道注意力图Mc为1
×1×
C；
[0019]最后和原始主干网络的输出相连接，如公式1所示：
[0020]Mc(F)＝σ(P
MLP
(P
avg
(F)+P
MLP
(P
max
(F)))(1)
[0021]化简可得：
[0022][0023]其中，共享网络层表示一个多层感知机，在公式中用P
MLP
表示，包含两层的神经网络；P
avg
表示平均池化，P
max
表示最大池化，σ代表sigmoid激活函数，W0和W1代表的是多层感知机模型的两层参数，且W0和W1之间的特征采用ReLU作为激活函数进行处理；最后，将Mc(F)与其输入特征相乘得到经过通道注意力调整的精细特征图F
’
；再将获得到的精细特征图F
’
输入特征金字塔FPN中，进行特征融合。
[0024]进一步的，所述在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3，具体包括：
[0025]特征图L2经过1
×
1卷积之后输进通道注意力机制，假设输入特征图F为H
×
W
×
C，首先经过通道注意力模块l获得注意力图Mc2为1
×1×
C，将Mc2对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C2，表达如3所示：
[0026][0027]其中：代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度；
[0028]特征图L3特征图经过1
×
1卷积之后输进通道注意力机制，假设输入特征图F为H
×
W
×
C，首先经过通道注意力模块l获得注意力图Mc3为1
×1×
C，将Mc3对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C3，表达如4所示：
[0029][0030]其中：代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度。
[0031]进一步的，所述在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意
力融合后得到精细特征图F
’4，具体包括：
[0032]融合空间注意力机制是用于高层特征图，输入特征图L4到空间注意力，通过平均池化和最大池化获得特征图为H
×
W
×
1和为H
×
W
×
1，再将特征图合并后使用7
×
7的卷积核、经过sigmiod激活函数得到新的空间注意力图Ms4；空间注意力的计算公式为：
[0033][0034]其中：σ代表sigmoid激活函数，f7×7代表卷积核大小为7
×
7的卷积操作最后，将Ms(F)与其输入特征相乘得到最终的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，包括以下步骤：步骤1)基于ResNet网络进行晶圆特征提取；步骤2)融合注意力的特征图金字塔网络A
‑
FPN对特征图进行细分化；步骤3)基于K
‑
means聚类改进锚框的大小生成；步骤4)得到候选区域进行分类及回归。2.根据权利要求1所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，步骤1)具体包括使用ResNet
‑
50网络进行特征提取，得到四种不同规格的特征图，包括底层特征图L2、L3和高层特征图L4和L5。3.根据权利要求2所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，所述步骤2)具体包括：在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3；在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F
’4，将特征图输进FPN网络之前，先进行通道筛选和区域筛选。4.根据权利要求3所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，所述通道注意力机制的执行过程具体包括：首先对特征图进行平均池化和最大池化，提取两种特征描述和并使特征图的输出变为1
×1×
C/r，r为降维倍数；其次，将这两个不同的特征和分别送入中间的共享网络层，然后将得到的两个特征的对应元素相加，再经过sigmoid激活函数得到通道注意力图Mc为1
×1×
C；最后和原始主干网络的输出相连接，如公式1所示：Mc(F)＝σ(P
MLP
(P
avg
(F)+P
MLP
(P
max
(F)))(1)化简可得：其中，共享网络层表示一个多层感知机，在公式中用P
MLP
表示，包含两层的神经网络；P
avg
表示平均池化，P
max
表示最大池化，σ代表sigmoid激活函数，W0和W1代表的是多层感知机模型的两层参数，且W0和W1之间的特征采用ReLU作为激活函数进行处理；最后，将Mc(F)与其输入特征相乘得到经过通道注意力调整的...

【专利技术属性】
技术研发人员：孙进，梁立，刘芳军，杨志勇，
申请(专利权)人：扬州大学，
类型：发明
国别省市：