本申请公开了基于CNN和Transformer结合的主干网络和特征融合网络，主干网络中加入了MobileViT块，并在每个MobileViT块末尾结合改进后的CBMA模块以让两种特征图能够更好的融合，在连续堆叠的CNN和Transformer Block中应用CSP瓶颈结构提高网络的性能。整个模型加强了CNN和Transformer特征图的融合，有效提高了模型主干网络的特征提取能力和输出特征的接受域。加强特征提取网络(PANet)中加入一条包含Transformer Block的上采样特征提取路径，并为这种结构引入了Patch expanding用于处理Transformer特征图的上采样操作。在特征提取路径之间加入桥接块，用于对CNN和Transformer的特征层进行跳层链接，在保留局部信息的前提下加强金字塔中特征图的全局信息。本发明专利技术可对工件中形状、大小、比例、纹理特异性较大的表面缺陷目标进行检测。缺陷目标进行检测。缺陷目标进行检测。
【技术实现步骤摘要】
基于CNN和Transformer的工件表面缺陷检测方法
[0001]本专利技术涉及计算机视觉领域，具体来说，本专利技术涉及一种针对工件表面缺陷的检测方法。
技术介绍
[0002]对于制造行业，质量控制至关重要，工件中的缺陷会对工件的刚度、强度和承载能力产生不良影响，这会让工件的稳定性无法保证，甚至会带来巨大的安全隐患。因此，大批量的工件的缺陷检测在生产过程中极为重要。
[0003]随着过去十年中计算能力的提高，人工神经网络已经能够解决一些以前难以解决的任务，并在多领域取得了可观的成果。卷积神经网络在图像分类、分割和目标检测等任务中表现出了高性能，并且可以适应多种不同的使用场景，因而具有更强的泛化能力。同时，基于深度学习的视觉检测系统可以在传统视觉方法难以检测的区域也达到高精度和高效率。深度网络大大提升检测过程中的效率，并且显著降低检测所需的成本，非常适合用来完成工件表面的缺陷检测任务。
技术实现思路
[0004]本专利技术提出基于CNN和Transformer结合的主干网络和特征融合网络，主干网络中加入了MobileViT块，并在每个MobileViT块末尾结合改进后的CBMA模块以让两种特征图能够更好的融合，在连续堆叠的CNN和Transformer Block中应用CSP瓶颈结构提高网络的性能。整个模型加强了CNN和Transformer特征图的融合，有效提高了模型主干网络的特征提取能力和输出特征的接受域。加强特征提取网络(PANet)中加入一条包含Transformer Block的上采样特征提取路径，并为这种结构引入了Patch expanding用于处理Transformer特征图的上采样操作。在特征提取路径之间加入桥接块，用于对CNN和Transformer的特征层进行跳层链接，在保留局部信息的前提下加强金字塔中特征图的全局信息。步骤如下：
[0005]步骤S1、获取钢材表面缺陷数据集并对其进行训练验真集的划分；
[0006]步骤S2、构建基于MobileVit的Transformer和CNN串联结构主干特征提取网络，并以钢材缺陷样本作为输入，特征提取网络包含三个stage，以各stage的输出作为有效特征图；
[0007]步骤S3、构建基于PaNet的Transformer和CNN并联的多尺度特征融合网络。以主干特征提取网络的三个有效特征层作为输入进行特征融合；
[0008]步骤S4、根据预定数量的工件表面缺陷样本，这些图像包含单个缺陷位置，并涵盖不同尺度下的缺陷。每个样本图像都有一个对应的预设缺陷分类。我们将这些样本图像作为输入，以图像中不同尺度缺陷的预设缺陷分类作为输出，对检测模型进行训练，以获得工件表面缺陷检测模型。
[0009]预设缺陷包括划表面麻点、夹杂物、斑块、轧入氧化皮、裂纹和划痕六种，各类缺陷
分别有360个图样本。
[0010]将数据集中各类图像按照8∶2的比例进行随机划分分别作为训练集和测试集。因此训练集有1728张样本，测试集有432张样本。模型训练过程中，设置参数学习率为1e
‑
3，权重衰减为5e
‑
4。共训练300个epoch，其中Freeze_Epoch为50个，这部分的Batch Size＝16，其余部分Batch Size＝4。学习率下降的方式为余弦衰减。当训练次数进行到50个epoch时，将Batch Size设置为16，学习率设置为1e4。
[0011]S2.1先通过1
×
1跨通道卷积对特征图的维度进行提高，然后使用深度可分离卷积进行进一步的特征提取，最后通过1
×
1卷积将特征图还原到输入时的维度。深度可分离卷积主要分为两个过程，分别为逐通道卷积，既使用数个卷积核对特征图的各个通道分别进行卷积操作；和逐点卷积，既使用数个1
×
1卷积核对特征图的点进行跨通道的卷积。
[0012]S2.2将S2.1特征图先进行一次3
×
3卷积进行局部信息的提取，然后使用一个1
×
1的跨通道的逐点卷积。此过程将原特征图维度从H
×
W
×
C调整为H
×
W
×
d。将图片的2D特征图分块后，转换为Transformer可以直接处理的一维向量。得到X
Unfold
∈R
P
×
N
×
d
，P特征图代表展平后每个子块向量的长度，N代表特征图被切分后向量的个数。将展平后的特征向量送入堆叠的Transformer Block得到X
G
∈R
P
×
N
×
d
。
[0013]将经过L个Transformer得到的特征图X
G
∈R
P
×
N
×
d
重新折叠还原得到X
Fold
∈R
H
×
W
×
d
。然后将X
Fold
送入1
×
1卷积网络，对整个特征图进行降维得到F∈R
C
×
H
×
W
，方便后续将其和原特征图进行拼接操作。
[0014]S2.3：S2.1和S2.2输出的特征图特征图F
CNN
，F
VIT
∈R
C
×
H
×
W
，通道注意力映射为M
C
∈R
C
×1×1，空间注意力映射为M
S
∈R1×
H
×
W
，则CBMA的处理流程如公式如下：
[0015][0016]通道注意力模块最后的结果如公式如下：
[0017][0018]空间注意力模块最后的结果如公式如下：
[0019][0020]S2.4：每个Stage进行一次S2.1，S2.2，S2.3的操作，反复进行三个Stage，分别将每个Stage中S2.3操作后的特征图作为有效特征图。
[0021]S3.1在原始PaNet中加入额外的一条由Swin Transformer Block的构成的多尺度特征提取路径。
[0022]S3.2 CNN支路跳层链接到Transformer支路的桥接器用于将CNN的局部特征融合到Transformer中补全细节信息。先将CNN的特征图分别作Key和Value映射，使用Transformer的特征图作为Query映射进行下一步的自注意力计算。
[0023]从CNN的局部特征桥接到Transformer的计算过程如公式如下：
[0024][0025]S3.3 Transformer支路跳层链接到CNN支路的桥接器与CNN支路跳层链接到Transformer支路的桥接器方向相反。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于CNN和Transformer的工件表面权限检测方法，所述方法包含以下步骤：步骤S1、获取钢材表面缺陷数据集并对其进行训练验真集的划分。步骤S2、构建基于MobileVit的Transformer和CNN串联结构主干特征提取网络，并以钢材缺陷样本作为输入，特征提取网络包含三个stage，以各stage的输出作为有效特征图。步骤S3、构建基于PaNet的Transformer和CNN并联的多尺度特征融合网络。以主干特征提取网络的三个有效特征层作为输入进行特征融合S4、根据预定数量的工件表面缺陷样本，这些图像包含单个缺陷位置，并涵盖不同尺度下的缺陷。每个样本图像都有一个对应的预设缺陷分类。我们将这些样本图像作为输入，以图像中不同尺度缺陷的预设缺陷分类作为输出，对检测模型进行训练，以获得工件表面缺陷检测模型。2.根据权利要求1所述的Transformer和CNN串联结构主干特征提取网络，其特征在于，在每个MobileViT块末尾结合改进后的CBMA模块以让两种特征图能够更好的融合。具体包括：S2.1先通过1
×
1跨通道卷积对特征图的维度进行提高，然后使用深度可分离卷积进行进一步的特征提取，最后通过1
×
1卷积将特征图还原到输入时的维度。深度可分离卷积主要分为两个过程，分别为逐通道卷积，既使用数个卷积核对特征图的各个通道分别进行卷积操作；和逐点卷积，既使用数个1
×
1卷积核对特征图的点进行跨通道的卷积。S2.2将S2.1特征图先进行一次3
×
3卷积进行局部信息的提取，然后使用一个1
×
1的跨通道的逐点卷积。此过程将原特征图维度从H
×
W
×
C调整为H
×
W
×
d。将图片的2D特征图分块后，转换为Transformer可以直接处理的一维向量。得到X
Unfold
∈R
P
×
N
×
d
，P特征图代表展平后每个子块向量的长度，N代表特征图被切分后向量的个数。将展平后的特征向量送入堆叠的Transformer Block得到X
G
∈R
P
×
N
×
d
。将经过L个Transformer得到的特征图X
G
∈R
P
×
...
【专利技术属性】
技术研发人员：彭宏京，王岳宸，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。