基于注意力模型的轻量级语义分割网络构建方法技术

本发明专利技术公开了基于注意力模型的轻量级语义分割网络构建方法，包括以下步骤：步骤1：输入图像，使用一个通用的轻量级网络作为编码器来提取分层特征；步骤2：采用上下文嵌入块对长距离依赖关系进行建模,将编码器的输出特征作为输入；步骤3：利用CSAM模块融合多层次特征并输出结果图像；步骤4：执行Conv

【技术实现步骤摘要】
基于注意力模型的轻量级语义分割网络构建方法


[0001]本专利技术涉及一种语义分割方法，具体为一种基于注意力模型的轻量级语义分割网络构建方法。

技术介绍

[0002]随着计算机视觉领域的发展，基于深度学习的方法极大提高了语义分割的准确性和速度，语义分割作为计算机视觉领域的一个重要方向，因此将语义分割应用于医疗成像、自动驾驶等。现有算法会产生准确度低、实时性低等问题。因此，如何兼顾识别结果的可靠性和速度，具有重要的研究意义。
[0003]目前流行的众多语义分割模型，在语义分割方面已经取得了一些的成果，但也存在着占用计算量大、算法收敛速度慢、无法满足实时性要求和准确度低等问题，无法适用于复杂工业场景的图像分割。语义分割技术目前向轻量化、实时性方向进展。基于深度学习的图像语义分割，对输入图像的每个像素标上标签，并根据像素类别生成最终不同颜色的区域块的效果。现如今的轻量级网络虽然能够以较快的推理速度完成图像的预测效果，但是由于缺少对图像高级特征信息的提取，最终将导致图像的分割精度不理想，从而严重影响结果精度和可靠性。
[0004]现有的技术方案中，自从FCN第一个全卷积神经网络提出，到U
‑
net网络开始提出的双分支网络，BiseNetV1设计了Spatial Path和Contex Path同时收集空间信息和语义信息，BiseNetV2设计了一个双边网络，其中Detail Branch获取细节信息，Semantic Branch提取深层次的语义特征，PP
‑
LiteSeg提出了UAFM模块利用空间和通道注意力产生权重。
[0005]FCN存储开销大，并且计算效率低，感受野较小，只能获得一些局部特征信息，U
‑
net网络提出的双分支网络即收缩路径(contracting path)和扩展路径(expanding path)，虽然有效获得上下文信息，但也导致了网络出现冗余，BiseNetV1和BiseNetV2设计的方案虽然提高了精度，但添加额外路径来编码空间信息是耗时的，PP
‑
LiteSeg提出了UAFM模块利用空间和通道注意力产生权重，但未能将他们进行有效融合以充分利用低层和高层的特征。

技术实现思路

[0006]专利技术目的：本专利技术的目的为提供一个注意力模型并应用到轻量级语义分割网络中，通过深度学习的方法提取特征，输入到CSAM注意力模型中，结合通道注意力和空间注意力，以提高模型的准确率。
[0007]技术方案：基于注意力模型的轻量级语义分割网络构建方法，包括以下步骤：
[0008]步骤1：输入图像，使用一个通用的轻量级网络作为编码器来提取分层特征；
[0009]步骤2：采用上下文嵌入块对长距离依赖关系进行建模,将编码器的输出特征作为输入；
[0010]步骤3：利用CSAM模块融合多层次特征并输出结果图像；
[0011]步骤4：执行Conv
‑
BN
‑
Relu操作，并进行上采样操作将特征大小扩展到输入图像大小，我们采用argmax操作预测每个像素的标签。
[0012]进一步的，步骤3所述CSAM模块采用了双CSAM，所述CSAM是空间注意力模块和通道注意力模块相结合的结构。
[0013]进一步的，步骤3包括：
[0014]3.1：CSAM利用双线性插值的方法将F
high
上采样到F
low
的相同的大小，获得F
up
，公式如下：
[0015]F
up
＝Upsample(F
high
)；
[0016]3.2：将F
up
和F
low
作为输入，并在空间注意力模块和通道注意力模块分别产生权重α1和α2，公式如下：
[0017]α1＝Spatial Attention(F
up
,F
low
)，
[0018]α2＝Channel Attention(F
up
,F
low
)；
[0019]3.3：对加权特征进行元素级加法操作，并输出融合特征F
out
，公式如下：
[0020]F
out
＝F
up
×
α1+F
low
×
α2。
[0021]进一步的，第一个CSAM中上下文嵌入块的输出结果为F
high
，编码器提取的低级特征1/16为F
low
，第二个CSAM中前一个CSAM的输出结果为F
high
，编码器提取的低级特征1/8为F
low
。
[0022]进一步的，空间注意力模块中给定输入特征，即F
up
∈R
C
×
H
×
W
和F
low
∈R
C
×
H
×
W
，首先沿通道轴执行均值操作和最大值操作分别输入特征的通道，该过程生成维度为R1×
H
×
W
的四个特征，即Mean(F
up
)，Max(F
up
)，Mean(F
low
)，Max(F
low
)；然后，我们采用Concat操作来拼接这四个特征并输出为F
cat
∈R4×
H
×
W
，并执行Conv运算和Sigmoid运算最终得到α1∈R1×
H
×
W
，公式如下：
[0023]F
cat
＝Concat(Mean(F
up
),Max(F
up
),Mean(F
low
),Max(F
low
))，
[0024]α1＝Sigmoid(Conv(F
cat
))。
[0025]进一步的，通道注意力模块中给定输入特征，即F
up
∈R
C
×
H
×
W
和F
low
∈R
C
×
H
×
W
，通道注意力模块利用平均池化操作和最大池化操作分别输入特征的空间维度，该过程生成维度为R
C
×1×1的四个特征，即Avgpool(F
up
)，Maxpool(F
up
)，AvgPool(F
low
)，MaxPool(F
low
)，然后，沿着通道轴采用Concat操作来拼接这四个特征以得到F
cat
，并执行Conv运算和Sigmoid运算最终得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力模型的轻量级语义分割网络构建方法，其特征在于，包括以下步骤：步骤1：输入图像，使用一个通用的轻量级网络作为编码器来提取分层特征；步骤2：采用上下文嵌入块对长距离依赖关系进行建模,将编码器的输出特征作为输入；步骤3：利用CSAM模块融合多层次特征并输出结果图像；步骤4：执行Conv
‑
BN
‑
Relu操作，并进行上采样操作将特征大小扩展到输入图像的大小，我们采用argmax操作来预测每个像素的标签。2.根据权利要求1所述的基于注意力模型的轻量级语义分割网络构建方法，其特征在于，步骤3所述CSAM模块采用了双CSAM，所述CSAM是空间注意力模块和通道注意力模块相结合的结构。3.根据权利要求2所述的基于注意力模型的轻量级语义分割网络构建方法，其特征在于，步骤3包括：3.1：CSAM利用双线性插值的方法将F
high
上采样到F
low
的相同的大小，获得F
up
；3.2：将F
up
和F
low
作为输入，并在空间注意力模块和通道注意力模块分别产生权重α1和α2；3.3：对加权特征进行元素级加法操作，并输出融合特征F
out
。4.根据权利要求3所述的基于注意力模型的轻量级语义分割网络构建方法，其特征在于，第一个CSAM中上下文嵌入块的输出结果为F
high
，编码器提取的低级特征1/16为F
low
，第二个CSAM中前一个CSAM的输出结果为F
high
，编码器提取的低级特征1/8为F
low
。5.根据权利要求3所述的基于注意力模型的轻量级语义分割网络构建方法，其特征在于，空间注意力模块中给定输入特征，即F
up
∈R
C
×
H
×...

【专利技术属性】
技术研发人员：曹宇，姜明新，王梓轩，甘峰瑞，陆易，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：