一种基于轻量级交叉注意网络的实时语义分割的方法技术

本发明专利技术涉及一种基于轻量级交叉注意网络的实时语义分割的方法，包括：准备训练、测试用的图像数据集；构建基于交叉注意机制的轻量级实时语义分割网络，包括编码器和解码器，编码器仅去除ResNet18尾部的全连接层以后的部分，其余部分保持不变，解码器包括两个CSCA模块和一个CAB模块；使用训练好的网络模型得到图像语义分割结果。本发明专利技术提出的CSCA模块使用条状交叉亲和运算来生成通道注意力权重向量，以实现经济的浅层特征选择及多尺度特征混合，从而使网络的分割轮廓更清晰，引入解码器的噪声更小；CAB模块通过捕获水平和垂直空间维度之间的交叉信息以获取远程交叉上下文信息，有效地消除了卷积神经网络(CNN)无法捕获远程上下文信息的限制。信息的限制。信息的限制。

【技术实现步骤摘要】
一种基于轻量级交叉注意网络的实时语义分割的方法


[0001]本专利技术属于语义分割
，具体涉及一种基于轻量级交叉注意网络的实时语义分割的方法。

技术介绍

[0002]语义分割是计算机视觉的重要组成部分，旨在将图像的每个像素分类到一个相对类中，可以视作是密集分类任务。由于卷积神经网络(CNN)的发展，语义分割近年来取得了很大的进展。如何获取空间信息、捕获长范围依赖信息是进一步提高语义分割准确性的关键因素，也是许多研究人员所研究的重点。
[0003]针对空间信息丢失过多的问题，降低下采样率和使用多尺度特征混合是被广泛使用的策略。在语义分割领域，低的下采样率意味着高的计算复杂度和窄的视野。因此，大多数网络都采用多尺度特征混合以高效地获取空间信息。例如，FCN在解码器部分注入多尺度特征，UNet和LinkNet密集地将编码器的低级特征混淆到相应的解码器中。不同的是，为了在提取深层特征时保留空间细节，DAFNet在编码过程中不断加入多尺度特征。这些模型的多尺度特征混合过于粗糙，不可避免地将低级特征的噪声引入模型中，使分割结果变差。为了在没有噪声的情况下收集低级特征的空间信息，RefineNet在解码器部分使用复杂的混合处理模块以抑制浅层特征的噪声。显然，RefineNet是以高计算复杂度为代价实现精细的多尺度特征混和。为了有效混合多尺度特征，LRefineNet将RefineNet中残余卷积单元(RCU)和链式残差块(CRB)的3
×
3卷积层替换为1
×
1卷积，但是LRefineNet的多尺度特征混合极致依然占用极大地计算和存储资源。通过上述观察发现，有选择地使用多尺度特征混合是获取充足空间信息的有效途径。
[0004]对于CNN只能捕获局部上下文信息的固有局限性问题，全局平均池化和注意力机制是解决这一问题的有效策略。PSPNet在编码器的尾部引入了金字塔池化模块(PPM)以捕获并行池化层中的多尺度特征，生成通道级的上下文依赖信息。DeepLabV2引入了多孔空间金字塔池化(ASPP)模块，将捕获的多尺度特征融合从而形成上下文依赖信息。这些方法捕获的上下文信息可以看作是通道级的信息依赖，不但降低了网络的实时性，而且捕获的上下文信息有局限性(通道级上下文信息)。为了捕获长范围的上下文信息，NL引入了自注意力机制来获得足够的长范围依赖信息。然而，NL需要大量的内存和计算资源，不利于提高模型的实时推理能力。为了解决NL的问题，ANL利用PPM生成多尺度权重向量，极大地减少注意力机制的计算量和内存占用。类似地，AtteNet使用条状全局池化生成条状的注意力特征，降低了注意力机制对内存的使用需求。但是以上两种上下文信息捕获方式中无论是通道级的上下文信息捕获，还是捕获整体特征映射上下文信息的注意力机制，它们都只聚合同一空间维度的上下文信息，而不关注交叉空间维度的上下文信息。同一维度的两个特征图得到的亲和矩阵趋于不变，不利于获得清晰的分割轮廓，即相同空间维度的亲和运算只是空间信息的积累，不可能获得空间维度的交叉信息。
[0005]目前的语义分割存在空间信息丢失严重、远程依赖信息缺乏的问题，阻碍了语义
分割的进一步发展。

技术实现思路

[0006]本专利技术针对现有技术的不足，提供一种基于轻量级交叉注意网络的实时语义分割的方法，利用CSCA模块使用条状交叉附属运算生成通道注意力权重向量，用很少的工作量实现了通道特征混淆，并在解码器的尾部引入CAB模块，通过捕获水平和垂直空间维度之间的交叉信息以获取远程交叉上下文信息。
[0007]为了达到上述目的，本专利技术提供的技术方案是一种基于轻量级交叉注意网络的实时语义分割的方法，包括以下步骤：
[0008]步骤1，准备图像数据集用于训练和测试；
[0009]步骤2，构建基于交叉注意机制的轻量级实时语义分割网络；
[0010]步骤3，使用训练集图像对轻量级实时语义分割网络模型进行训练；
[0011]步骤4，使用步骤3训练好的网络模型对测试集图像进行分割，得到图像语义分割结果。
[0012]而且，所述步骤1对训练集中的图像进行缩放、上下、左右翻转、随机裁剪、随机旋转来扩充数据集。
[0013]而且，所述步骤2中构建的基于交叉注意机制的轻量级实时语义分割网络，包括编码器和解码器，编码器仅去除ResNet18尾部的全连接层以后的部分，其余部分保持不变，解码器包括两个CSCA模块、一个CAB模块和一个分类器。第一个CSCA模块以浅层特征块Block3和深层特征块Block4的输出作为多尺度输入特征，第二个CSCA模块以浅层特征块Block2和第一个CSCA模块的输出作为多尺度输入特征。分类器采用一层1
×
1卷积和8倍的双线性上采样构成。
[0014]将编码器Block2、Block3、Block4、两个CSCA模块和CAB模块的输出作为网络的辅助损耗分支，将每个辅助损失分支的标签缩放到相应的特征分辨率，辅助损耗分支包含两个卷积层，每个辅助损失分支中的第一层3
×
3卷积压缩通道到32，第二层1
×
1卷积压缩为类别数。使用辅助监督的形式优化网络，网络损耗的计算方式如下：
[0015][0016]式中，L表示网络总损耗，L
main
表示主分支损耗，L
aux
表示辅助损耗分支的损耗，所有损耗函数均为交叉熵损耗函数，λ为各辅助损耗分支的权重。
[0017]CSCA模块的输入包括深层特征和浅层特征，对深层特征应用水平全局平均池化HGAP生成条状垂直空间向量Z∈R
H
×
C
，对浅层特征应用垂直全局平均池化VGAP生成条状水平空间向量H∈R
W
×
C
，CSCA模块通过条状水平空间向量H∈R
W
×
C
和条状垂直空间向量Z∈R
H
×
C
的亲和运算生成通道权重向量ω∈R
C
×
C
，并利用通道权重向量ω∈R
C
×
C
选择浅层特征的空间信息。权重向量ω的计算公式如下：
[0018][0019]式中，ω∈R
C
×
C
表示通道权重向量，H和W分别表示特征映射的高和宽，表示第C个通道的垂直转置空间向量的点S，H
S,C
∈R
W
×
C
表示第C个通道的水平空间向量的点S,H
n,C
∈R
W
×
C
表示第C个通道的水平空间向量的点n。
[0020]最终的浅层特征空间信息提取和多尺度特征混合可表示为下式：
[0021][0022]式中，N为特征映射的高H和宽W的乘积；C表示通道数；ω
i
表示第i个通道权重向量；是浅层特征L∈R
HW...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级交叉注意网络的实时语义分割的方法，其特征在于，包括以下步骤：步骤1，准备图像数据集用于训练和测试；步骤2，构建基于交叉注意机制的轻量级实时语义分割网络，包括编码器和解码器，编码器仅去除ResNet18尾部的全连接层以后的部分，其余部分保持不变，解码器包括两个CSCA模块、一个CAB模块和一个分类器，CSCA模块对输入的深层特征应用水平全局平均池化生成条状垂直空间向量，对浅层特征应用垂直全局平均池化生成条状水平空间向量，通过条状水平空间向量和条状垂直空间向量的亲和运算生成通道权重向量，进而利用通道权重向量选择浅层特征的空间信息；CAB模块是将三个特征图1
×
1卷积层应用于特征图，分别生成查询特征图、关键特征图和值特征图，查询特征图和关键特征图执行交叉亲和操作得到交叉亲和矩阵，交叉亲和矩阵和值特征图执行交叉亲和操作得到融合特征；分类器采用一层1
×
1卷积和8倍的双线性上采样构成；步骤3，使用训练集图像对轻量级实时语义分割网络模型进行训练；步骤4，使用步骤3训练好的网络模型对测试集图像进行分割，得到图像语义分割结果。2.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法，其特征在于：步骤1中对训练集中的图像进行缩放、上下、左右翻转、随机裁剪、随机旋转来扩充数据集。3.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法，其特征在于：步骤2中基于交叉注意机制的轻量级实时语义分割网络解码部分包括两个CSCA模块，第一个CSCA模块以浅层特征块Block3和深层特征块Block4的输出作为多尺度输入特征，第二个CSCA模块以浅层特征块Block2和第一个CSCA模块的输出作为多尺度输入特征；将编码器Block2、Block3、Block4、两个CSCA模块和CAB模块的输出作为网络的辅助损耗分支，将每个辅助损失分支的标签缩放到相应的特征分辨率，辅助损耗分支包含两个卷积层，每个辅助损失分支中的第一层3
×
3卷积压缩通道到32，第二层1
×
1卷积压缩为类别数；使用辅助监督的形式优化网络，网络损耗的计算方式如下：式中，L表示网络总损耗，L
main
表示主分支损耗，L
aux
表示辅助损耗分支的损耗，所有损耗函数均为交叉熵损耗函数，λ为各辅助损耗分支的权重。4.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法，其特征在于：步骤2中CSCA模块的输入包括深层特征和浅层特征，对深层特征应用水平全局平均池化HGAP生成条状垂直空间向量Z∈R
H
×
C
，对浅层特征应用垂直全局平均池化VGAP生成条状水平空间向量H∈R
W
×
C
，CSCA模块通过条状水平空间向量H∈R
W
×
C
和条状垂直空间向量Z∈R
H
×
C
的亲和运算生成通道权重向量ω∈R
C
×
C
，并利用通道权重向量ω∈R
C
×
C
选择浅层特征的空间信息，权重向量ω的计算公式如下：式中，ω∈R
C
×
C
表示通道权重向量，H和W分别表示特征映射的高和宽，Z
C
T
,S
∈R
C
×
H
表示第
C个通道的垂直转置空间向量的点S，H
S,C
∈R
...

【专利技术属性】
技术研发人员：王娟，袁旭亮，叶永钢，张则涛，刘子杉，郭力权，陈关海，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：