一种基于双注意力机制融合的FDA-DeepLab语义分割算法制造技术

本发明专利技术设计了一种基于双注意力机制融合的FDA

【技术实现步骤摘要】
一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法


[0001]本专利技术涉及一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法，属于图像处理领域。

技术介绍

[0002]在传统的语义分割问题上，存在着这样几个挑战：传统分类CNN中连续的下采样操作，导致特征图的分辨率不断下降。多尺度检测问题，一般是重新调节尺度并聚合特征图，该操作计算量较大。为了解决这些问题，DeepLab模型应运而生。而DeepLabv3+模型又是DeepLab模型通过不断发展得到的。DeepLabv3+模型把DeepLabv3作为Encoder部分，提取多尺度特征。在此基础上加入了Decoder部分，形成了一种融合ASPP、Encoder和Decoder的新方法，能够有效改善分割结构的物体边界。但在实际过程中存在以下几个问题：
[0003]1、对相似对象容易误判。
[0004]2、小目标容易遗漏。
[0005]3、边界分割误差大。
[0006]4、预测输出存在空洞。

技术实现思路

[0007]专利技术目的：针对上述现有技术存在的问题，本专利技术提供了一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法，主要目标是解决了原始DeepLabv3+模型分割出的物体存在断裂和空洞的问题；解决了原始DeepLabv3+模型对图像边界分割误差大的问题；解决了原始DeepLabv3+模型对相似对象容易误判的问题；解决了实际训练过程中可能存在的数据集样本类别不平衡以及样本分类难度不平衡问题。
[0008]技术方案：
[0009]一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法，其特征在于，包括以下步骤：
[0010]步骤1：按照DeepLabv3+模型框架搭建特征提取网络和空间金字塔池化ASPP模块；
[0011]步骤2：设计双注意力机制特征融合模块；
[0012]步骤3：基于双注意力机制特征融合模块，设计特征融合模块；
[0013]步骤4：对特征融合模块得到的输出图像进行深度可分离卷积和上采样，模型搭建完毕；
[0014]步骤5：训练模型，改进损失函数对训练进行优化，对比不同模型性能。
[0015]所述步骤1包括：
[0016]步骤1.1：采用ResNet
‑
50卷积神经网络模型，搭建特征提取网络，得到下采样率为4、8、16的低级特征图。
[0017]步骤1.2：在特征提取网络后搭建空间金字塔池化ASPP模块，得到高级特征图。
[0018]所述步骤2包括：
[0019]步骤2.1：设对于同一个双注意力机制融合模块，低分辨率特征图输入为U
LI
，特征图分辨率为H
′×
W
′
，高分辨率特征图输入为U
HI
，特征图分辨率为H
×
W；
[0020]步骤2.2：对U
LI
进行上采样操作得到U
L
′
I
′
，使U
L
′
I
′
分辨率与U
HI
一致，即分辨率变为H
×
W。公式如下：
[0021]U
L'I'
＝f
up
(U
LI
),U
L'I'
∈H
×
W
×
C
[0022]式中，f
up
表示上采样操作，一般采用双线性插值方法；
[0023]步骤2.3：对U
L
′
I
′
进行通道注意力操作，得到U
LI
′
，对U
HI
进行空间注意力操作，得到权重F
S
。将权重F
S
与U
LI
′
相乘，得到U
LO
′
。公式如下：
[0024]U
LI
′
＝f(W
R
*z)*U
L
′
I
′
[0025]F
S
＝[f(s
1,1
),f(s
1,2
),
…
,f(s
i,j
),
…
,f(s
H,W
)][0026][0027]式中，f()表示Sigmoid函数，s为映射特征，W
R
为对应卷积操作的参数，z为压缩特征；
[0028]步骤2.4：把U
LO
′
和U
HI
相加，并在后面加上一个1
×
1卷积核降维。公式如下：
[0029]U
O
＝c(U
LO'
+U
HI
)
[0030]式中，c表示1
×
1卷积操作。
[0031]所述步骤3包括：
[0032]步骤3.1：把步骤1.1得到的下采样率为16的低级特征图和步骤1.2得到的高级特征图通过步骤2设计的双注意力机制特征融合模块得到输出特征图1；
[0033]步骤3.2：把步骤1.1得到的下采样率为8的低级特征图和步骤3.1得到的输出特征图1通过步骤2设计的双注意力机制特征融合模块得到输出特征图2；
[0034]步骤3.3：把步骤1.1得到的下采样率为4的低级特征图和步骤3.2得到的输出特征图2通过步骤2设计的双注意力机制特征融合模块得到输出特征图3；
[0035]所述步骤4包括：
[0036]步骤4.1：对步骤3.3得到的输出特征图3进行卷积核为3
×
3的深度可分离卷积和4倍上采样。
[0037]所述步骤5包括：
[0038]步骤5.1：对模型进行训练。采用在ImageNet数据集上预先训练好的ResNet
‑
50预训练模型对FDA
‑
DeepLab骨干模型进行初始化。设置批处理大小为10，迭代步数为40000，基础特征提取网络总的下采样倍数为16，初始学习率为0.007，训练数据大小为513
×
513，采用“poly”学习率策略。
[0039]步骤5.2：改进损失函数对训练进行优化。采用焦点损失函数代替常规的交叉熵损失函数，公式如下：
[0040]L
FL
(p
t
)＝
‑
α
t
(1
‑
p
t
)
γ
log p
t
[0041]式中，α为类别间(0
‑
1二分类)的权重参数，(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法，其特征在于，包括以下步骤：步骤1：按照DeepLabv3+模型框架搭建特征提取网络和空间金字塔池化ASPP模块；步骤2：设计双注意力机制特征融合模块；步骤3：基于双注意力机制特征融合模块，设计特征融合模块；步骤4：对特征融合模块得到的输出图像进行深度可分离卷积和上采样，模型搭建完毕；步骤5：训练模型，改进损失函数对训练进行优化，对比不同模型性能。2.根据权利要求1所述的一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法，其特征在于，所述步骤1包括如下步骤：步骤1.1：采用ResNet
‑
50卷积神经网络模型，搭建特征提取网络，得到下采样率为4、8、16的低级特征图；步骤1.2：在特征提取网络后搭建空间金字塔池化ASPP模块，得到高级特征图。3.根据权利要求2所述的一种基于双注意力机制融合的FDA
‑
DeepLab语义分割算法，其特征在于，所述步骤2包括如下步骤：步骤2.1：设对于同一个双注意力机制融合模块，低分辨率特征图输入为U
LI
，特征图分辨率为H
′×
W
′
，高分辨率特征图输入为U
HI
，特征图分辨率为H
×
W；步骤2.2：对U
LI
进行上采样操作得到U
L
′
I
′
，使U
L
′
I
′
分辨率与U
HI
一致，即分辨率变为H
×
W。；公式如下：U
L'I'
＝f
up
(U
LI
),U
L'I'
∈H
×
W
×
C式中，f
up
表示上采样操作，一般采用双线性插值方法；步骤2.3：对U
L
′
I
′
进行通道注意力操作，得到U
LI
′
，对U
HI
进行空间注意力操作，得到权重F
S
。；将权重F
S
与U
LI
′
相乘，得到U
LO
′
。；公式如下：U
LI
′
＝f(W
R
*z)*U
L
′
I
′
F
S
＝[f(s
1,1
),f(s
1,2
),
…
,f(s<...

【专利技术属性】
技术研发人员：张小国，滕浩，丁立早，杜文俊，王琦，
申请(专利权)人：东南大学，
类型：发明
国别省市：