基于多尺度注意力机制的地物分类方法、装置、电子设备及介质制造方法及图纸

本申请涉及图像处理的领域，尤其是涉及一种基于多尺度注意力机制的地物分类方法、装置、电子设备及介质。方法包括：获取输入图像；将输入图像输入至深度卷积神经网络，生成高级语义特征和低级语义特征；将所述高级语义特征输入至空洞金字塔化模块，生成特征图；将所述低级语义特征输入至第二双注意力机制模块，生成特征图；基于所述特征图和所述特征图生成预测图像；其中，所述第二双注意力机制模块包括第二空间注意力模块和第二通道注意力模块。本申请具有通过双注意力机制的第二双注意力机制模块能够对充分提取低级语义特征中的特征信息，提升网络分割精度。提升网络分割精度。提升网络分割精度。

【技术实现步骤摘要】
基于多尺度注意力机制的地物分类方法、装置、电子设备及介质


[0001]本申请涉及图像处理的领域，尤其是涉及基于多尺度注意力机制的地物分类方法、装置、电子设备及介质。

技术介绍

[0002]遥感影像地物分类作为遥感影像解译的基石，在土地数据更新、地物观测、变化检测等领域都有着十分重要的作用。遥感影像地物分类的目的是对影像中的每个像素点进行类别归属，即把影像中所包含的每个类别都准确地从原图中标记出来。
[0003]得益于计算机图像领域深度学习的发展，遥感图像地表覆盖分类从传统的人工设计特征方法逐渐提升为自动学习的深度特征提取方法；深度学习网络以层次化的方式从遥感图像中提取区分性的高级语义特征，用于地物识别，取得了比传统方法更优的分类精度。
[0004]但是，由于遥感影像的背景复杂、目标多样且大小不一致、幅宽大等特点，使得现有语义分割网络在遥感影像上呈现出拟合速度慢，边缘目标分割不精确，大尺度目标分割类内不一致、存在孔洞等缺陷，给遥感目标检测带来巨大挑战。

技术实现思路

[0005]为了提升对遥感影像地物分类的准确性，本申请提供基于多尺度注意力机制的地物分类方法、装置、电子设备及介质。
[0006]第一方面，本申请提供一种基于多尺度注意力机制的地物分类方法，采用如下的技术方案：一种基于多尺度注意力机制的地物分类方法，包括：获取输入图像；将输入图像输入至深度卷积神经网络，生成高级语义特征和低级语义特征；将所述高级语义特征输入至空洞金字塔池化模块，生成特征图；将所述低级语义特征输入至第二双注意力机制模块，生成特征图；基于所述特征图和所述特征图生成预测图像；其中，所述第二双注意力机制模块包括第二空间注意力模块和第二通道注意力模块。
[0007]通过采用上述技术方案，深度卷积神经网络用于特征信息提取，低级特征图具有丰富的空间信息和细粒度细节，第二空间注意力模块能够模拟出丰富的全局特征间的上下文关系，从而使不同位置同类特征相互增强，提高语义分割能力；第二通道注意力模块能够提取的不同通道的高层语义特征图是某个特定类别的预测，且不同类别的语义之间具有特定的联系，通过利用不同通道特征图之间的相互联系，可以突出相互联系的特征图并且使特定的语义特征得到促进，通道注意力模块可以模拟出不同特征图之间的长期语义依赖，加强特征表示，通过双注意力机制的第二双注意力机制模块能够对充分提取低级语义特征
中的特征信息，提升网络分割精度。
[0008]在一种可能的实现方式中，将所述低级语义特征输入至第二双注意力机制模块，生成特征图，包括：将低级语义特征进行1
×
1卷积后生成低级特征图；将低级特征图进行1
×
1卷积生成特征图；将特征图输入至第二空间注意力模块，通过第二空间注意力模块对特征图经过3
×
3卷积、激活函数后生成特征图，将特征图经过两个堆叠的3
×
3卷积、激活函数后生成特征图；将特征图经过三个堆叠的3
×
3卷积、激活函数后生成特征图；将特征图、特征图、特征图融合后，经激活函数、1
×
1卷积生成特征图；将特征图经过全局池化层、全连接层、激活函数、全连接层以及激活函数后，生成特图；将特征图、特征图以及低级特征图相乘后，生成特征图；将特征图与低级特征图相加，融合生成特征图。
[0009]在一种可能的实现方式中，基于所述特征图和所述特征图生成预测图像，包括：将特征图经过上采样后与特征图融合，生成特征图；将特征图经过3
×
3卷积，生成特征图；将特征图输入至第三双注意力机制模块，生成特征图；特征图经过上采样生成预测图像。
[0010]在一种可能的实现方式中，将特征图输入至第三双注意力机制模块，生成特征图，包括：将特征图经过1
×
1卷积后生成特征图；将特征图输入至第三空间注意力模块，通过第三空间注意力模块对特征图输入分别经过多个扩张率不同的3
×
3卷积进行卷积，生成多个不同的特征图（每个i与每个扩张率对应）；将多个特征图融合后、经过激活函数、1
×
1卷积后生成特征图；将特征图输入至第三SEnet网络模型，通过第三SEnet网络模型对特征图进行全局池化、全连接、激活函数、全连接后、归一化后，生成特征图；将特征图、特征图以及特征图相乘，生成特征图；将特征图与特征图逐元素相加后，生成特征图。
[0011]在一种可能的实现方式中，将所述高级语义特征输入至空洞金字塔池化模块，生成特征图，包括：将高级语义特征输入至第一空间注意力模块10，通过第一空间注意力模块10对高级语义特征进行1
×
1卷积、3
×
3卷积、1
×
7卷积、7
×
1卷积、最大值池化后，生成第一空间注意力特征；将高级语义特征的输入至第一通道注意力模块11，通过第一通道注意力模块11将高级语义特征的维度降低到输入的 1/16，然后经过 ReLu 激活后、再通过一个全连接层升回到原来的维度，生成第一通道注意力特征；基于高级语义特征、第一通道注意力特征、第一空间注意力特征生成特征图；将特征图输入至金字塔池化模块，生成特征图。
[0012]第二方面，本申请提供一种基于多尺度注意力机制的地物分类装置，采用如下的
技术方案：一种基于多尺度注意力机制的地物分类装置，包括：获取模块，用于获取输入图像；特征提取模块，用于将输入图像输入至深度卷积神经网络，生成高级语义特征和低级语义特征；多尺度提取模块，用于将所述高级语义特征输入至空洞金字塔池化模块，生成特征图；解码模块，用于将所述低级语义特征输入至第二双注意力机制模块，生成特征图；生成模块，用于基于所述特征图和所述特征图生成预测图像；其中，所述第二双注意力机制模块包括第二空间注意力模块和第二通道注意力模块。
[0013]在一种可能的实现方式中，解码模块在将所述低级语义特征输入至第二双注意力机制模块，生成特征图时，具体用于：将低级语义特征进行1
×
1卷积后生成低级特征图；将低级特征图进行1
×
1卷积生成特征图；将特征图输入至第二空间注意力模块，通过第二空间注意力模块对特征图经过3
×
3卷积、激活函数后生成特征图，将特征图经过两个堆叠的3
×
3卷积、激活函数后生成特征图；将特征图经过三个堆叠的3
×
3卷积、激活函数后生成特征图；将特征图、特征图、特征图融合后，经激活函数、1
×
1卷积生成特征图；将特征图经过全局池化层、全连接层、激活函数、全连接层以及激活函数后，生成特图；将特征图、特征图以及低级特征图相乘后，生成特征图；将特征图与低级特征图相加，融合生成特征图。
[0014]在一种可能的实现方式中，所述生成模块在基于所述特征图和所述特征图生成预测图像时，具体用于：将特征图经过上采样后与特征图融合，生成特征图；将特征图经过3
×
3卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度注意力机制的地物分类方法，其特征在于，包括：获取输入图像；将输入图像输入至深度卷积神经网络，生成高级语义特征和低级语义特征；将所述高级语义特征输入至空洞金字塔池化模块，生成特征图；将所述低级语义特征输入至第二双注意力机制模块，生成特征图；基于所述特征图和所述特征图生成预测图像；其中，所述第二双注意力机制模块包括第二空间注意力模块和第二通道注意力模块。2.根据权利要求1所述的方法，其特征在于，将所述低级语义特征输入至第二双注意力机制模块，生成特征图，包括：将低级语义特征进行1
×
1卷积后生成低级特征图；将低级特征图进行1
×
1卷积生成特征图；将特征图输入至第二空间注意力模块，通过第二空间注意力模块对特征图经过3
×
3卷积、激活函数后生成特征图，将特征图经过两个堆叠的3
×
3卷积、激活函数后生成特征图；将特征图经过三个堆叠的3
×
3卷积、激活函数后生成特征图；将特征图、特征图、特征图融合后，经激活函数、1
×
1卷积生成特征图；将特征图经过全局池化层、全连接层、激活函数、全连接层以及激活函数后，生成特图；将特征图、特征图以及低级特征图相乘后，生成特征图；将特征图与低级特征图相加，融合生成特征图。3.根据权利要求1所述的方法，其特征在于，基于所述特征图和所述特征图生成预测图像，包括：将特征图经过上采样后与特征图融合，生成特征图；将特征图经过3
×
3卷积，生成特征图；将特征图输入至第三双注意力机制模块，生成特征图；特征图经过上采样生成预测图像。4.根据权利要求2所述的方法，其特征在于，将特征图输入至第三双注意力机制模块，生成特征图，包括：将特征图经过1
×
1卷积后生成特征图；将特征图输入至第三空间注意力模块，通过第三空间注意力模块对特征图输入分别经过多个扩张率不同的3
×
3卷积进行卷积，生成多个不同的特征图，其中，每个i与每个扩张率对应；将多个特征图融合后、经过激活函数、1
×
1卷积后生成特征图；将特征图输入至第三SEnet网络模型，通过第三SEnet网络模型对特征图进行全局池化、全连接、激活函数、全连接后、归一化后，生成特征图；将特征图、特征图以及特征图相乘，生成特征图；将特征图与特征图逐元素相加后，生成特征图。5.根据权利要求1所述的方法，其特征在于，将所述高级语义特征输入至空洞金字塔池化模块，生成特征图，包括：将高级语义特征输入至第一空间注意力模块（10），通过第一空间注意力模块（10...

【专利技术属性】
技术研发人员：张小璐，曹连雨，
申请(专利权)人：中科弘云科技北京有限公司，
类型：发明
国别省市：