一种基于编解码结构的多模态遥感图像语义分割方法技术

本发明专利技术公开了一种基于编解码结构的多模态遥感图像语义分割方法，包括步骤如下：S1，获取包含可见光图像、DSM图像和标签图的遥感图像数据集，对遥感图像数据集进行预处理后，按照设定的比例划分为训练集、验证集和测试集；S2，搭建基于编解码结构的多模态遥感图像语义分割网络；S3，将训练集和验证集输入至多模态遥感图像语义分割网络中训练，计算交叉熵损失函数并进行反向传播，更新网络参数，获取最佳参数模型；S4，将测试集输入到训练好的最佳参数模型中，输出遥感图像的精确分割图。本发明专利技术能实现上采样信息充分恢复，提高遥感图像分割准确率。准确率。准确率。

【技术实现步骤摘要】
一种基于编解码结构的多模态遥感图像语义分割方法


[0001]本专利技术涉及图像处理方法，尤其涉及一种基于编解码结构的多模态遥感图像语义分割方法。

技术介绍

[0002]近年来，深度卷积神经网络在语义分割等计算机视觉任务中展示了卓越的特征学习能力，并且在自然场景的分割任务中也取得了许多重大突破，但是与自然场景可见光图像不同，遥感图像具有复杂的光谱特征，并且目标多样、分布不均衡。仅利用可见光图像很难区分光谱特征相似的区域，高程信息的引入可以显著改善分类结果，如Audebert等人提出的V
‑
Fusenet对遥感图像的光谱数据和DSM数据进行特征提取，并采用元素相加的方式进行融合，张文凯等人提出多源特征自适应融合网络MSFAFNet也显著提高了遥感图像的分割效果，但分割效果仍有提升空间。
[0003]可见光图像与高程数据的特征分布差异较大，简单的融合方式不能有效处理两种模态融合时的噪声，使得融合效果不佳。

技术实现思路

[0004]专利技术目的：本专利技术的目的是提供一种能融合遥感图像的多模态信息、改善遥感图像分割效果的基于编解码结构的多模态遥感图像语义分割方法。
[0005]技术方案：本专利技术的多模态遥感图像语义分割方法，包括步骤如下：
[0006]S1，获取包含可见光图像、DSM图像和标签图的遥感图像数据集，对遥感图像数据集进行预处理后，按照设定的比例划分为训练集、验证集和测试集；
[0007]S2，搭建基于编解码结构的多模态遥感图像语义分割网络；r/>[0008]S3，将训练集和验证集输入至多模态遥感图像语义分割网络中训练，计算交叉熵损失函数并进行反向传播，更新网络参数，获取最佳参数模型；
[0009]S4，将测试集输入到训练好的最佳参数模型中，输出遥感图像的精确分割图。
[0010]进一步，步骤S1中，将遥感图像数据集中的IRRG图、DSM图和标签图按顺序、同时裁剪为224
×
224大小的子图像；并将子图像数据集随机分为三个部分：训练集占80％，验证集占10％，测试集占10％。
[0011]进一步，步骤S2中，所述多模态遥感图像语义分割网络包括编码模块、模态融合块、全局特征提取模块和解码模块；
[0012]所述编码模块包括两个主干网络和Add模块，实现IRRG图像和DSM图像从低层细节特征到高层语义特征的分层特征提取和特征融合；
[0013]所述模态融合块通过卷积操作从空间和通道的角度重新校准IRRG图像和DSM图像的特征映射，将DSM图像应用到IRRG图像特征中，实现多模态特征融合；
[0014]所述全局特征提取模块通过卷积操作将全局上下文信息添加到所有位置来捕获远程依赖，实现全局特征提取；
[0015]所述解码模块完成上采样特征融合和恢复，实现网络对遥感图像的精准语义分割。
[0016]进一步，步骤S2中，所述多模态遥感图像语义分割网络的实现步骤如下：
[0017]S21，将IRRG图像和DSM图像分别输入编码模块，分别得到DSM特征图和融合后的IRRG特征图；
[0018]S22，将多模态特征图经过模态融合块处理后，得到融合多模态信息的特征图；
[0019]S23，将融合多模态信息的特征图经过全局特征提取模块处理后，得到具有更多深层信息的全局特征图；
[0020]S24，将全局特征图和融合后的IRRG特征图经过解码模块处理，得到遥感分割图。
[0021]进一步，步骤S23中，先对融合特征图进行两次卷积操作实现网络的深层特征提取，再采用Sigmoid函数获取全局像素权重，最后对融合特征图进行加权操作输出全局特征图。
[0022]进一步，步骤S3中，获取最佳参数模型的具体实现步骤如下：
[0023]S31，对遥感图像语义分割网络进行参数随机初始化，将训练集和验证集数据输入多模态遥感图像语义分割网络，生成遥感图像的语义分割概率图，计算交叉熵损失；
[0024]S32，交叉熵损失反向传播，更新网络参数，以损失函数最小作为优化目标，获取最佳参数模型并保存。
[0025]本专利技术与现有技术相比，其显著效果如下：
[0026]1、本专利技术的模态融合块从空间和通道角度捕获多模态特征之间的映射关系，动态的利用高程信息校准光谱特征，使DSM特征从空间和通道方向上对光谱特征进行强化，有效融合光谱特征和高程特征，同时避免冗余特征和过多噪声对图像分割产生影响，提高遥感图像分割效率；
[0027]2、本专利技术的全局特征提取模块对注意力机制进行改进，直接对全局上下文进行建模，从全局角度进一步提取深层语义信息，同时过滤多模态融合产生的冗余信息，进一步提高遥感图像分割准确率；
[0028]3、本专利技术采用多个解码器组成的解码模块，用高层特征对较高层特征进行加权，得到新的特征；再用新的特征对低层特征进行加权，使低层特征在上采样过程中不断获得高层特征丰富的指导信息，实现上采样信息充分恢复，提高遥感图像分割准确率。
附图说明
[0029]图1为本专利技术的流程示意图；
[0030]图2为本专利技术的多模态遥感图像语义分割模型结构图；
[0031]图3为本专利技术的编码模块的结构图；
[0032]图4为本专利技术的模态融合块的结构图；
[0033]图5为本专利技术的全局特征提取模块的结构图；
[0034]图6为本专利技术的解码模块的结构图；
[0035]图7中的(a)列为输入的DSM图像示意图，
[0036](b)列为输入的IRRG图像示意图，
[0037](c)列为输入的标签图，
[0038](d)列为V
‑
Fusenet网络的分割结果图，
[0039](e)列为MSFAFNet网络的分割结果图，
[0040](f)列为本专利技术的分割结果图。
具体实施方式
[0041]下面结合说明书附图和具体实施方式对本专利技术做进一步详细描述。
[0042]本实施例提供的基于编解码结构的多模态遥感图像语义分割方法，如图1所示，包括以下步骤：
[0043]步骤1，获取Potsdam遥感图像数据集，包含可见光图像、DSM图像和对应标签图，对数据集进行预处理后按照设定的比例划分为训练集、验证集和测试集。
[0044]获取数据集、数据集预处理和划分数据集的具体实现如下：
[0045]获取数据集具体为：获取ISPRS中的Potsdam遥感数据集，包含IRRG图、DSM图和标签图，尺寸大小为6000
×
6000；
[0046]数据集预处理具体为：将Potsdam数据集中的IRRG图、DSM图和标签图按顺序同时裁剪为224
×
224大小的子图像，避免区域重叠；
[0047]划分数据集具体为：将224
×
224大小的数据集随机分为三个部分，其中训练集占80％，验证集占10％，测试集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于编解码结构的多模态遥感图像语义分割方法，其特征在于，包括步骤如下：S1，获取包含可见光图像、DSM图像和标签图的遥感图像数据集，对遥感图像数据集进行预处理后，按照设定的比例划分为训练集、验证集和测试集；S2，搭建基于编解码结构的多模态遥感图像语义分割网络；S3，将训练集和验证集输入至多模态遥感图像语义分割网络中训练，计算交叉熵损失函数并进行反向传播，更新网络参数，获取最佳参数模型；S4，将测试集输入到训练好的最佳参数模型中，输出遥感图像的精确分割图。2.根据权利要求1所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S1中，将遥感图像数据集中的IRRG图、DSM图和标签图按顺序、同时裁剪为224
×
224大小的子图像；并将子图像数据集随机分为三个部分：训练集占80％，验证集占10％，测试集占10％。3.根据权利要求1所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S2中，所述多模态遥感图像语义分割网络包括编码模块、模态融合块、全局特征提取模块和解码模块；所述编码模块包括两个主干网络和Add模块，实现IRRG图像和DSM图像从低层细节特征到高层语义特征的分层特征提取和特征融合；所述模态融合块通过卷积操作从空间和通道的角度重新校准IRRG图像和DSM图像的特征映射，将DSM图像应用到IRRG图像特征中，实现多模态特征融合；所述全局特征提取模块通过卷积...

【专利技术属性】
技术研发人员：吉茹，张银胜，张培琰，杨宇龙，周乐佳，胡宇翔，龙见洋，
申请(专利权)人：无锡学院，
类型：发明
国别省市：