一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统技术方案

本发明专利技术提出了一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统。首先通过分析模态间和模态内的潜在关系，提出高频信息对应模态内特有特征，低频信息对应模态间共享特征的假设，对多模态间关系进行建模，以实现有效的特征提取，为后续特征融合奠定基础。同时，基于模态内特有特征不相关，而模态间共享特征相关的准则，对提取的特有特征和共享特征进行关联约束，以实现进一步优化特征融合过程，并引导优化特征提取过程。基于特征提取和特征融合过程的互促进，实现多模态特征的有效提取，以完成输入模态缺失场景下的高精度、鲁棒性多模态融合学习。最后通过实验证明本发明专利技术的总体地物分类精度优于已有方法的结果。

【技术实现步骤摘要】

本专利技术属于计算机视觉与深度学习，涉及一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，适用于模态缺失场景下的鲁棒性地物分类应用场景。

技术介绍

1、遥感图像地物分类被广泛应用于环境监测和地物分析等地球观测任务，是后续基于遥感图像的识别、分割任务的基础。因此，如何实现高精度鲁棒性的遥感图像地物分类十分关键。针对基于单一模态数据的遥感图像地物分类方法的研究已久，并取得了较好的效果，然而这类方法的分类精度受限于输入模态数据能够提供的有效信息。例如，高光谱(hyperspectral，hs)和多光谱(multispectral,ms)数据能够反映探测目标的材质信息，但难以区分同一材质的不同物体；激光雷达(light detection and ranging,lidar)和数字表面模型(digital surface model,dsm)包含地物的海拔高度信息，却难以区分空间结构相似的地物；合成孔径雷达(synthetic aperture radar,sar)可以提供地球的表面结构信息，但图像解译难度大。近年来，基于多模态遥感数据融合的地物分类方法在计算本文档来自技高网...

【技术保护点】

1.一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于，包括如下步骤：

2.如权利要求1所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：步骤一所述的归一化处理指线性归一化处理，用于将数据缩放至[0,1]区间内，表示为：

3.如权利要求1所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：所述的初始化编码器由残差卷积模块实现，残差卷积模块包括1×1卷积层，BatchNorm归一化层，ReLU激活函数层，3×3卷积层，BatchNorm归一化层，ReLU激活函数层，1×1卷积层，BatchNorm归一化层，ReLU...

【技术特征摘要】

1.一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于，包括如下步骤：

2.如权利要求1所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：步骤一所述的归一化处理指线性归一化处理，用于将数据缩放至[0,1]区间内，表示为：

3.如权利要求1所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：所述的初始化编码器由残差卷积模块实现，残差卷积模块包括1×1卷积层，batchnorm归一化层，relu激活函数层，3×3卷积层，batchnorm归一化层，relu激活函数层，1×1卷积层，batchnorm归一化层，relu激活函数层和一个残差分支；所述的残差分支包括1×1卷积层，batchnorm归一化层，分支的输入是输入初始化编码器的数据块，分支的输出与残差卷积模块中最后一个relu激活函数层的输入特征相加，其中，relu激活函数为：

4.如权利要求3所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：在初始化编码器中，将经过归一化和剪裁的数据块作为输入，经过残差卷积模块运算，得到模态基特征，实现过程表示为：

5.如权利要求3所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：所述的特有编码器由残差卷积模块实现，在特有编码器中，将模态基特征作为输入，经过残差卷积模块，得到模态内特有特征，实现过程可表示为：

6.如权利要求1所述一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于：所述的共享编码器由若干个convnext卷积模块和卷积模块依次交错连接组成；所述的convnext卷积模块包括7×7...

【专利技术属性】
技术研发人员：彭依妮，田昕，刘芮，
申请(专利权)人：武汉大学，
类型：发明
国别省市：