基于多模态特征融合的滑坡与周边地物识别方法及系统技术方案

本发明专利技术提供一种基于多模态特征融合的滑坡与周边地物识别方法及系统，包括：获取待识别区域数据，所述待识别区域数据包括多模态数据和高分遥感图像数据，所述多模态数据包括地形数据和NDVI数据；将所述多模态数据输入至第一分支网络，得到所述第一分支网络输出的多模态特征，所述多模态特征包括地形指标和NDVI指标；将所述高分遥感图像数据输入至第二分支网络，得到所述第二分支网络输出的图像RGB高层特征；将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，确定滑坡与周边地物的识别结果。本发明专利技术实现有效区分滑坡和周边地物，提升提取滑坡的准确度。提升提取滑坡的准确度。提升提取滑坡的准确度。

【技术实现步骤摘要】
基于多模态特征融合的滑坡与周边地物识别方法及系统


[0001]本专利技术涉及滑坡识别
，尤其涉及一种基于多模态特征融合的滑坡与周边地物识别方法及系统。

技术介绍

[0002]滑坡是全球范围内的主要几种自然灾害之一，除了对环境的物理影响之外，也是一种严重影响社会经济的重大自然灾害。为预防突发滑坡地质灾害，亟需提前精准识别出潜在和现存滑坡灾害区域。滑坡的区域性识别方法主要有三种，分别是野外实地调查、卫星遥感技术以及航空遥感技术。近几年来国产卫星资源三号，GF
‑
1和GF
‑
2卫星等一系列高分辨率国产遥感卫星，与中低分辨率的遥感图像相比，高分辨率图像提供了更丰富详细的地物目标信息，使得从宏观到微观、从定性到定量的遥感图像分析成为可能，为大比例尺滑坡识别制图、精细化滑坡和周边地物调查等应用提供重要的数据源。
[0003]高分辨率遥感图像滑坡识别相关研究方法目前主要分为基于像素和基于对象两个方面。高分辨率遥感图像能够表达更加丰富的地物细节，但滑坡多以异质多边形表示。基于像素技术依赖于图像中滑坡的辐射均匀假设，并且该方法无法处理高分辨率图像提供的滑坡多层次空间细节。面向对象技术是由图像分割、特征提取、建立分类规则和信息提取几个环节组成。利用面向对象可获取滑坡的光谱、空间和形态特征，但面向对象方法由于分割参数影响的精度较差。由于土地覆盖种类繁多，受季节、光照和噪点等诸多因素的影响，为高分遥感图像分类和滑坡识别带来很大的挑战。对于多种地物分类和各异的滑坡形态，无法使用特定的一组特征来识别。目前使用面向对象的方法，实现准确的地物分类和滑坡识别仍具有一定的挑战性。
[0004]目前，利用深度学习技术开展滑坡识别的研究中，大多仅是对研究区域图像的滑坡和非滑坡进行二分类提取，由于无法逐像素区分滑坡和周边地物类别，无法精确提取滑坡的边界、空间位置、分布和环境等信息。
[0005]因此，亟需一种复杂环境下稳定高效和准确识别区域滑坡与周边地物的识别方法。

技术实现思路

[0006]本专利技术提供一种基于多模态特征融合的滑坡与周边地物识别方法及系统，用以解决现有技术中滑坡识别方法难以区分滑坡和周边地物，导致提取滑坡的准确度较低的缺陷，实现有效区分滑坡和周边地物，提升提取滑坡的准确度。
[0007]本专利技术提供一种基于多模态特征融合的滑坡与周边地物识别方法，包括：
[0008]获取待识别区域数据，所述待识别区域数据包括多模态数据和高分遥感图像数据，所述多模态数据包括地形数据和NDVI数据；
[0009]将所述多模态数据输入至第一分支网络，得到所述第一分支网络输出的多模态特征，所述多模态特征包括地形指标和NDVI指标；
[0010]将所述高分遥感图像数据输入至第二分支网络，得到所述第二分支网络输出的图像RGB高层特征；
[0011]将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，确定滑坡与周边地物的识别结果。
[0012]根据本专利技术提出的一种基于多模态特征融合的滑坡与周边地物识别方法，将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，确定滑坡与周边地物的识别结果，包括：
[0013]将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，得到待解码信息；
[0014]将所述待解码信息和所述第二分支网络输出的上下文信息输入至解码模块，确定滑坡与周边地物的识别结果。
[0015]根据本专利技术提出的一种基于多模态特征融合的滑坡与周边地物识别方法，所述解码模块包括跳层连接的多层解码结构，所述解码模块的每一层输入包括上一层反卷积的输出以及所述第二分支网络对应层的卷积输出，多次跳层连接的解码结构能够有效恢复原始数据的细节和上下文信息。
[0016]根据本专利技术提出的一种基于多模态特征融合的滑坡与周边地物识别方法，所述第二分支网络包括深度残差特征提取网络和金字塔池化模块，所述深度残差特征提取网络由一个卷积层和四个块组成，每个块包括若干个瓶颈单元，所述金字塔池化模块用于提取多尺度信息，所述金字塔池化模块的结构包括三个不同的空洞卷积和一个标准卷积；
[0017]所述第一分支网络是卷积神经网络，所述卷积神经网络包括若干个卷积层，所述卷积神经网络用于对输入图像依次进行若干次采样，生成降采样特征。
[0018]根据本专利技术提出的一种基于多模态特征融合的滑坡与周边地物识别方法，确定所述多模态数据中的地形数据和NDVI数据，包括：
[0019]获取DEM数据和光学遥感数据；
[0020]基于所述DEM数据，提取坡度坡向数据作为所述地形数据；
[0021]基于所述光学遥感图像中的近红外波段和红波段，确定NDVI数据。
[0022]本专利技术还提出一种滑坡与周边地物识别分层系统，上述所述的基于多模态特征融合的滑坡与周边地物识别方法应用于所述滑坡与周边地物识别分层系统，所述滑坡与周边地物识别分层系统包括基础数据准备层、数据库管理层、采样模型和基于多模态特征融合模型；
[0023]所述基础数据准备层，用于对原始遥感图像数据依次进行数据预处理和多样化标注得到高分遥感图像数据和标注数据，对所述DEM数据提取地形指标得到所述地形数据，以及对所述光学遥感图像进行提取NDVI指标得到所述NDVI数据；
[0024]所述数据库管理层包括原始影像数据库、元信息数据库、图像库数据库、标签库数据库、地形特征数据库和NDVI数据库；
[0025]所述采样模型用于对基础数据进行数据增强和混合采样，得到训练数据集，所述基础数据包括所述高分遥感图像数据、地形数据和NDVI数据；
[0026]所述基于多模态特征融合模型用于构建滑坡与周边地物识别模型，以及基于所述滑坡与周边地物识别模型进行预测识别。
[0027]本专利技术还提供一种基于多模态特征融合的滑坡与周边地物识别装置，包括：
[0028]数据获取模块，用于获取待识别区域数据，所述待识别区域数据包括多模态数据和高分遥感图像数据，所述多模态数据包括地形数据和NDVI数据；
[0029]第一特征提取模块，用于将所述多模态数据输入至第一分支网络，得到所述第一分支网络输出的多模态特征，所述多模态特征包括地形指标和NDVI指标；
[0030]第二特征提取模块，用于将所述高分遥感图像数据输入至第二分支网络，得到所述第二分支网络输出的图像RGB高层特征；
[0031]多模态融合模块，用于将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，确定滑坡与周边地物的识别结果。
[0032]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多模态特征融合的滑坡与周边地物识别方法。
[0033]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的滑坡与周边地物识别方法，其特征在于，包括：获取待识别区域数据，所述待识别区域数据包括多模态数据和高分遥感图像数据，所述多模态数据包括地形数据和NDVI数据；将所述多模态数据输入至第一分支网络，得到所述第一分支网络输出的多模态特征，所述多模态特征包括地形指标和NDVI指标；将所述高分遥感图像数据输入至第二分支网络，得到所述第二分支网络输出的图像RGB高层特征；将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，确定滑坡与周边地物的识别结果。2.根据权利要求1所述的基于多模态特征融合的滑坡与周边地物识别方法，其特征在于，将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，确定滑坡与周边地物的识别结果，包括：将所述多模态特征和所述图像RGB高层特征输入至多模态特征融合网络，得到待解码信息；将所述待解码信息和所述第二分支网络输出的上下文信息输入至解码模块，确定滑坡与周边地物的识别结果。3.根据权利要求1所述的基于多模态特征融合的滑坡与周边地物识别方法，其特征在于，所述解码模块包括跳层连接的多层解码结构，所述解码模块的每一层输入包括上一层反卷积的输出以及所述第二分支网络对应层的卷积输出，多次跳层连接的解码结构能够有效恢复原始数据的细节和上下文信息。4.根据权利要求1所述的基于多模态特征融合的滑坡与周边地物识别方法，其特征在于，所述第二分支网络包括深度残差特征提取网络和金字塔池化模块，所述深度残差特征提取网络由一个卷积层和四个块组成，每个块包括若干个瓶颈单元，所述金字塔池化模块用于提取多尺度信息，所述金字塔池化模块的结构包括三个不同的空洞卷积和一个标准卷积；所述第一分支网络是卷积神经网络，所述卷积神经网络包括若干个卷积层，所述卷积神经网络用于对输入图像依次进行若干次采样，生成降采样特征。5.根据权利要求1所述的基于多模态特征融合的滑坡与周边地物识别方法，其特征在于，确定所述多模态数据中的地形数据和NDVI数据，包括：获取DEM数据和光学遥感数据；基于所述DEM数据，提取坡度坡向数据作为所述地形数据；基于所述光学遥感图像中的近红外波段和红波段，确定NDVI数据。6.一种滑坡与周边地物识别分层系统，其特征在于，权利要求1<...

【专利技术属性】
技术研发人员：夏玮，刘巍，陈俊，刘士彬，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：