多模态遥感影像数据检测方法及系统技术方案

本发明专利技术提供一种多模态遥感影像数据检测方法、系统、电子设备及存储介质，方法包括：分别将不同时序的多模态遥感影像数据输入多模态特征挖掘网络，输出每一个时序的多模态遥感影像数据的融合矢量特征，将多个融合矢量特征输入变化检测网络，由变化检测网络识别出不同时序的多模态遥感影像数据之间是否具有差异。本发明专利技术构建的多模态特征挖掘网络对多模态遥感影像数据的特征进行挖掘并融合，满足训练数据集的多样性、多时序性、多特征性需求，能够提高网络挖掘特征的精确性，并通过构建多模态特征挖掘网络和变化检测网络实现对不同时序的多模态遥感影像的异常状态进行检测，为研究被检测区域的发展趋势提供支撑。检测区域的发展趋势提供支撑。检测区域的发展趋势提供支撑。

【技术实现步骤摘要】
多模态遥感影像数据检测方法及系统


[0001]本专利技术涉及遥感影像处理领域，更具体地，涉及一种多模态遥感影像数据检测方法及系统。

技术介绍

[0002]遥感变化检测技术已经广泛应用于城市规划、农村土地确权、灾害预警等领域，利用监测裸土与建筑的可视化变换来反应城市发展状况、监测其他地块变更为农田地块来反应高标准农田规划、监测林地地块变更为土壤来反应山体滑坡。随着高分辨率遥感影像的发展，目前已有的光学卫星数据已经不足以满足遥感对地监测的时效性。面对海量、多模态、高分辨率的遥感数据集，传统的图像解译技术表现欠佳，同时5G网络传输和GPU/NPU（Graphics Processing Unit，微型处理器/Neural
‑
network Processing Unit，网络处理器）的强大计算能力已满足数据的实时处理、实时传输。
[0003]单模态遥感数据只能从单一角度上提供信息属性，传统借助数学统计、知识图谱和数据挖掘算法构建数据库，利用矢量差值获取变化结果，结合深度学习与多模态遥感影像数据，探索更高效、更准确、鲁棒性更高的解译算法迫在眉睫。多模态遥感数据融合从信息维度上、样本数量上扩充数据源，补充深度学习变化检测算法的数据需求。

技术实现思路

[0004]本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种多模态遥感影像数据检测方法及系统。
[0005]根据本专利技术的第一方面，提供了一种多模态遥感影像数据检测方法，包括：将第一时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第一时序的多模态遥感影像数据对应的第一融合矢量特征；以及将第二时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第二时序的多模态遥感影像数据对应的第二融合矢量特征，所述第一时序的多模态遥感影像数据和所述第二时序的多模态遥感影像数据处于同一地域；将所述第一融合矢量特征和所述第二融合矢量特征输入训练后的变化检测网络，获取所述变化检测网络识别的差异结果，所述变化结果表征所述第一时序的多模态遥感影像数据和所述第二时序的多模态遥感影像数据是否具有差异。
[0006]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0007]可选的，所述第一时序的多模态遥感影像数据包括第一高光谱卫星数据、第一高分辨率卫星数据和第一多时序Modis数据，所述第二时序的多模态遥感影像数据包括第二高光谱卫星数据、第二高分辨率卫星数据和第二多时序Modis数据。
[0008]可选的，所述多模态特征挖掘网络包括三个深度卷积神经网络和一个特征工程结构；所述将第一时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第一时序的多模态遥感影像数据对应的第一融合矢量特
征，包括：分别将第一高光谱卫星数据、第一高分辨率卫星数据和第一多时序Modis数据输入三个深度卷积神经网络，获取由每一个深度卷积神经网络输出的矢量特征；将三个矢量特征输入所述特征工程结构，获取所述特征工程结构输出的第一融合矢量特征；所述将第二时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第二时序的多模态遥感影像数据对应的第二融合矢量特征，包括：分别将第二高光谱卫星数据、第二高分辨率卫星数据和第二多时序Modis数据输入三个深度卷积神经网络，获取由每一个深度卷积神经网络输出的矢量特征；将三个矢量特征输入所述特征工程结构，获取所述特征工程结构输出的第二融合矢量特征。
[0009]可选的，所述深度卷神经网络包括多个网络层，每一个网络层包括卷积层和池化层，所述多个网络层顺次连接；所述特征工程结构包括多个网络层，每一个网络层包括卷积层和BN层，多个网络层顺次连接，其中，所述深度卷积神经网络的网络层的数量与所述特征工程结构的网络层的数量相同。
[0010]可选的，所述将三个矢量特征输入所述特征工程结构，获取所述特征工程结构输出的第一融合矢量特征，包括：所述特征工程结构通过如下公式对三个矢量特征进行融合计算：其中，为最终融合矢量特征，t
a
、t
b
和t
c
分别代表三个维度的矢量特征，、、分别表示每个维度下的权重，为偏移权重，为权重加权指数，m、m
n
代表偏移量。
[0011]可选的，所述变化检测网络为包括顺次连接的卷积层、池化层、反卷积层和反池化层的对称语义分割网络；所述方法还包括：将最后一级的反卷积结果与倒数第二级的反卷积结果同时作为所述反池化层的输入。
[0012]可选的，所述方法还包括：基于第一时序的多模态遥感影像数据和第二时序的多模态遥感影像数据对预设网络模型进行训练，计算识别结果计算所述已损坏网络模型的损失；基于所述损失，对所述预设网络模型的模型参数进行调整，得到最优的预设网络模型；其中，所述预设网络模型由所述多模态特征挖掘网络和所述变化检测网络组成，所述预设网络模型的模型参数至少包括每一个深度卷积神经网络在每个维度下的权重、、以及偏移量权重m和m
n
。
[0013]根据本专利技术的第二方面，提供一种多模态遥感影像检测系统，包括：获取模块，用于将第一时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第一时序的多模态遥感影像数据对应的第一融合矢量特征；以及将第二时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第二时序的多模态遥感影像数据对应的第二融合矢量特征，所述第一时序的多模态遥感影像数据和所述第二时序的多模态遥感影像数据处于同一地域；识别模块，用于将所述第一融合矢量特征和所述第二融合矢量特征输入训练后的变化检测网络，获取所述变化检测网络识别的差异结果，所述变化结果表征所述第一时序的多模态遥感影像数据和所述第二时序的多模态遥感影像数据是否具有差异。
[0014]根据本专利技术的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器
用于执行存储器中存储的计算机管理类程序时实现多模态遥感影像检测方法的步骤。
[0015]根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现多模态遥感影像数据检测方法的步骤。
[0016]本专利技术提供的一种多模态遥感影像数据检测方法及系统，分别将不同时序的多模态遥感影像数据输入多模态特征挖掘网络，分别输出每一个时序的多模态遥感影像数据的融合矢量特征，将多个融合矢量特征输入变化检测网络，由变化检测网络识别出不同时序的多模态遥感影像数据之间是否具有差异。本专利技术构建了多模态特征挖掘网络和变化检测网络，其中，多模态特征挖掘网络对多模态遥感影像数据的特征进行挖掘并融合，满足训练数据集的多样性、多时序性、多特征性需求，能够提高网络挖掘特征的精确性。
附图说明
[0017]图1为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态遥感影像数据检测方法，其特征在于，包括：将第一时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第一时序的多模态遥感影像数据对应的第一融合矢量特征；以及将第二时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第二时序的多模态遥感影像数据对应的第二融合矢量特征，所述第一时序的多模态遥感影像数据和所述第二时序的多模态遥感影像数据处于同一地域；将所述第一融合矢量特征和所述第二融合矢量特征输入训练后的变化检测网络，获取所述变化检测网络识别的差异结果，所述差异结果表征所述第一时序的多模态遥感影像数据和所述第二时序的多模态遥感影像数据是否具有差异。2.根据权利要求1所述的检测方法，其特征在于，所述第一时序的多模态遥感影像数据包括第一高光谱卫星数据、第一高分辨率卫星数据和第一多时序Modis数据，所述第二时序的多模态遥感影像数据包括第二高光谱卫星数据、第二高分辨率卫星数据和第二多时序Modis数据。3.根据权利要求2所述的检测方法，其特征在于，所述多模态特征挖掘网络包括三个深度卷积神经网络和一个特征工程结构；所述将第一时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第一时序的多模态遥感影像数据对应的第一融合矢量特征，包括：分别将第一高光谱卫星数据、第一高分辨率卫星数据和第一多时序Modis数据输入三个深度卷积神经网络，获取由每一个深度卷积神经网络输出的矢量特征；将三个矢量特征输入所述特征工程结构，获取所述特征工程结构输出的第一融合矢量特征；所述将第二时序的多模态遥感影像数据输入训练后的多模态特征挖掘网络，获取所述多模态特征挖掘网络输出的所述第二时序的多模态遥感影像数据对应的第二融合矢量特征，包括：分别将第二高光谱卫星数据、第二高分辨率卫星数据和第二多时序Modis数据输入三个深度卷积神经网络，获取由每一个深度卷积神经网络输出的矢量特征；；将三个矢量特征输入所述特征工程结构，获取所述特征工程结构输出的第二融合矢量特征。4.根据权利要求3所述的检测方法，其特征在于，所述深度卷神经网络包括多个网络层，每一个网络层包括卷积层和池化层，所述多个网络层顺次连接；所述特征工程结构包括多个网络层，每一个网络层包括卷积层和BN层，多个网络层顺次连接，其中，所述深度卷积神经网络的网络层的数量与所述特征工程结构的网络层的数量相同。5.根据权利要求3或4所述的检测方法，其特征在于，所述将三个矢量特征输入所述特征工程结构，...

【专利技术属性】
技术研发人员：洪勇，罗冷坤，李江，董朝阳，
申请(专利权)人：武汉光谷信息技术股份有限公司，
类型：发明
国别省市：