基于堆叠时空记忆单元的时空过程模拟方法及系统技术方案

本发明专利技术提供一种基于堆叠时空记忆单元的时空过程模拟方法，其特征在于，包括：获得时空数据集；初始的时空过程深度学习模型对时空数据集的时空依赖关系进行初步表达，获得第一阶段深度学习模型；对第一阶段深度学习模型进行稳健性策略表达，获得第二阶段深度学习模型；对第二阶段深度学习模型进行参数优化，获得完成一轮训练的时空过程深度学习模型；进行迭代训练，满足预设条件后获得训练好的时空过程深度学习模型；调节完成后获得最终的时空过程深度学习模型。本发明专利技术通过堆叠时间记忆单元，使得时空过程深度学习模型具有较强的鲁棒性，具有长期动态建模能力，同时时空记忆流增强了网络对短期动态的建模能力。络对短期动态的建模能力。络对短期动态的建模能力。

【技术实现步骤摘要】
基于堆叠时空记忆单元的时空过程模拟方法及系统


[0001]本专利技术涉及时空模拟
，尤其涉及一种基于堆叠时空记忆单元的时空过程模拟方法及系统。

技术介绍

[0002]目前，随着卫星遥感、传感器网络迅速发展，时空数据呈爆炸性增长，并随着以数据驱动的深度学习模型发展，给时空过程分析挖掘带来了巨大机遇，弥补了传统参数模型以及传统机器学习模型可处理数据的能力有限，适合少量数据以及小样本数据的不足。基于深度学习模型的时空模拟预测方法无论在预测精度还是处理大规模数据集上都有明显的优势。大规模文本、图像、图谱、序列、遥感影像和数值等多源大数据分析挖掘静态对象有重要进展，但是如何高效智能分析挖掘动态时空过程仍是科学数据分析挖掘的难题。现有深度学习模型不能直接有效地表达时空过程中时间序列上空间相互关联要素之间的复杂作用关系。
[0003]时空过程主要指地理现象在时间进程上的变化与空间范围内的分布特征，例如台风、洪涝和自然疾病的传播在时间和空间上的演变规律。这种规律涉及到地理现象的物理成因和复杂要素的影响，也为时空过程的动态分析挖掘提出了挑战。
[0004]现有的深度学习时空过程主要分为三类：基于深度学习的时间序列模拟方法、基于深度学习的空间特征特征预测、结合时空特征的深度学习模拟方法。基于深度学习的时间序列模拟方法如循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long Short
‑
Term Memory,LSTM)、门控循环单元网络(Gated Recurrent Unit,GRU)和时间卷积网络(Temporal Convolutional Network,TCN)等可以提取出数据中的时序特征，但是在将其应用到时空过程模拟中时却往往忽略了时空序列数据的空间关联。利用深度学习方法进行空间维度学习时，为了挖掘网格时空数据间的空间特征，可以将其建模为一系列图片序列，再用卷积神经网络(Convolutional Neural Network,CNN)、图卷积神经网络(Graph Convolutional Network,GCN)或者残差神经网络(Residual Neural Network,ResNet)等来提取空间特征，但此类模型往往忽略了时空序列数据的时间关联。然而在实际中，空间区域之间的空间相关性往往会随着时间而变化，例如雨季和旱季，在同一降雨强度下产生的径流量差异也比较大，造成洪涝灾害的风险也不一样。因此，在时空过程模拟中，对时间、空间依赖以及两者之间的关系进行特征表达显得尤为重要。
[0005]在结合时空特征的深度学习模拟方面，Shi等人在2015年提出将深度学习方法应用于短期降水预报模拟，并提出了结合CNN和LSTM的ConvLSTM，启发了将CNN结构引入时空序列模拟预测中的一系列模型。为了结合卷积和递归结构的优点，Wang等人在2017年提出了一种预测递归神经网络(Predictive Recurrent Neural Network,PredRNN)，并首次将其应用于降水临近预报模拟。Wang认为，时空模拟学习应该在一个统一的记忆池中记住空间的出现和时间的变化，采用新的时空LSTM(Spatiotemporal LSTM,ST
‑
LSTM)单元，它可以同时提取和记忆空间和时间的表示。Lin等人于2020年在自注意力机制的基础上，提出了自
注意力记忆机制(Self
‑
Attention Memory,SAM)捕获长期的空间依赖性，同时为了进一步减少参数和计算量作者使用深度可分离卷积来代替标准的卷积操作。
[0006]综上所述，大部分模型将时空序列数据视作一系列有时间属性的图片或直接建模为图来学习其空间特征，虽然能够提取到空间特征，但是忽略了时空演化的物理过程。时空过程具有过程高动态、关系高复杂的特点。以洪涝灾害淹没过程为例，淹没范围时刻在变化。淹没过程不仅与前期的淹没情况有关，而且与现时的水文、气象等因素存在着复杂的关系。这些关系包括非线性关系、多关联因素依赖关系、时序依赖关系和空间依赖关系等。现有的深度学习模型不能直接有效表达时空过程中时间序列上空间相互关联要素之间的复杂作用关系，缺乏高精度时空过程分析挖掘模型。
[0007]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0008]为解决上述技术问题，本专利技术提供一种基于堆叠时空记忆单元的时空过程模拟方法，包括：
[0009]S1：获取多源大数据，对多源大数据进行预处理，获得时空数据集；
[0010]S2：构建初始的时空过程深度学习模型，初始的时空过程深度学习模型对时空数据集的时空依赖关系进行初步表达，获得第一阶段深度学习模型；
[0011]S3：对第一阶段深度学习模型进行稳健性策略表达，获得第二阶段深度学习模型；
[0012]S4：对第二阶段深度学习模型进行参数优化，获得完成一轮训练的时空过程深度学习模型；
[0013]S5：重复步骤S2至S4进行迭代训练，满足预设条件后获得训练好的时空过程深度学习模型；
[0014]S6：通过敏感性分析调节训练好的时空过程深度学习模型的敏感性，调节完成后获得最终的时空过程深度学习模型，通过最终的时空过程深度学习模型获得时空过程模拟结果。
[0015]优选的，步骤S2具体为：
[0016]S21：通过多个时空记忆单元堆叠构成初始的时空过程深度学习模型，初始的时空过程深度学习模型包括n+1个时空记忆列，每个时空记忆列包括L层时空记忆单元；
[0017]S22：将时空数据集中的时空数据X
t
输入第t时间步的时空记忆列，通过第t
‑
1时间步的l层的隐藏状态时间记忆状态和第t时间步的l
‑
1层的空间记忆状态进行时空依赖关系的初步表达，获得第t时间步的l层的隐藏状态时间记忆状态和空间记忆状态之后令t的值加一；其中，t为时间步的编号，l为时空记忆单元的层编号；
[0018]S23：重复步骤S22，完成所有时空记忆列的时空依赖关系的初步表达后，获得第一阶段深度学习模型。
[0019]优选的，步骤S22具体为：
[0020]S221：通过第t时间步的时空数据X
t
、第t
‑
1时间步的l层的隐藏状态和时间记
忆状态计算获得第t时间步的l层的时间记忆状态计算公式为：
[0021][0022][0023][0024][0025]其中，*表示3D卷积运算，
⊙
表示Hadamard积，σ表示sigmoid激活函数，tanh表示tanh激活函数，f
t
为遗忘门，i
t
为输入门、g
t
为输入调制门，W
xi
为时空数据在输入门中的权重，W
hi
为隐藏状态在输入门中的权重，W
xg本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于堆叠时空记忆单元的时空过程模拟方法，其特征在于，包括：S1：获取多源大数据，对多源大数据进行预处理，获得时空数据集；S2：构建初始的时空过程深度学习模型，初始的时空过程深度学习模型对时空数据集的时空依赖关系进行初步表达，获得第一阶段深度学习模型；S3：对第一阶段深度学习模型进行稳健性策略表达，获得第二阶段深度学习模型；S4：对第二阶段深度学习模型进行参数优化，获得完成一轮训练的时空过程深度学习模型；S5：重复步骤S2至S4进行迭代训练，满足预设条件后获得训练好的时空过程深度学习模型；S6：通过敏感性分析调节训练好的时空过程深度学习模型的敏感性，调节完成后获得最终的时空过程深度学习模型，通过最终的时空过程深度学习模型获得时空过程模拟结果。2.根据权利要求1所述的基于堆叠时空记忆单元的时空过程模拟方法，其特征在于，步骤S2具体为：S21：通过多个时空记忆单元堆叠构成初始的时空过程深度学习模型，初始的时空过程深度学习模型包括n+1个时空记忆列，每个时空记忆列包括L层时空记忆单元；S22：将时空数据集中的时空数据X
t
输入第t时间步的时空记忆列，通过第t
‑
1时间步的l层的隐藏状态时间记忆状态和第t时间步的l
‑
1层的空间记忆状态进行时空依赖关系的初步表达，获得第t时间步的l层的隐藏状态时间记忆状态和空间记忆状态之后令t的值加一；其中，t为时间步的编号，l为时空记忆单元的层编号；S23：重复步骤S22，完成所有时空记忆列的时空依赖关系的初步表达后，获得第一阶段深度学习模型。3.根据权利要求1所述的基于堆叠时空记忆单元的时空过程模拟方法，其特征在于，步骤S22具体为：S221：通过第t时间步的时空数据X
t
、第t
‑
1时间步的l层的隐藏状态和时间记忆状态计算获得第t时间步的l层的时间记忆状态计算公式为：计算公式为：计算公式为：计算公式为：其中，*表示3D卷积运算，
⊙
表示Hadamard积，σ表示sigmoid激活函数，tanh表示tanh激活函数，f
t
为遗忘门，i
t
为输入门、g
t
为输入调制门，W
xi
为时空数据在输入门中的权重，W
hi
为隐藏状态在输入门中的权重，W
xg
为时空数据在输入调制门中的权重，W
hg
为隐藏状态在输入调制门中的权重，W
xf
为时空数据在遗忘门中的权重，W
hf
为隐藏状态在遗忘门中的权重；S222：通过第t时间步的时空数据X
t
和第t
‑
1时间步的l层的隐藏状态以及第t时间
步的l层的时间记忆状态计算获得第t时间步...

【专利技术属性】
技术研发人员：陈泽强，唐旭，陈来，陈能成，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：