基于图卷积的全残差深度网络的模型建立方法及应用技术

本发明专利技术公开了一种基于图卷积的全残差深度网络的模型建立方法及应用，本方法为：采集整理空气污染数据并预处理；在空间、时间维度，分别找最近邻点对，计算两个维度相关系数比值；正则化处理，确定时空维度；采用k

【技术实现步骤摘要】
基于图卷积的全残差深度网络的模型建立方法及应用


[0001]本专利技术涉及一种模型建立方法及应用，尤其涉及一种基于图卷积的全残差深度网络的模型建立方法及应用。

技术介绍

[0002]空气污染物浓度的时空建模方法包括基于克里格(kriging)、贝叶斯最大熵(Bayesian maxium entropy,简称BME)、概化累加模型(generalized additive model，简称GAM)等方法，但在这些方法中克里格及贝叶斯最大熵对时空变异需要满足时空平稳(stationary spatiotemporal random field)的需求，在实际空气污染浓度分布中受多种要素影响较大，时空变异差异极大，难以满足时空稳态的前提；由于随机性的影响，时空变异拟合具有一定的不确定性，拟合精度有限；而概化累加模型缺乏时空变异的考虑，主要是通过坐标及时空变化的协变量进行时空建模。这些基于传统的统计模型的建模方法同新兴的机器学习，如神经网络模型相比，模型的泛化(generalization)能力有限，体现在针对基于位置的独立性测试中精度都不高，在时间应用场景中有较大偏差。
[0003]空气污染物浓度预测中的时间序列模型包括移动平均、自回归移动平均等系列传统方法，最近高级的长短记忆网络(long
‑
short term model，简称LSTM)以及基于卷积神经网络(convolutional neural network，简称CNN)的方法也用于空气污染监测，如现有技术提出的需要连续的历史数据输入以得到预测下一阶段的输出，然而这种方式导致了时间序列模型难以应用到时空样本不规则分布的空气污染监测数据的应用情景。
[0004]新兴的深度学习技术，除时间序列方法LSTM及CNN之外前馈神经网络模型也逐步应用处理不规则数据，如现有技术已提出了全残差链接深度网络，其强泛化性也比之前的方法在空气污染预测精度方面有所提高。新兴的图神经网络(graph neural network，简称GNN)技术，可采用图卷积网络(graph convolutional network，简称GCN)等技术处理不规则分布的样本点，为新的时空建模方法提供了新思路。但当前图网络主要是处理影像及交通数据的分类及预测等，如用于路网状态监测，然而缺乏用于监测站点稀疏而时空变异又明显的空气污染浓度时空建模的相关方法。此外，当前流行的全图节点建模，输入数据过多，在应用中常导致矩阵过于庞大，难以用于实际的时空建模。

技术实现思路

[0005]为了解决上述技术所存在的不足之处，针对环境科学领域，当前空气污染物检测站点数据有限，空气污染物浓度时空建模方法局限，包括时空变异拟合较复杂、训练模型泛化不足等问题，本专利技术提出了一种基于图卷积的全残差深度网络的模型建立方法及应用。
[0006]为了解决以上技术问题，本专利技术采用的技术方案是：一种基于图卷积的全残差深度网络的模型建立方法，包括以下步骤：
[0007]步骤一、采集整理空气污染及其协变量数据并进行预处理；
[0008]步骤二、在空间维度及时间维度，对数据的样本点找到最近的相邻点对，计算两个
维度相关系数比值；
[0009]步骤三、对全部数据进行正则化处理，确定时空维度；
[0010]步骤四、采用k
‑
NN最近邻算法，查找所有样本点的最近的k个最近邻及其时空距离；
[0011]步骤五、采用基于位置的分层随机抽样的方法，划分训练与测试样本；
[0012]步骤六、建立多层级的最近邻网络拓扑，其中，每一层级相当于一个lag；
[0013]步骤七、建立基于图卷积的全残差深度网络模型模型，预训练图卷积网络，融合全残差网络进行训练；
[0014]步骤八、对模型参数进行优化，获得参数最优的模型。
[0015]进一步地，步骤一中，采集到空气污染原始数据后进行整理，确定时空分辨率，提取并预处理相应的协变量因素；协变量因素包括坐标、高程、气象、土地利用、粗分辨率的MERRA2数据、时间指数。
[0016]进一步地，步骤二中，计算空间维度、时间维度各自的皮尔逊相关系数，计算两者的比值，得到两个维度相关系数的比值。
[0017]进一步地，步骤三中，采用标准化的数据正则化技术进行处理，如式1所示：
[0018][0019]式中，x
′
j
代表第j个特征变量的原始输入，μ(x
′
j
)代表原始输入的均值，σ(x
′
j
)代表原始输入的变差，x
j
为正则化后的变量。
[0020]进一步地，步骤四中，在计算时空距离时，利用步骤二计算得到的两个维度相关系数比值对时空距离计算过程作调整，使时间及空间维度在计算距离时统计学意义上保持一致。
[0021]进一步地，步骤五中，按照行政区划或气候带进行分区，获得空间监测点的位置，对位置进行随机选择划分成同等数量的M份，其中，60～90％*M份监测点位置对应的样本用于模型的训练，剩余份数的监测点位置对应的样本用于位置的独立性测试。
[0022]进一步地，步骤六中，采用能处理不规则样本点的图网络，一个lag代表一个最近的时空点的邻居的影响，下一个lag针对联接的目标节点的最近邻；采用自相关函数图确定确定lag，根据实际数据探索得到lag步长K，即总层数；
[0023]多层级的lag时空建模过程为：从最外层到内层到目标节点，临近点的影响逐层传递，最后汇总到目标节点；从时空三个维度方向，包括空间维度x与y、时间维度t，并根据地理学第一定理越近越相关原则确定最近邻，同时，由于时空样本点本身不规则分布，将其距离权重系数进行最近邻的聚集，如式2所示：
[0024][0025]式中，k表示层次的索引，u为目标节点，代表了v为u的任意邻近点，则为邻近节点v的第k层的输出，则为邻近节点v的第k
‑
1层的输出，则为目标节点u的由最近邻点得到的聚集结果，相当于u的第k层状态邻近点的聚集函数的输出，
aggregate(k)表示第k层的邻近点的聚集函数；
[0026]将聚集函数定义为加权和，或者pool操作；
[0027]对加权聚集函数，目标节点u的第k层状态输出如式3所示：
[0028][0029]式中，表示邻近节点v到目标节点u之间的距离，WMEAN表示距离反比加权求和；
[0030]对pool操作采用以下聚集函数，目标节点u的第k层状态输出如式4所示：
[0031][0032]式中，σ代表了西格玛非线性激活函数，W表示pool层的权重系数矩阵，b表示偏差矢量；
[0033]经过k层卷积操作之后，目标节点u的状态更新为：
[0034][0035]∪表示两个输出矢量的拼接，表示更新状态时节点u的第k层的输出，表示其自身k
‑
1层的输出；
[0036]经过K层的最近邻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的全残差深度网络的模型建立方法，其特征在于：包括以下步骤：步骤一、采集整理空气污染及其协变量数据并进行预处理；步骤二、在空间维度及时间维度，对数据的样本点找到最近的相邻点对，计算两个维度相关系数比值；步骤三、对全部数据进行正则化处理，确定时空维度；步骤四、采用k
‑
NN最近邻算法，查找所有样本点的最近的k个最近邻及其时空距离；步骤五、采用基于位置的分层随机抽样的方法，划分训练与测试样本；步骤六、建立多层级的最近邻网络拓扑，其中，每一层级相当于一个lag；步骤七、建立基于图卷积的全残差深度网络模型模型，预训练图卷积网络，融合全残差网络进行训练；步骤八、对模型参数进行优化，获得参数最优的模型。2.根据权利要求1所述的基于图卷积的全残差深度网络的模型建立方法，其特征在于：步骤一中，采集到空气污染原始数据后进行整理，确定时空分辨率，提取并预处理相应的协变量因素；协变量因素包括坐标、高程、气象、土地利用、粗分辨率的MERRA2数据、时间指数。3.根据权利要求1所述的基于图卷积的全残差深度网络的模型建立方法，其特征在于：步骤二中，计算空间维度、时间维度各自的皮尔逊相关系数，计算两者的比值，得到两个维度相关系数的比值。4.根据权利要求1所述的基于图卷积的全残差深度网络的模型建立方法，其特征在于：步骤三中，采用标准化的数据正则化技术进行处理，如式1所示：式中，x
′
j
代表第j个特征变量的原始输入，μ(x
′
j
)代表原始输入的均值，σ(x
′
j
)代表原始输入的变差，x
j
为正则化后的变量。5.根据权利要求1所述的基于图卷积的全残差深度网络的模型建立方法，其特征在于：步骤四中，在计算时空距离时，利用步骤二计算得到的两个维度相关系数比值对时空距离计算过程作调整，使时间及空间维度在计算距离时统计学意义上保持一致。6.根据权利要求1所述的基于图卷积的全残差深度网络的模型建立方法，其特征在于：步骤五中，按照行政区划或气候带进行分区，获得空间监测点的位置，对位置进行随机选择划分成同等数量的M份，其中，60～90％*M份监测点位置对应的样本用于模型的训练，剩余份数的监测点位置对应的样本用于位置的独立性测试。7.根据权利要求1所述的基于图卷积的全残差深度网络的模型建立方法，其特征在于：步骤六中，采用能处理不规则样本点的图网络，一个lag代表一个最近的时空点的邻居的影响，下一个lag针对联接的目标节点的最近邻；采用自相关函数图确定确定lag，根据实际数据探索得到lag步长K，即总层数；多层级的lag时空建模过程为：从最外层到内层到目标节点，临近点的影响逐层传递，最后汇总到目标节点；从时空三个维度方向，包括空间维度x与y、时间维度t，并根据地理学第一定理越近越相关原则确定最近邻，同时，由于时空样本点本身不规则分布，将其距离权重系数进行最近邻的聚集，如式2所示：
式中，k表示层次的索引，u为目标节点，代表了v为u的邻近点，则为邻近节点v的第k层的输出，则为邻近节点v的第k
‑
1层的输出，则为目标节点u的由最近邻点得到...

【专利技术属性】
技术研发人员：李连发，
申请(专利权)人：中国科学院地理科学与资源研究所，
类型：发明
国别省市：