【技术实现步骤摘要】
本专利技术属于环境空气质量预测，具体涉及一种基于时空融合rnn与注意力机制的空气质量预测方法及系统。
技术介绍
1、在过去的数年里深度学习技术得到长足的发展，其发展深远的影响了各行各业。在大气环境空气质量监测与管控场景下，对未来空气质量的预测无疑是一个值得探索和开发的领域。虽然目前市面上已经有了很多相关预测模型，但由于天气、气象与人为因素条件的复杂性，对未来一段时间空气质量的预测，仍然是一件具有挑战性的工作。
技术实现思路
1、为了解决现有技术中存在的问题，本专利技术提供一种基于时空融合rnn与注意力机制的空气质量预测方法，结合了循环神经网络与自注意力机制等优点的多层模式提取架构，开发出了高精度的空气质量预测模型，并对长程预测问题进行了专门训练，使得预测结果对空气质量预警作用进一步增强。
2、为了实现上述目的，本专利技术采用的技术方案是：一种基于时空融合rnn与注意力机制的空气质量预测方法，包括以下步骤：
3、获取经纬度、过去的空气质量六项污染物浓度数据、气象条件数据、过去与未来的日期与时间；对过去的空气质量六项污染物浓度数据以及温度通过标准差与均值进行标准化；对于湿度、经度、纬度进行归一化；对于类别变量风向、风级、日期、小时进行类别编码处理；
4、将处理后的经纬度、过去的空气质量六项污染物浓度数据、气象条件数据、过去与未来的日期与时间作为多层神经网络模型的输入，经过多层神经网络模型处理得到六项污染物的浓度预测值；
5、多层神经网络模
6、进一步的，多层神经网络模型中，经纬度编码器的输出作为前gru编码器隐含状态的初始输入，日期与时间经过embedding层变换，其输出将根据当前时刻节点进行过去与未来的划分，过去的时段与过去的空气质量与气象数据一起输入到前gru编码器层，未来的时段单独输入到后gru编码器层；前gru编码器与后gru编码器都以单向的gru网络构成；经过gru网络的时序处理，后续通过一个dropout处理，然后会将数据流通过多头注意力网络层，多头注意力网络层对未来时段进行屏蔽处理，数据流在最后一层将通过一个全连接层处理，同时输出六项污染物的浓度预测值。
7、进一步的，多层神经网络模型中,线性控制单元前向传播的过程如下所示：
8、optf＝layernorm(α+glu(α)) (1)
9、gluf(α)＝ σ(w1,fα+b1,f)×(w2,fα+b2,f) (2)
10、(2)式中的×为hadamard积，f代表特征，σ代表sigmoid函数，α是层输入，w1,f和w1,f均表示dense网络层的权重参数，b1,f和b1,f均表示dense网络层的偏置参数，该层对输入每个不同的特征均有不同层参数控制调节，sigmoid函数的计算结果调整两者之间的贡献程度，layernorm是层归一化，经纬度处理过程中，将经度与纬度作为一个总体共同通过一个经纬度编码器。
11、进一步的，gru网络层前向传播的公式如下：
12、zt＝ σ(wz[ht-1,xt]) (3)
13、rt＝ σ(wr[ht-1,xt]) (4)
14、
15、
16、gru网络的基本结构包括重置门和更新门两个门控单元，以及一个隐藏状态，通过所述两个门控单元的控制，gru网络用于捕捉数据之间的长期依赖关系，σ代表sigmoid函数,tanh代表tanh函数，xt表示输入张量，zt表示更新门输出，rt表示重置门输出，表示重置门计算的隐藏状态输出，ht表示更新过后的隐藏状态，ht-1表示上一时刻隐藏状态，wz、wr、w分别表示对应的门控单元的网络层权重参数。
17、进一步的，多头注意力机制层前向传播的过程如下：
18、multiheadattention(hall)＝ hallwh (7)
19、hall＝[h1… hn] (8)
20、hn＝a(qn ,kn)vn (9)
21、
22、
23、
24、
25、多头注意力机制看作将输入序列分别映射为多个不同的表示空间，然后在多个不同的表示空间上分别计算注意力，最后将不同的注意力结果合并起来得到最终的输出；multiheadattention(hall)表示最终输出，wh表示该层权重参数，hall表示多头注意力的多个头的编码输出，h1…hn表示n个注意力头的编码输出，a(qn,kn)表示注意力，其由softmax函数输出对序列各个位置控制注意力权重，qn表示查询向量，kn表示键向量，vn表示值向量，公式(11)(12)(13)表示qn、kn、vn分别由独立的权重和输入线性层点积映射得到，q、k、v均代表输入。
26、进一步的，对于类别变量风向、风级、日期以及小时则进行类别编码处理，具体如下：将风向通过0～7进行整数编码，代表八个风向；风级也通过0～7整数进行编码，代表0～7级，超过7级用7表示；日期进行0-365整数进行编码，代表每年的天数；小时进行0～23整数进行编码，代表每日的小时。
27、进一步的，多层神经网络模型训练时采用mse作为损失函数，采用adam梯度算法获取全局最优解。
28、基于和所述方法同样的构思，本专利技术提供一种基于时空的融合rnn与注意力机制的空气质量预测系统，包括数据处理模块和预测模块；
29、数据处理模块用于获取经纬度、过去的空气质量六项污染物浓度数据、气象条件数据、过去与未来的日期与时间；对过去的空气质量六项污染物浓度数据以及温度通过标准差与均值进行标准化；对于湿度、经度、纬度进行归一化；对于类别变量风向、风级、日期、小时进行类别编码处理；
30、预测模块用于将处理后的经纬度、过去的空气质量六项污染物浓度数据、气象条件数据、过去与未来的日期与时间作为多层神经网络模型的输入，经过多层神经网络模型处理得到六项污染物的浓度预测值；
31、所述预测模块中，多层神经网络模型包括前gru编码器和多个线性控制单元，经纬度编码器连接前gru编码器层，多个线性控制单元分别连接前gru编码器和后gru编码器，线性控制单元还连接后gru编码器，前gru编码器和后gru编码器层均依次通过一个dropout层、多头注意力层和一个全连接层。
32、本专利技术还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本专利技术所述基于时空融合rnn与注意力机制的空气质量预测方法。
33、一种计本文档来自技高网...
【技术保护点】
1.一种基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，多层神经网络模型中，经纬度编码器的输出作为前GRU编码器隐含状态的初始输入，日期与时间经过Embedding层变换，其输出将根据当前时刻节点进行过去与未来的划分，过去的时段与过去的空气质量与气象数据一起输入到前GRU编码器层，未来的时段单独输入到后GRU编码器层；前GRU编码器与后GRU编码器都以单向的GRU网络构成；经过GRU网络的时序处理，后续通过一个Dropout处理，然后会将数据流通过多头注意力网络层，多头注意力网络层对未来时段进行屏蔽处理，数据流在最后一层将通过一个全连接层处理，同时输出六项污染物的浓度预测值。
3.根据权利要求2所述的基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，多层神经网络模型中,线性控制单元前向传播的过程如下所示：
4.根据权利要求2所述的基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，GRU网络层前向传播的公式如
5.根据权利要求2所述的基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，多头注意力机制层前向传播的过程如下：
6.根据权利要求2所述的基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，对于类别变量风向、风级、日期以及小时则进行类别编码处理，具体如下：将风向通过0～7进行整数编码，代表八个风向；风级也通过0～7整数进行编码，代表0～7级，超过7级用7表示；日期进行0-365整数进行编码，代表每年的天数；小时进行0～23整数进行编码，代表每日的小时。
7.根据权利要求1所述的基于时空融合RNN与注意力机制的空气质量预测方法，其特征在于，多层神经网络模型训练时采用MSE作为损失函数，采用Adam梯度算法获取全局最优解。
8.一种基于时空的融合RNN与注意力机制的空气质量预测系统，其特征在于，包括数据处理模块和预测模块；
9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1～7中任一项所述基于时空融合RNN与注意力机制的空气质量预测方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～7中任一项所述的基于时空融合RNN与注意力机制的空气质量预测方法。
...【技术特征摘要】
1.一种基于时空融合rnn与注意力机制的空气质量预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于时空融合rnn与注意力机制的空气质量预测方法，其特征在于，多层神经网络模型中，经纬度编码器的输出作为前gru编码器隐含状态的初始输入，日期与时间经过embedding层变换，其输出将根据当前时刻节点进行过去与未来的划分，过去的时段与过去的空气质量与气象数据一起输入到前gru编码器层，未来的时段单独输入到后gru编码器层；前gru编码器与后gru编码器都以单向的gru网络构成；经过gru网络的时序处理，后续通过一个dropout处理，然后会将数据流通过多头注意力网络层，多头注意力网络层对未来时段进行屏蔽处理，数据流在最后一层将通过一个全连接层处理，同时输出六项污染物的浓度预测值。
3.根据权利要求2所述的基于时空融合rnn与注意力机制的空气质量预测方法，其特征在于，多层神经网络模型中,线性控制单元前向传播的过程如下所示：
4.根据权利要求2所述的基于时空融合rnn与注意力机制的空气质量预测方法，其特征在于，gru网络层前向传播的公式如下：
5.根据权利要求2所述的基于时空融合rnn与注意力机制的空气质量预测方法，其特征在于，多头注意力机制层前向传播的过程如下...
【专利技术属性】
技术研发人员：李宁周，白龙刚，
申请(专利权)人：西安鼎研科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。