一种融合时间注意力机制的时间序列预测系统技术方案

本发明专利技术提出一种融合时间注意力机制的时间序列预测系统，包括预处理模块，预测模块；其中预处理模块对原始记录和数据进行处理组成时序序列，所述预测模块使用编码‑解码结构对时序序列进行编码并对该时间序列蕴含的所需信息和数据进行预测；所述预测模块中包括角度正则化模块，所述角度正则化模块对所述时间序列中每一个时间点数据得到的编码信息所获得的影响力权重进行调整。

【技术实现步骤摘要】
一种融合时间注意力机制的时间序列预测系统
本专利技术涉及一种时间序列预测系统，尤其涉及一种融合时间注意力机制的时间序列预测系统。
技术介绍
时间序列是指按时间次序有序排列的一组数据，任何有次序的实值型序列都可以当作时间序列来处理。时间序列数据广泛存在于社会生活的各个方面，如金融收益、气象研究、医学诊断、道路交通、电力系统、商品需求、工业生产、网络安全等。随着信息技术的不断发展，时间序列数据量与日俱增，数据维度也越来越高。时间序列预测是指对给定时间序列进行分析并预测未来发生的变化。时间序列数据的分析和预测在许多应用中具有重要意义，更早得出预测以及得到更精确的预测对于指导决策意义重大。例如在工业生产领域，根据传感器的时间序列数据预测机器的未来表现，及时发现并处理异常，避免生产事故；在制造业，对整个生产链的各部分不同类型的未来数据进行预测，以便调整生产计划，提高产出并减少周转时间；在金融领域，挖掘金融产品的波动规律并对未来数据进行预测，从而为投资者规避风险并制定可盈利的投资策略；在医学诊断中，需要分析慢性病患者的就诊记录，并对其未来可能出现的加重情况进行预警，及时通知患者就诊，保障患者生命健康；在电力系统中，对不同时期和不同位置的电力负荷进行预测是规划和实施各种电气项目的关键指标；在气象领域，对多类型的气象时序数据进行分析和预测，从而进行环境污染控制、气象预报、水文预报等。传统的时间序列预测仅根据历史时间序列的趋势发展来预测未来时间序列的趋势发展，通过建立适当的数学模型拟合历史时间趋势曲线，根据所建模型预测未来时间序列的趋势曲线，常见模型包括ARMA，VAR，TAR，ARCH等。传统时间序列所依赖的数据较简单，只需要历史时间序列趋势曲线便可构建模型，可适用于多种场景，模型较为通用。但是传统时间序列预测法常面临滞后性问题，即预测值晚于真实值几个时间单位。随着大数据时代的到来和人工智能的飞速发展，深度学习对于捕捉长时间序列和高维数据中的信息并进行预测具有出色的效果，基础且经典的时序预测深度学习模型包括：长短期记忆模型(LSTM/GRU)及各种改进循环神经网络模型来改善长时序数据分析过程中的记忆长期依赖问题，解决了RNN模型的梯度消失的信息损失问题；Encoder-Decoder(编码-解码)结构和时间注意力机制能够对时间序列的不同时间点赋予不同的影响力(即权重)，抽取出可能的关键时间点和其包含的信息，使模型做出更准确的判断，同时不会增加计算与存储上的开销。角度正则化在处理多分类问题时，能够使得区分不同类别的超平面之间角度最大，从而使经过超平面划分后的每个类别所包括的空间最大，减少类间的空白划分，将一些之前被忽略的样本划入分类中，提高分类器的泛化性。其中角度可由超平面的权重向量之间的关系定义。基于深度学习的神经网络方法和时间注意力机制在一定程度上优化了当前复杂数据条件下的时间序列预测的有效性和准确性，但是时间注意力机制得到的时间序列各时间点权重会表现出长尾效应，即较少的时间点拥有较高权重，而有大部分时间点拥有较小权重，现实世界的时间序列数据产生原因多样，不同时间点相互之间联系复杂，对于时间序列中分配到较小权重的某些时间点其数据特征表现不明显，但是仍然会对需要预测的信息或异常具有重要影响，因此注意力机制反而可能丢失一些重要的信息。
技术实现思路
本专利技术提出一种融合时间注意力机制的时间序列预测系统，包括预处理模块，预测模块；其中预处理模块对原始记录数据进行处理得到时序序列样本，所述预测模块使用编码-解码模块对时序序列进行编码，并对该时间序列蕴含的信息和数据进行预测；所述预测模块中包括角度正则化模块，所述角度正则化模块对所述时间序列中每一个时间点数据得到的编码信息所获得的影响力权重进行调整。本专利技术使用角度正则化来改善时间序列预测问题中，由于时间注意力机制带来的长尾效应导致信息丢失的问题。主要目标是提高神经网络模型对时间序列数据预测的准确性。本专利技术包括时间注意力机制会对时间序列中的每一个时间点进行权重分配，其中由每一个时间点的数据编码得到的信息可以理解为进行时序数据预测的权重超平面，通过角度正则化使超平面之间的角度最大，从而将一些被忽略的信息包括进来。表现在权重上则会提高长尾效应中位于尾部的数据记录的权重，使权重的分布相对更均匀，使一些隐藏的重要数据记录在时序数据预测中发挥作用。附图说明图1为本专利技术的融合序列预测系统整体框架图；图2为本系统中时序预测模型的架构图；具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术提出一种融合时间注意力机制的时间序列预测系统，包括预处理模块，预测模块；其中预处理模块对原始记录数据进行处理组成时序序列，所述预测模块使用编码-解码模块和时间注意力机制对时序序列进行编码并对该时间序列蕴含的所需信息和数据进行预测；所述预测模块中包括角度正则化模块，所述角度正则化模块对所述时间序列中每一个时间点数据得到的编码信息所获得的影响力权重进行调整。预测模块的编码-解码模块中，给定长度为T的时间序列X，X由各个时间点的数据构成：X＝<x1，x2...xT>(1)期待通过所述编码-解码模块来对该时间序列蕴含的信息(如时间序列所对应的某一种生产现象，机器或者服务器是否出现异常或之后一段时间的数据指标等)进行预测。以预测之后一段时间的数据指标为例，序列Y由之后n个时间点的数据构成：Y＝<y1，y2...yn>(2)编码器会对输入的时间序列X进行编码，将输入的时间序列通过非线性变换转换为一个中间向量表示C：C＝F(x1，x2...xT)(3)这个中间向量表示蕴含了时间序列X中的信息。解码器会根据时间序列X的中间向量表示C和之前已经解码生成的历史信息y1，y2…yi-1生成第i个时刻要预测的数据yi：yi＝G(C，y1，y2…yi-1)(4)每个yi都按上述公式依次产生，即通过长度为T的时间序列X预测得到数据序列Y。如果不是预测数据序列，而是预测生产现象种类或是否出现异常等，则将Y看作长度为1的序列。F和G分别指Encoder和Decoder使用的RNN(一般是LSTM或GRU)。传统的编码-解码模块存在的问题：1.对输入的时间序列X缺乏区分度，在预测数据序列Y时，对预测每个时刻的数据，使用的是相同的中间向量表示C，即X中每一个时间点的数据对预测Y中不同时刻的数据具有相同影响力。2.如果编码模块结构使用的是RNN，理论上时间序列X中越靠后的数据影响越大，即每一个时间点的数据并不是等权重的，那么靠前的数据造成的影响可能被很大消解；特别是当输入的时间序列X长度较长时，所有时间点的信息完全通过一个中间向量表示，每一时间点的数据信息已经消失，会丢失许多细节信息。本专利技术在编码-解码模块的基础上引入注意力机制，对编码和解码使用长短期记忆模型(LSTM/GRU)。本专利技术的解码器会根据之前已经解码生成的历史信息yi-1和第i个时刻解码器的隐状态si以及注意力机制生成的中间向量表示本文档来自技高网...

【技术保护点】
1.一种融合时间注意力机制的时间序列预测系统，其特征在于，包括预处理模块，预测模块；其中预处理模块对原始记录和数据进行处理组成时序序列，所述预测模块使用编码‑解码模块对所述时序序列进行编码并对所述时间序列蕴含的所需信息和数据进行预测；所述预测模块中包括角度正则化模块，所述角度正则化模块对所述时间序列中每一个时间点数据编码信息的影响力权重进行调整。

【技术特征摘要】
1.一种融合时间注意力机制的时间序列预测系统，其特征在于，包括预处理模块，预测模块；其中预处理模块对原始记录和数据进行处理组成时序序列，所述预测模块使用编码-解码模块对所述时序序列进行编码并对所述时间序列蕴含的所需信息和数据进行预测；所述预测模块中包括角度正则化模块，所述角度正则化模块对所述时间序列中每一个时间点数据编码信息的影响力权重进行调整。2.如权利要求1所述的系统，其特征在于，所述预测模块的编码-解码模块包括编码器和解码器，给定长度为T的时间序列X，X由各个时间点的数据构成：X＝<x1，x2...xT>(1)序列Y由预测之后n个时间点的数据构成：Y＝<y1，y2…yn>(2)编码器对输入的时间序列X进行编码，将输入的时间序列通过非线性变换转换为一个中间向量C：C＝F(x1，x2...xT)(3)所述中间向量表示蕴含了时间序列X中的信息。解码器根据时间序列X的中间向量表示C和解码生成的历史信息y1，y2…yi-1生成第i个时刻要预测的数据yi：yi＝G(C，y1，y2...yi-1)(4)F和G分别指编码器和解码器使用的RNN(一般是LSTM或GRU)。3.如权利要求2所述的系统，其特征在于，预测模块中包括注意力机制，时间注意力机制会对时间序列中的每一个时间点进行权重分配，其中由每一个时间点的数据编码得到的信息为进行时序数据预测的超平面，超平面之间的角度可由各时间点分配到的注意力权重向量进行定义，并通过角度正则化模块使超平面之间的角度最大；所述注意力机制的工作方式为，当预测不同时刻的数据时，所述注意力机制为解码器提供不同的中间向量编码Ci，使相对...

【专利技术属性】
技术研发人员：李建欣，彭杰奇，周号益，张迎春，张帅，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11