时间序列预测方法、装置、电子设备及介质制造方法及图纸

本发明专利技术公开了一种时间序列预测方法、装置、电子设备及介质，涉及大数据技术领域。该方法包括：获取历史时间序列数据；基于Transformer网络构建预测模型，该预测模型包括注意力层，注意力层包括线性映射自相关注意力模块，线性映射自相关注意力模块用于获取预测模型的输入数据的自相关特征；将历史时间序列数据作为输入数据输入预测模型，基于预测模型的线性映射自相关注意力模块，获得历史时间序列数据的自相关特征，并基于历史时间序列数据的自相关特征，获得当前时刻之后预设时间段内的预测序列。该方法能够捕获历史时间序列数据的上下文关联信息，预测更精准，降低了空间和时间复杂度，提高了内存效率和时间效率。提高了内存效率和时间效率。提高了内存效率和时间效率。

【技术实现步骤摘要】
时间序列预测方法、装置、电子设备及介质


[0001]本专利技术涉及大数据
，尤其涉及一种时间序列预测方法、装置、电子设备及介质。

技术介绍

[0002]在数学中，时间序列是按时间顺序索引列出的一系列数据点，是在连续的等间隔时间点采集的序列，是一系列离散时间数据。时间序列预测是指使用模型根据先前观察到的值来预测未来值，使用统计和建模分析时间序列数据，以进行预测并为战略决策提供信息的过程。时间序列预测可以用于涉及时间测量的任何应用科学和工程领域，例如可以应用于统计、信号处理、模式识别、计量经济学、数学金融、天气预报、地震预测、脑电图、控制工程、天文学、通信工程。
[0003]目前，常用的时间序列预测方法包括：基于机器学习的时序预测法，如自回归移动平均法((ARMA)、自回归法(AR)等。然而，基于机器学习的时序预测法适用于单变量的平稳时间序列分析，不适用于多变量的时间序列预测；基于深度学习的预测方法,例如循环神经网络RNN、长短期依赖神经网络LSTM等，基于RNN的方法面对长时间序列无法完全消除梯度消失和梯度爆炸的问题，在模型预测时每步预测都依赖于上一步隐状态的问题，模型不能充分表征时序数据的非线性关系。

技术实现思路

[0004]为解决上述技术问题或至少部分地解决上述技术问题，本专利技术实施例提供一种时间序列预测方法、装置、电子设备及介质。
[0005]第一方面，本专利技术实施例提供了一种时间序列预测方法，包括：
[0006]获取历史时间序列数据；
[0007]基于Transformer网络构建预测模型，所述预测模型包括注意力层，所述注意力层包括线性映射自相关注意力模块，所述线性映射自相关注意力模块用于获取所述预测模型的输入数据的自相关特征；
[0008]将所述历史时间序列数据作为输入数据输入所述预测模型，基于所述预测模型的线性映射自相关注意力模块，获得所述历史时间序列数据的自相关特征，并基于所述历史时间序列数据的自相关特征，获得当前时刻之后预设时间段内的预测序列。
[0009]可选地，所述预测模型的线性映射自相关注意力模块包括线性映射子模块和自相关注意力子模块；所述线性映射子模块用于基于预设的线性映射矩阵对所述历史时间序列数据对应的键矩阵和/或值矩阵进行线性映射；所述自相关注意力子模块用于对所述历史时间序列数据对应的查询矩阵、键矩阵和值矩阵中的一个或多个进行自相关映射。
[0010]可选地，所述预测模型的注意力层还包括以下一种或多种：稀疏注意力模块、注意力模块和残差注意力模块；所述线性映射自相关注意力模块、稀疏注意力模块、注意力模块和残差注意力模块通过预设的目标参数进行调用。
[0011]可选地，所述预测模型采用编码器
‑
解码器结构；所述编码器包括输入嵌入层、位置编码层、所述注意力层、正则化层和前馈层；所述解码器包括输出嵌入层、所述位置编码层、所述注意力层、所述正则化层、所述前馈层、线性转换层和激活层。
[0012]可选地，所述预测模型的所述位置编码层用于确定所述历史时间序列数据中每一数据的位置编码特征向量，所述位置编码层采用三角函数式编码。
[0013]可选地，所述位置编码层根据下式确定所述历史时间序列数据中每一数据的位置编码特征向量：
[0014][0015][0016]其中，PE表示位置编码特征向量，pos表示所述历史时间序列数据中索引下标为i的数据的位置，N表示正整数，d
model
表示所述预测模型的模型维度。
[0017]可选地，所述预测模型的所述前馈层包括第一前馈模块和/或第二前馈模块，所述第一前馈模块和所述第二前馈模块通过预设的指定参数进行调用；
[0018]所述第一前馈模块的激活函数包括以下一种或多种：ELU函数、GELU函数、GELU_Fast函数、GELU_new函数、Swish函数、Tanh函数、Sigmoid函数；所述第二前馈模块为卷积神经网络结构。
[0019]可选地，所述将所述历史时间序列数据作为输入数据输入所述预测模型，基于所述预测模型的线性映射自相关注意力模块，获得所述历史时间序列数据的自相关特征，包括：
[0020]将所述历史时间序列数据作为输入数据输入所述预测模型，利用所述输入嵌入层将所述历史时间序列数据转化为向量形式，得到所述历史时间序列数据的输入数据向量和全局时间特征向量；
[0021]利用所述位置编码层确定所述历史时间序列数据的位置编码特征向量；
[0022]基于所述输入数据向量、所述全局时间特征向量和所述位置编码特征向量，获得输入表示向量；
[0023]将所述输入表示向量输入所述预测模型的线性映射自相关注意力模块，获得所述历史时间序列数据的自相关特征。
[0024]可选地，所述解码器采用生成式并行预测方式获得当前时刻之后预设时间段内的预测序列；
[0025]所述解码器的输入数据的形式如下式(2)所示：
[0026][0027]其中，表示所述预测序列对应的占位符；表示所述预测序列的开始字符，所述开始字符为从历史时间序列中采样的时间序列。
[0028]第二方面，本专利技术实施例提供了一种时间序列预测装置，包括：
[0029]数据获取模块，用于获取历史时间序列数据；
[0030]模型构建模块，用于基于Transformer网络构建预测模型，所述预测模型包括注意力层，所述注意力层包括线性映射自相关注意力模块，所述线性映射自相关注意力模块用
于获取所述预测模型的输入数据的自相关特征；
[0031]预测模块，用于将所述历史时间序列数据作为输入数据输入所述预测模型，基于所述预测模型的线性映射自相关注意力模块，获得所述历史时间序列数据的自相关特征，并基于所述历史时间序列数据的自相关特征，获得当前时刻之后预设时间段内的预测序列。
[0032]可选地，所述预测模块还用于：将所述历史时间序列数据作为输入数据输入所述预测模型，利用所述输入嵌入层将所述历史时间序列数据转化为向量形式，得到所述历史时间序列数据的输入数据向量和全局时间特征向量；利用所述位置编码层确定所述历史时间序列数据的位置编码特征向量；基于所述输入数据向量、所述全局时间特征向量和所述位置编码特征向量，获得输入表示向量；将所述输入表示向量输入所述预测模型的线性映射自相关注意力模块，获得所述历史时间序列数据的自相关特征。
[0033]第三方面，本专利技术实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任一实施例的时间序列预测方法。
[0034]第四方面，本专利技术实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术任一实施例的时间序列预测方法。
[0035]上述专利技术中的一个实施例具有如下优点或有益效果：
[0036]本专利技术实施例的时间序列预测方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时间序列预测方法，其特征在于，包括：获取历史时间序列数据；基于Transformer网络构建预测模型，所述预测模型包括注意力层，所述注意力层包括线性映射自相关注意力模块，所述线性映射自相关注意力模块用于获取所述预测模型的输入数据的自相关特征；将所述历史时间序列数据作为输入数据输入所述预测模型，基于所述预测模型的线性映射自相关注意力模块，获得所述历史时间序列数据的自相关特征，并基于所述历史时间序列数据的自相关特征，获得当前时刻之后预设时间段内的预测序列。2.根据权利要求1所述的方法，其特征在于，所述预测模型的线性映射自相关注意力模块包括线性映射子模块和自相关注意力子模块；所述线性映射子模块用于基于预设的线性映射矩阵对所述历史时间序列数据对应的键矩阵和/或值矩阵进行线性映射；所述自相关注意力子模块用于对所述历史时间序列数据对应的查询矩阵、键矩阵和值矩阵中的一个或多个进行自相关映射。3.根据权利要求2所述的方法，其特征在于，所述预测模型的注意力层还包括以下一种或多种：稀疏注意力模块、注意力模块和残差注意力模块；所述线性映射自相关注意力模块、稀疏注意力模块、注意力模块和残差注意力模块通过预设的目标参数进行调用。4.根据权利要求3所述的方法，其特征在于，所述预测模型采用编码器
‑
解码器结构；所述编码器包括输入嵌入层、位置编码层、所述注意力层、正则化层和前馈层；所述解码器包括输出嵌入层、所述位置编码层、所述注意力层、所述正则化层、所述前馈层、线性转换层和激活层。5.根据权利要求4所述的方法，其特征在于，所述预测模型的所述位置编码层用于确定所述历史时间序列数据中每一数据的位置编码特征向量，所述位置编码层采用三角函数式编码。6.根据权利要求5所述的方法，其特征在于，所述位置编码层根据下式(1)确定所述历史时间序列数据中每一数据的位置编码特征向量：其中，PE表示位置编码特征向量，pos表示所述历史时间序列数据中索引下标为i的数据的位置，N表示正整数，d
model
表示所述预测模型的模型维度。7.根据权利要求5所述的方法，其特征在于，所述预测模型的所述前馈层包括第一前馈模块和/或第二前馈模块，所述第一前馈模块和所述第二前馈模块通过预设的指定参数进行调用；所述第一前馈模块的激活函数包括以...

【专利技术属性】
技术研发人员：段智华，张岚，陈伟耿，赵戌，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：