一种用于时间序列预测的频率分析方法及系统技术方案

本发明专利技术提供的一种用于时间序列预测的频率分析方法及系统，所述分析方法包括：采用离散傅里叶变换DFT获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。能够有效地利用数据中潜在的不同频率分量来提供十分准确的预测效果。效果。效果。

【技术实现步骤摘要】
一种用于时间序列预测的频率分析方法及系统


[0001]本专利技术涉及数据挖掘领域，尤其涉及一种用于时间序列预测的频率分析方法及系统。

技术介绍

[0002]目前的时间序列预测方法从宏观角度可大致划分两类：基于时域的预测方法和基于频域的预测方法。基于时域的方法从序列本身的数值提取特征，对未来进行预测，最经典的方法包括：自回归模型(AR)、移动平均模型(MA)、移动平均自回归模型(ARMA)以及移动平均差分自回归模型(ARIMA)。ARIMA模型是具有代表性的方法，其核心思想为通过差分使得原始非平稳序列平稳之后对序列历史值进行加权求和，但ARIMA一般只可用于短期预测，无法利用序列的复杂时间模式，并且无法处理多变量时间序列。基于深度学习方法的循环神经网络(RNN)从一定程度上可以解决ARIMA的问题，但RNN的长距离依赖问题难以解决，并且由于RNN结构的限制，随着预测长度的不断增加误差累积不可避免，严重影响在长期预测中的效果。近期，基于Transformer的深度学习架构在长期预测问题中取得了很好的效果，如Autoformer、Informer等，它们基于序列的时域特征，利用不同的自注意力方法提取序列的长距离依赖。
[0003]基于频域的方法利用离散傅里叶变换(DFT)将原始序列转换为频率谱，再将频率谱作为特征来进行分析和预测。代表性的方法有StemGNN，StemGNN利用图神经网络(GNN)对多变量进行建模，之后使用DFT将序列转换至频域后利用深度学习方法捕捉频域的变化模式。StemGNN在短期预测中拥有良好性能，而在长期预测的优势并不明显。基于频域的方法可以提取到序列更加宏观的信息，而如何利用好各个频率分量的信息是准确预测的重点，但目前缺乏有效的算法来利用频率信息进行中长期预测。
[0004]简而言之，目前常用的上述两类方法均存在不同的问题：
[0005]1.基于时域的方法容易受到噪声的影响而难以对序列的宏观特征进行建模，如序列的周期，而宏观特征对于长期预测的准确性至关重要。
[0006]2.目前基于频域的方法没有考虑不同频率分量的重要性，不同频率分量对预测结果的影响不同，短期预测受到高频分量的影响更大，而长期预测受到低频分量的影响更大，目前缺乏用于长期预测的、具有针对性的频域模型。

技术实现思路

[0007]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种用于时间序列预测的频率分析方法及系统。
[0008]根据本专利技术的一个方面，提供了一种用于时间序列预测的频率分析方法，所述分析方法包括：
[0009]采用离散傅里叶变换DFT获取原始输入时间序列的频率特征；
[0010]提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现
剔除频率分量中的干扰项的目的；
[0011]基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。
[0012]可选的，所述采用离散傅里叶变换DFT获取原始输入时间序列的频率特征具体包括：
[0013]原始的时间序列数据均为基于时域的时间点数据；
[0014]使用离散傅里叶变换DFT对输入原始的所述时间序列数据进行预处理。
[0015]可选的，所述对输入原始的所述时间序列数据进行预处理具体包括：
[0016]编码器输入，设为n条输入序列的时域表示，时间长度为t，为输入序列的频域表示，由t组频率分量构成；
[0017]由于傅里叶变换结果的对称性，取单边频谱作为编码器的输入；
[0018]中的虚部与实部会被堆叠在最后一维作为整体传入模型；
[0019]解码器输入，由于时间序列具有时间动态性，越靠近预测点的时间段特征更加具有参考性，将输入序列的后一半提取，进行相似操作，来获得解码器的输入；
[0020]表示的后一半时域序列，为的频域表示，由t/2组频率分量构成，与编码器相同，取单边频谱作为解码器输入。
[0021]可选的，所述提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波具体包括：
[0022]频率分解多头自注意力机制通过多个头分别处理不同频率段的特征，频率分解多头自注意力机制的目的是寻找不同频率分量之间的依赖关系；
[0023]将输入频谱按照由低频到高频分别划分为四个部分，四个部分的区间长度逐级递增；
[0024]每个频率区间分别输入到独立的自注意力层形成多头结构，每个独立的自注意力层的处理流程。
[0025]可选的，所述基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征具体包括：
[0026]卷积神经网络的结构包括堆叠的1层二维卷积构成，第一个卷积层采用深度可分离卷积，卷积核宽度随着频率区间的增大而增大，第二个卷积层为标准卷积，使用Leaky RELU作为激活函数；
[0027]各个频率区间的处理结果通过连接操作拼接在一起，拼接后的长度与原始输入W的长度相同；
[0028]使用卷积模块对输出做整体映射。
[0029]可选的，所述分析方法还包括：算法拟合过程，包括：使用LayerNorm对频率特征归一化消除过大方差对模型训练的影响；
[0030]LayerNorm的数学形式如下：
[0031][0032][0033]其中，a为输入的特征，μ为输入特征的均值，σ为输入数据的标准差，为归一化后的结果。
[0034]本专利技术还提供了一种用于时间序列预测的频率分析系统，所述分析系统包括：
[0035]预处理模块，用于采用离散傅里叶变换DFT获取原始输入时间序列的频率特征；
[0036]卷积模块，用于提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；
[0037]频率分解多头自注意力机制模块，用于基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。
[0038]本专利技术提供的一种用于时间序列预测的频率分析方法及系统，所述分析方法包括：采用离散傅里叶变换DFT获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。能够有效地利用数据中潜在的不同频率分量来提供十分准确的预测效果。
[0039]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0040]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于时间序列预测的频率分析方法，其特征在于，所述分析方法包括：采用离散傅里叶变换DFT获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。2.根据权利要求1所述的一种用于时间序列预测的频率分析方法，其特征在于，所述采用离散傅里叶变换DFT获取原始输入时间序列的频率特征具体包括：原始的时间序列数据均为基于时域的时间点数据；使用离散傅里叶变换DFT对输入原始的所述时间序列数据进行预处理。3.根据权利要求2所述的一种用于时间序列预测的频率分析方法，其特征在于，所述对输入原始的所述时间序列数据进行预处理具体包括：编码器输入，设为n条输入序列的时域表示，时间长度为t，为输入序列的频域表示，由t组频率分量构成；由于傅里叶变换结果的对称性，取单边频谱作为编码器的输入；中的虚部与实部会被堆叠在最后一维作为整体传入模型；解码器输入，由于时间序列具有时间动态性，越靠近预测点的时间段特征更加具有参考性，将输入序列的后一半提取，进行相似操作，来获得解码器的输入；表示的后一半时域序列，为的频域表示，由t/2组频率分量构成，与编码器相同，取单边频谱作为解码器输入。4.根据权利要求1所述的一种用于时间序列预测的频率分析方法，其特征在于，所述提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波具体包括：频率分解多头自注意力机制通过多个头分别处理不同频率段的特征，频率分解多头自注意力机制的目的是寻找不同...

【专利技术属性】
技术研发人员：张益农，付恩，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：