一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法技术

本发明专利技术公开了一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法，属于时间序列在线预测领域。包括以下步骤：首先，收集时间序列历史数据并进行预处理，构建训练数据

An on-line prediction method of kernel recursive maximum correlation entropy time series based on random Fourier feature

【技术实现步骤摘要】
一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法
本专利技术属于时间序列在线预测领域，涉及一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法。
技术介绍
时间序列预测一直以来都是一个热门的研究内容并且已经被广泛应用于自然、社会和医学等各个领域。随着时间序列非线性、大数据量、更新速度快等特点的突显，对时间序列预测模型的动态更新能力和预测效率提出了更高的要求。核递归最小二乘算法(KernelRecursiveLeastSquares，KRLS)作为一种典型的在线预测算法，能够在每加入一个新的数据后立即训练并获得更新后的模型。因此，时间序列在线预测方法相对于其他预测方法，拥有学习效率高、可扩展性强并且能够自适应更新模型等优点。然而在实际工程和自然环境中往往混杂着噪声，因此，以最小均方误差为代价函数的KRLS算法无法达到理想的性能。随着信息论理论学习的发展，基于最大互相关熵的优化准则逐渐被引入以KRLS算法为代表的核自适应滤波方法中，从而有效的提升模型的抗噪能力。相较于仅能捕获误差信号的二阶统计量的最小均方误差准则，最大互相关熵准则能够获得更加丰富的统计信息量并能在噪声环境下保持良好的性能。文献[WuZ,ShiJ,ZhangX,etal.Kernelrecursivemaximumcorrentropy[J].SignalProcessing,2015,117:11-16.]将最大相关熵准则引入KRLS，得到了核递归最大相关熵(KernelRecursiveMaximumCorrentropy，KRMC)算法。虽然KRMC是一种具有较强非线性、鲁棒性的时间序列在线预测方法，但它依旧存在着如下的问题：随着数据的增加，KRMC中核矩阵维数的线性增长会导致计算复杂度的不断增加。由于这样的不足，KRMC在实践中不能有效地应用于大规模数据，无法突出在线预测的高效动态更新与预测能力。本专利技术由国家自然基金项目(61773087)资助。
技术实现思路
为解决以上问题，本专利技术提供了一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法，解决KRMC算法在大规模时间序列数据预测时，在线预测性能不佳的问题，具体方案如下：一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法，包括以下步骤：S1.收集时间序列历史数据并进行预处理，构建数据样本所述步骤S1中的预处理方法为相空间重构方法。根据相空间重构理论，将收集的时间序列进行重构。并且构建如下的数据样本{x(n),其中，n＝1,2,...,N，N为数据样本的个数，ρ为嵌入维数，τ为延迟时间，x(n)是第n个输入向量，d(n)是输出信号。对于核方法，预测函数其中是由Mercer核引入的非线性映射，它将输入x映射至高维特征空间H中，<·,·>H表示H中的内积，W是模型权重矩阵；S2.对模型各个参数进行初始化，按照模型参数的类型分为如下子步骤：S201.第一类模型参数包括：最大互相关熵准则中的核宽度σ、随机傅里叶特征的维度D、所述步骤S1中Mercer核的核宽度σ′、遗忘因子λ，两个核宽度对应的核函数均为高斯核函数，之后根据经验对上述四个模型参数进行初始化；S202.第二类模型参数包括等效映射中的参数ωr和br，按照如下规则选取进行初始化：服从参数为0和Id/σ′2的正态分布，其中，r＝1,2,...,D，d表示输入的维度，Id表示d维的单位矩阵，D表示随机傅里叶特征的维度；服从区间[0,2π]上的均匀分布。S203.第三类模型参数为模型递归过程中的过程变量：权重矩阵W(n)、中间矩阵Q(n)；并对其进行初始化，即n＝0时：其中，ID为D维的单位矩阵。S3.根据步骤S1构建的数据样本及步骤S2中选定的各项参数，递归地训练模型，其中n的取值从1到N，包括以下子步骤：S301.计算随机傅里叶特征向量：其中，参数ωr和br通过所述步骤S202选取得到。通过上述操作，随机傅里叶特征构建了一个有限维映射，即将Mercer核近似为一个固定大小D的矩阵，因此在每次迭代时都只需要固定的时间和内存。S302.对模型参数进行迭代更新：计算预测误差：e(n)＝d(n)-W(n-1)Tz(x(n))(4)计算中间变量：其中，更新中间矩阵：Q(n)＝λ-1[Q(n-1)-m2K(n)z(x(n))TQ(n-1)](6)更新模型权重矩阵：W(n)＝W(n-1)+m2K(n)e(n)(7)此时，可以得到当前步骤的模型权重矩阵。S303.更新n，即n＝n+1，判断是否结束训练：若n＜N，则进行下一次迭代更新，返回步骤S301；否则，训练完成得到模型权重矩阵W(N)，进入下一步。S4.利用步骤S3训练好的模型对新输入模型的数据进行预测，对模型进行验证。包括以下子步骤：S401.计算的随机傅里叶特征向量：S402.根据步骤3得到的模型权重矩阵，计算预测值：其中，W(N)表示S3步骤中最终训练得到的权重系数。本专利技术的有益效果为：在保持算法鲁棒性的同时限制了网络尺度的增长，能够高效且准确地进行时间序列预测。附图说明图1是本专利技术的时间序列预测方法示意图。图2是本专利技术RFF-RMC模型和RFF-RLS模型基于Mackey-Glass时间序列的仿真收敛曲线对比图。图3是本专利技术RFF-RMC模型基于北京八达岭PM2.5污染物时间序列的预测曲线和误差曲线。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。如图1所示，一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法，包括以下步骤：S1.收集时间序列历史数据并进行预处理，构建数据样本{x(n),所述步骤S1中的预处理方法为相空间重构。相空间能够将时间序列扩展到高维的向量空间中，充分显露时间序列的本质信息。根据Takens定理，只要选择合适的延迟时间τ和嵌入维数m，就能够在拓扑等价的意义下恢复原来系统的动力学形态特性。根据相空间重构理论，将时间序列进行重构,即构建如下的数据样本{x(n),其中，n＝1,2,...,N，N为数据样本的个数，ρ为嵌入维数，τ为延迟时间，x(n)是第n个输入向量，d(n)是输出信号。对于核方法，预测函数其中是由Mercer核引入的非线性映射，它将输入x映射至高维特征空间H中，<·,·>H表示H中的内积，W是模型权重矩阵；S2.对模型各个参数进行初始化，按照模型参数的类型分为如下子步骤：S201.第一类模型参数包括：最大互相关熵准则中的核宽度σ、随机傅里叶特征的维度D、所述步本文档来自技高网...

【技术保护点】
1.一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法，其特征在于，包括以下步骤：/nS1.收集时间序列历史数据并进行预处理，构建数据样本

【技术特征摘要】
1.一种基于随机傅里叶特征的核递归最大相关熵时间序列在线预测方法，其特征在于，包括以下步骤：
S1.收集时间序列历史数据并进行预处理，构建数据样本
所述预处理方法为相空间重构方法；根据相空间重构理论，将收集的时间序列进行重构；并且构建如下的数据样本



其中，n＝1,2,...,N，N为数据样本的个数，ρ为嵌入维数，τ为延迟时间，x(n)是第n个输入向量，d(n)是输出信号；对于核方法，预测函数其中是由Mercer核引入的非线性映射，它将输入x映射至高维特征空间H中，<·,·>H表示H中的内积，W是模型权重矩阵；
S2.对模型各个参数进行初始化；
S201.第一类模型参数包括最大互相关熵准则中的核宽度σ、随机傅里叶特征的维度D、所述步骤S1中Mercer核的核宽度σ′、遗忘因子λ，对上述四个模型参数进行初始化；两个核宽度对应的核函数均为高斯核函数；
S202.第二类模型参数包括等效映射中的参数ωr和br，按照如下规则选取并进行初始化：

服从参数为0和Id/σ′2的正态分布，其中，r＝1,2,...,D，d表示输入的维度，Id表示d维的单位矩阵，D表示随机傅里叶特征的维度；

服从区间[0,2π]上的均匀分布；
S203.第三类模型参数为模型递归过程中的过程变量：权重矩阵W(n)、中间矩阵Q(n)；对其进行初始化，即n＝0时：



其中，ID为D维的单位矩...

【专利技术属性】
技术研发人员：沈天宇，任伟杰，韩敏，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21