时间序列预测方法及装置制造方法及图纸

本申请提供一种时间序列预测方法及装置。所述方法包括：多次执行时间序列预测处理，直至执行次数满足预设次数；其中，每次时间序列预测处理均包括：将当前时间序列中各节点数据的数据向量输入编码器的自注意力层，通过自注意力机制确定与各所述数据向量对应的各所述时间节点的特征向量；将各所述特征向量输入解码器，根据各所述特征向量的预设权重进行加权，确定未来时间节点的预测值，以将所述预测值以及所述未来时间节点添加至所述当前时间序列中，获取下一时间序列；所述未来时间节点为所述当前时间序列中末位的所述时间节点的下一时间节点。本申请实施例提供的时间序列预测方法可以提高对时间序列进行预测的准确度。测方法可以提高对时间序列进行预测的准确度。测方法可以提高对时间序列进行预测的准确度。

【技术实现步骤摘要】
时间序列预测方法及装置


[0001]本申请涉及深度学习
，具体涉及一种时间序列预测方法及装置。

技术介绍

[0002]目前，对时间序列的预测通常采用时间序列预测模型进行预测。其中，时间序列是指由各时间节点的节点数据组成的数据序列，节点数据是指将由传感器或其他终端设备观测到的物理数据保持时间的顺序数据化后的数据。
[0003]相关技术中，时间序列预测模型通常基于循环神经网络来捕获时间特征，然后通过直接预测来训练多个模型，使每个模型预测未来的某个单一时间点，然后将预测到的多个时间点拼接作为多步时间序列预测到的时间序列。
[0004]然而，现有的时间序列预测模型无法捕获非线性的时间特征，或只能手动预设非线性，因此难以捕捉复杂的时间模式，导致在对时间序列进行预测，以预测未来时间节点的节点数据，如预测未来时间节点的基站用户接入量时，其预测的准确度差。且由于基于循环神经网络的模型存在梯度消失和梯度爆炸的问题，不能捕获长期特征，因此无法捕获到时间序列中的长时间关系，使得在预测未来时间节点的节点数据时，会出现数据损失的问题，进一步影响了对时间序列进行预测的准确度。

技术实现思路

[0005]本申请实施例提供一种时间序列预测方法及装置，能够更好地捕获非线性的时间特征的同时，避免梯度爆炸与梯度消失带来的数据损失的问题，提高对时间序列进行预测的准确度。
[0006]第一方面，本申请实施例提供一时间序列预测方法，包括：
[0007]多次执行时间序列预测处理，直至执行次数满足预设次数；r/>[0008]其中，每次时间序列预测处理均包括：
[0009]将当前时间序列中各节点数据的数据向量输入编码器的自注意力层，通过自注意力机制确定与各所述数据向量对应的各所述时间节点的特征向量；
[0010]将各所述特征向量输入解码器，根据各所述特征向量的预设权重进行加权，确定未来时间节点的预测值，以将所述预测值以及所述未来时间节点添加至所述当前时间序列中，获取下一时间序列；
[0011]所述未来时间节点为所述当前时间序列中末位的所述时间节点的下一时间节点。
[0012]在一个实施例中，将各所述节点数据的数据向量输入编码器的自注意力层，通过自注意力机制确定与各所述数据向量对应的各所述时间节点的特征向量之前，还包括：
[0013]将各所述时间节点的所述节点数据输入卷积神经网络中，通过所述卷积神经网络的卷积层对各所述节点数据进行升维处理，获取与各所述节点数据一一对应的各目标数据；
[0014]将各所述目标数据进行向量转换，获取各所述节点数据的数据向量；
[0015]其中，所述卷积层由m个n维的卷积核组成，n为时间序列维度，m>n。
[0016]在一个实施例中，所述将各所述数据向量以及各所述位置编码输入编码器的自注意力层，确定与各所述数据向量对应的各所述时间节点的特征向量，包括：
[0017]将各所述数据向量以及各所述位置编码输入编码器的自注意力层，根据各所述数据向量，获取各所述时间节点的初始注意力分数；
[0018]对各所述初始注意力分数进行归一化化，获取各所述时间节点的目标注意力分数；
[0019]根据各所述目标注意力分数以及各所述数据向量，确定各所述时间节点的特征向量。
[0020]在一实施例中，根据各特征向量的预设权重进行加权，确定未来时间节点的预测值，包括：
[0021]对各所述特征向量的预设权重进行归一化处理，获取各所述特征向量的目标权重；
[0022]将各目标权重进行加权，确定未来时间节点的预测值。
[0023]在一实施例中，所述预设权重根据所述时间序列中末位的所述时间节点的节点数据，以及所述时间序列中末位的所述时间节点的排位确定。
[0024]在一实施例中，在直至执行次数满足预设次数后，还包括：
[0025]获取每次时间序列预测处理后的损失值；
[0026]根据各所述损失值以及与所述预设次数对应的预测多步的步长，对各所述损失值进行叠加；
[0027]根据叠加后的各损失值以及预测多步的步长，对所述编码器中的损失函数通过随机梯度下降算法进行更新；
[0028]其中，所述损失值根据所述未来时间节点的预测值，以及所述未来时间节点的上一时间节点的节点数据确定。
[0029]在一实施例中，所述自注意力层用于通过多头注意力机制确定各所述时间节点的特征向量。
[0030]第二方面，本申请实施例提供一种时间序列预测装置，包括：
[0031]时间序列预测模块，用于多次执行时间序列预测处理，直至执行次数满足预设次数；
[0032]其中，每次时间序列预测处理均包括：
[0033]将当前时间序列中各节点数据的数据向量输入编码器的自注意力层，通过自注意力机制确定与各所述数据向量对应的各所述时间节点的特征向量；
[0034]将各所述特征向量输入解码器，根据各所述特征向量的预设权重进行加权，确定未来时间节点的预测值，以将所述预测值以及所述未来时间节点添加至所述当前时间序列中，获取下一时间序列；
[0035]所述未来时间节点为所述当前时间序列中末位的所述时间节点的下一时间节点。
[0036]第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的时间序列预测方法的步骤。
[0037]第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机
程序被处理器执行时实现第一方面所述的时间序列预测方法的步骤。
[0038]本申请实施例提供的时间序列预测方法及装置，通过将时间序列中各各时间节点的节点数据的数据向量输入编码器的自注意力层，从而使用注意力机制提取各时间节点的节点数据之间的关联性，并根据关联性计算未来时间节点与时间序列之间的相关性，预测得到未来时间节点的预测值，以根据预测值来更新时间序列，从而通过自注意力机制能够更好地捕获非线性特征，并利用自注意力机制将不同时间节点之间的距离压缩至常量，避免梯度爆炸与梯度消失带来的信息损失问题，进而提高对时间序列进行预测的准确度。
附图说明
[0039]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本申请实施例提供的时间序列预测方法的流程示意图；
[0041]图2是本申请实施例提供的时间序列预测装置的结构示意图；
[0042]图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0043]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时间序列预测方法，其特征在于，包括：多次执行时间序列预测处理，直至执行次数满足预设次数；其中，每次时间序列预测处理均包括：将当前时间序列中各节点数据的数据向量输入编码器的自注意力层，通过自注意力机制确定与各所述数据向量对应的各所述时间节点的特征向量；将各所述特征向量输入解码器，根据各所述特征向量的预设权重进行加权，确定未来时间节点的预测值，以将所述预测值以及所述未来时间节点添加至所述当前时间序列中，获取下一时间序列；所述未来时间节点为所述当前时间序列中末位的所述时间节点的下一时间节点。2.根据权利要求1所述的时间序列预测方法，其特征在于，将各所述节点数据的数据向量输入编码器的自注意力层，通过自注意力机制确定与各所述数据向量对应的各所述时间节点的特征向量之前，还包括：将各所述时间节点的所述节点数据输入卷积神经网络中，通过所述卷积神经网络的卷积层对各所述节点数据进行升维处理，获取与各所述节点数据一一对应的各目标数据；将各所述目标数据进行向量转换，获取各所述节点数据的数据向量；其中，所述卷积层由m个n维的卷积核组成，n为时间序列维度，m>n。3.根据权利要求1所述的时间序列预测方法，其特征在于，所述将各所述数据向量以及各所述位置编码输入编码器的自注意力层，确定与各所述数据向量对应的各所述时间节点的特征向量，包括：将各所述数据向量以及各所述位置编码输入编码器的自注意力层，根据各所述数据向量，获取各所述时间节点的初始注意力分数；对各所述初始注意力分数进行归一化化，获取各所述时间节点的目标注意力分数；根据各所述目标注意力分数以及各所述数据向量，确定各所述时间节点的特征向量。4.根据权利要求1所述的时间序列预测方法，其特征在于，根据各特征向量的预设权重进行加权，确定未来时间节点的预测值，包括：对各所述特征向量的预设权重进行归一化处理，获取各所述特征向量的目标权重；将各目标权重进行加权，确定...

【专利技术属性】
技术研发人员：张润波，胡清源，尚晶，江勇，陈卓，皇甫丹青，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：