处理时间序列数据的多层次预测制造技术

用于对时间序列数据执行多层次预测的方法、系统和装置，其包括计算机存储介质。方法包括确定一个或多个时间步长的相应预测层次的短期时间特性。该确定能够包括使用RNN编码器基于静态协变量和时变输入数据来生成编码器向量；并且使用一个或多个RNN解码器来预估相应未来时间段的短期模式。该方法还能够包括基于静态协变量、在相应过去时间段期间捕获的时变输入数据、以及时变已知未来输入数据来捕获相应预测层次的长期时间特性。相应预测层次的长期时间特性。相应预测层次的长期时间特性。

【技术实现步骤摘要】
【国外来华专利技术】处理时间序列数据的多层次预测
[0001]相关申请的交叉引用
[0002]本申请要求于2019年12月18日提交的题为“用于可解释多层次时间序列预测的时间融合变换器(TEMPORAL FUSION TRANSFORMERS FOR INTERPRETABLE MULTI
‑
HORIZON TIME SERIES FORECASTING)”的美国临时申请No.62/949,904的申请日的权益，其公开内容通过引用在此并入本文。

技术介绍

[0003]神经网络是被组织成两层或更多层较小模型(或“层”)的机器学习模型，每一层被配置为处理一个或多个输入并且生成一个或多个输出。输入能够来自前一层，来自神经网络外部的某个地方，或者这两者。每一层都能够包括一个或多个激活函数，这些激活函数能够使用权重值、和可选的偏置来处理传入输入。能够根据学习算法训练神经网络以学习使神经网络为给定的输入生成准确的输出的权重值。
[0004]编码器
‑
解码器循环神经网络(RNN)是一种神经网络架构，其能够通过将输入序列转换成固定形式的表示来训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于多层次预测系统，包括：序列到序列层和时间自注意力层，所述序列到序列层和时间自注意力层用于确定一个或多个时间步长的相应预测层次的短期时间特性和长期时间特性，其中：所述序列到序列层由一个或多个计算机实现，并且被配置为确定一个或多个时间步长的所述相应预测层次的短期时间特性，所述序列到序列层包括：一个或多个循环神经网络RNN编码器，所述一个或多个RNN编码器用于基于静态协变量和在相应过去时间段期间捕获的时变输入数据来生成编码器向量，以及一个或多个RNN解码器，每个RNN解码器被配置为基于所述编码器向量、所述静态协变量和时变已知未来输入数据来预估相应未来时间段的短期模式；以及所述时间自注意力层由所述一个或多个计算机实现，并且被配置为捕获所述相应预测层次的长期时间特性，所述时间自注意力层包括：多头注意力层，所述多头注意力层被配置为基于所述静态协变量、在所述相应过去时间段期间捕获的所述时变输入数据以及所述时变已知未来输入数据来生成每个层次的预测。2.根据权利要求1所述的系统，还包括变量选择层，所述变量选择层被配置为对每个输入变量生成变量选择权重，所述输入变量包括以下中的一个或多个：所述静态协变量、在相应过去时间段期间捕获的所述时变输入数据或所述时变已知未来输入数据。3.根据权利要求2所述的系统，其中，所述变量选择层包括多个变量选择器，所述多个变量选择器中的每个变量选择器被配置为在相应的未来时间段或过去时间段为所述输入变量生成变量选择权重。4.根据权利要求2或3中的一项所述的系统，其中，所述变量选择层包括被配置为生成用于选择所述静态协变量的变量选择权重的变量选择器。5.根据权利要求4所述的系统，还包括一个或多个静态协变量编码器，所述一个或多个静态协变量编码器被配置为基于用于选择所述静态协变量的所述变量选择权重对上下文向量进行编码。6.根据权利要求5所述的系统，其中，所编码的上下文向量被传递到所述变量选择层中的所述多个变量选择器中的每一个。7.根据权利要求5或6中的一项所述的系统，其中，所编码的上下文向量被传递到静态富集层，所述静态富集层包括多个门控残差网络GRN，其中，每个GRN被分配相应的未来时间段或过去时间段，并且每个GRN被配置为增加影响对应于其相应时间段的时间动态的所编码的上下文向量内的静态协变量的所述权重。8.根据权利要求7所述的系统，其中，所述静态富集层中的每个GRN的输出形成被输入到所述多头注意力层中的数据集。9.根据权利要求8所述的系统，其中，每个GRN的所述输出被输入到所述多头注意力层的相应掩码中，其中，每个掩码对应于用于因果预估的相应时间段。10.根据权利要求1所述的系统，其中，每个未来时间段的预测被转换成分位数预测。11.根据权利要求1所述的系统，还包括多个门控网络，其中，每个门控网络包括具有共享权重的多个门控线性单元GLU。12.根据权利要求11所述的系统，其中，所述多个GLU被配置为减少对所述多层次预测
的输出预估影响较小的变量的贡献。13.一种用于多层次预测方法，包括：通过执行序列到序列层和时间自注意力层的一个或多...

【专利技术属性】
技术研发人员：思杰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：