处理时间序列数据的多层次预测制造技术

用于对时间序列数据执行多层次预测的方法、系统和装置，其包括计算机存储介质。方法包括确定一个或多个时间步长的相应预测层次的短期时间特性。该确定能够包括使用RNN编码器基于静态协变量和时变输入数据来生成编码器向量；并且使用一个或多个RNN解码器来预估相应未来时间段的短期模式。该方法还能够包括基于静态协变量、在相应过去时间段期间捕获的时变输入数据、以及时变已知未来输入数据来捕获相应预测层次的长期时间特性。相应预测层次的长期时间特性。相应预测层次的长期时间特性。

【技术实现步骤摘要】
【国外来华专利技术】处理时间序列数据的多层次预测
[0001]相关申请的交叉引用
[0002]本申请要求于2019年12月18日提交的题为“用于可解释多层次时间序列预测的时间融合变换器(TEMPORAL FUSION TRANSFORMERS FOR INTERPRETABLE MULTI
‑
HORIZON TIME SERIES FORECASTING)”的美国临时申请No.62/949,904的申请日的权益，其公开内容通过引用在此并入本文。

技术介绍

[0003]神经网络是被组织成两层或更多层较小模型(或“层”)的机器学习模型，每一层被配置为处理一个或多个输入并且生成一个或多个输出。输入能够来自前一层，来自神经网络外部的某个地方，或者这两者。每一层都能够包括一个或多个激活函数，这些激活函数能够使用权重值、和可选的偏置来处理传入输入。能够根据学习算法训练神经网络以学习使神经网络为给定的输入生成准确的输出的权重值。
[0004]编码器
‑
解码器循环神经网络(RNN)是一种神经网络架构，其能够通过将输入序列转换成固定形式的表示来训练以识别数据的输入序列与输出序列之间的模式。然后，第二模型(“解码器”)接收已编码序列作为输入，并且对已编码序列进行解码以生成预估序列，例如从法语句子翻译而来的英语句子。
[0005]编码器
‑
解码器长短期记忆(LSTM)网络是一种使用LSTM网络作为编码器和解码器模型的编码器
‑
解码器RNN。LSTM网络包括一个或多个单元状态、输入门和遗忘门。单元状态存储了LSTM网络在之前的时间步长处处理数据时“记住”的信息，而门控制LSTM网络从单元状态和对于给定的时间步长获取或丢弃哪些信息。
[0006]层次预测(horizon forecasting)是指在给定时间步长或时间步长(“预测层次”)处对不同变量的预测。多层次预测是指对多于一个层次的不同变量的预测。

技术实现思路

[0007]本说明书描述了用于处理时间序列数据以生成多层次预测的技术。这些技术通常涉及处理来自时间序列数据的短期和长期时间特性的系统。能够使用与时间序列数据的时间无关变量相对应的静态元数据来增强时间特性。通过使用相应的时间无关数据来处理时间相关数据，根据本说明书的描述实施的系统能够在不同的时间步长或时间步长组(“预测层次”)处生成准确并且可解释的预测。
[0008]如在本说明书中描述的系统在一些实施方式中能够在不同时间步长处选择性地过滤掉或门控一些输入，同时将相对重要性的权重分配给其他输入。这样一来，系统能够以更高的粒度处理输入数据，这与时间序列数据的高度可变性相一致。
[0009]如本说明书中描述的多层次预测在时间序列数据中表示的实体的特性能够随时间变化的许多应用中是有益的。
[0010]作为示例，实体能够是电网，并且特性能够包括电网在不同位置和不同时间点处的消耗。在一些实施方式中，系统能够在不同的预测层次预估未来的电力消耗率。预估的未
来电力消耗率能够用于预料电网负载的变化，并且自动化系统能够针对预估的未来消耗率评估电网，以确定在哪些位置电网基础设施需要改进或更换。
[0011]作为另一个示例，实体能够是由许多不同的互连道路和高速公路定义的高速公路交通系统。高速公路交通系统的特性能够包括交通流、和/或在不同时间点和不同位置处的交通拥堵。在一些实施方式中，系统能够在不同的预测层次预估未来的交通模式。例如，预估的交通模式能够用作使自动交通信号和其他交通控制机制的一部分根据不同的时间表执行以改善交通流量和/或减少拥塞。
[0012]作为另一个示例，如果所表示的实体是商业零售商，则特性能够包括一段时间内的库存变化，诸如一年内或假期期间。其他特性能够包括库存中不同项目成本的季节性变化，以及某些产品相对于其他类似类型(诸如电子产品)的销售率。在一些实施方式中，系统能够在不同的预测层次预测库存的预期变化。自动库存控制系统能够调整库存中不同项目的购买方式，例如通过在预期库存预估较低但相应供应也较低的时间而在较早时间供应较高时进行购买。
[0013]作为另一个示例，如果所表示的实体是医疗机构，则特性能够包括步入式患者的入院率或患者出院率。特性还能够包括在医疗机构处接受治疗的患者的不同医疗状况，包括总体测量的特性，诸如患者常见的状况类型，以及他们从这些状况类型中恢复的平均时间。在一些实施方式中，系统能够在不同的预测层次预测未来患者的预期入院。响应于未来患者的预期入院，自动化系统能够为必要的安排做好准备，诸如通过购买额外的医疗设备和/或在设施中安排额外的人员。
[0014]作为另一个示例，特性还能够包括时变并且与实体的财务或经济状况相关的特性。这种类型的特性能够包括实体在一段时间内的每日或每周收入。特性还能够包括短期或长期模式，诸如在每小时和每天与每月或每年测量时收入的短期或长期变化。在一些实施方式中，系统能够在不同的预测层次预测预期的变化收益。
[0015]预测的输出能够取决于许多静态与时变协变量之间的复杂关系。例如，商业零售商可能会基于消费者需求在一年中的不同时间如何增加或减少来增加或减少他们的可用库存。作为另一个示例，能够在一段时间的治疗过程中生成和调整患者治疗计划，以响应治疗计划或基于其他特性(诸如先前存在的状况)来调整患者健康的变化。
[0016]除了所附权利要求的实施方式和上述实施方式之外，以下实施方式也具有创新性。
[0017]一种系统能够包括用于确定一个或多个时间步长的相应预测层次的短期和长期时间特性的序列到序列层和时间自注意力层。序列到序列层能够由一个或多个计算机实现，并且被配置为确定一个或多个时间步长的相应预测层次的短期时间特性。序列到序列层能够包括用于基于静态协变量和在相应过去时间段期间捕获的时变输入数据生成编码器向量的一个或多个循环神经网络(RNN)编码器，以及一个或多个RNN解码器，每个RNN解码器被配置为基于编码器向量、静态协变量和时变已知未来输入数据来预估相应未来时间段的短期模式。时间自注意力层能够由所述一个或多个计算机实现并且被配置为捕获相应预测层次的长期时间特性。时间自注意力层能够包括多头注意力层，其被配置为基于静态协变量、在相应过去时间段期间捕获的时变输入数据以及时变已知未来输入数据来生成每个层次的预测。
[0018]该系统能够进一步包括变量选择层，所述变量选择层能够被配置为对包括静态协变量、在相应过去时间段期间捕获的时变输入数据，或时变已知未来输入数据中的一个或多个的每个输入变量来生成变量选择权重。
[0019]变量选择层能够包括多个变量选择器，所述多个变量选择器中的每个变量选择器被配置为在相应的未来或过去时间段处为输入变量生成变量选择权重。
[0020]变量选择层能够包括被配置为生成用于选择静态协变量的变量选择权重的变量选择器。
[0021]该系统能够进一步包括被配置为基于用于选择静态协变量的变量选择权重对上下文向量进行编码的一个或多个静态本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于多层次预测系统，包括：序列到序列层和时间自注意力层，所述序列到序列层和时间自注意力层用于确定一个或多个时间步长的相应预测层次的短期时间特性和长期时间特性，其中：所述序列到序列层由一个或多个计算机实现，并且被配置为确定一个或多个时间步长的所述相应预测层次的短期时间特性，所述序列到序列层包括：一个或多个循环神经网络RNN编码器，所述一个或多个RNN编码器用于基于静态协变量和在相应过去时间段期间捕获的时变输入数据来生成编码器向量，以及一个或多个RNN解码器，每个RNN解码器被配置为基于所述编码器向量、所述静态协变量和时变已知未来输入数据来预估相应未来时间段的短期模式；以及所述时间自注意力层由所述一个或多个计算机实现，并且被配置为捕获所述相应预测层次的长期时间特性，所述时间自注意力层包括：多头注意力层，所述多头注意力层被配置为基于所述静态协变量、在所述相应过去时间段期间捕获的所述时变输入数据以及所述时变已知未来输入数据来生成每个层次的预测。2.根据权利要求1所述的系统，还包括变量选择层，所述变量选择层被配置为对每个输入变量生成变量选择权重，所述输入变量包括以下中的一个或多个：所述静态协变量、在相应过去时间段期间捕获的所述时变输入数据或所述时变已知未来输入数据。3.根据权利要求2所述的系统，其中，所述变量选择层包括多个变量选择器，所述多个变量选择器中的每个变量选择器被配置为在相应的未来时间段或过去时间段为所述输入变量生成变量选择权重。4.根据权利要求2或3中的一项所述的系统，其中，所述变量选择层包括被配置为生成用于选择所述静态协变量的变量选择权重的变量选择器。5.根据权利要求4所述的系统，还包括一个或多个静态协变量编码器，所述一个或多个静态协变量编码器被配置为基于用于选择所述静态协变量的所述变量选择权重对上下文向量进行编码。6.根据权利要求5所述的系统，其中，所编码的上下文向量被传递到所述变量选择层中的所述多个变量选择器中的每一个。7.根据权利要求5或6中的一项所述的系统，其中，所编码的上下文向量被传递到静态富集层，所述静态富集层包括多个门控残差网络GRN，其中，每个GRN被分配相应的未来时间段或过去时间段，并且每个GRN被配置为增加影响对应于其相应时间段的时间动态的所编码的上下文向量内的静态协变量的所述权重。8.根据权利要求7所述的系统，其中，所述静态富集层中的每个GRN的输出形成被输入到所述多头注意力层中的数据集。9.根据权利要求8所述的系统，其中，每个GRN的所述输出被输入到所述多头注意力层的相应掩码中，其中，每个掩码对应于用于因果预估的相应时间段。10.根据权利要求1所述的系统，其中，每个未来时间段的预测被转换成分位数预测。11.根据权利要求1所述的系统，还包括多个门控网络，其中，每个门控网络包括具有共享权重的多个门控线性单元GLU。12.根据权利要求11所述的系统，其中，所述多个GLU被配置为减少对所述多层次预测
的输出预估影响较小的变量的贡献。13.一种用于多层次预测方法，包括：通过执行序列到序列层和时间自注意力层的一个或多...

【专利技术属性】
技术研发人员：思杰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：