一种基于Transformer架构的时序数据预测的方法技术

技术编号:42023747 阅读:85 留言:0更新日期:2024-07-16 23:14
本发明专利技术公开了一种基于Transformer架构的时序数据预测的方法,包括以下步骤:步骤一,数据输入;步骤二,编码模块流程;步骤三,时间折叠模块流程;步骤四,Transformer模块流程;步骤五,输出模块流程;其中在上述步骤一中,建立模型,随后输入对应的时序数据和额外数据;其中在上述步骤二中,时序数据首先进入编码模块,进行再编码处理,以适配模型的需求;额外数据也被送入另一个编码模块,进行类似的再编码处理;两种数据编码后被映射到统一的维度空间,然后进行相加融合,以整合时序数据和额外数据的特征;该方法使用时间维度转换,能够高效地提取周期性信息,并通过优化注意力机制的计算过程,提升了时间序列预测的准确性和效率。

【技术实现步骤摘要】

本专利技术涉及时间序列分析,具体为一种基于transformer架构的时序数据预测的方法。


技术介绍

1、时间序列分析在现实世界中的应用广泛,涉及天气预报的气象因素预测、数据挖掘中的缺失数据填补、工业维护中的监控数据异常检测以及行为识别中的轨迹分类等领域。这些应用展示了时间序列分析的巨大实用价值。与其他类型的序列数据如语言或视频不同,时间序列是连续记录的,每个时间点通常只包含一些标量值。许多研究工作因此专注于分析时间变化,这些变化能够更好地反映时间序列的固有特性,如连续性、周期性和趋势。

2、在深度学习领域,为捕捉时间序列中的复杂时间变化,已经提出了多种方法。其中一类方法是使用循环神经rnn网络结构及其改进的方法,这种方法基于马尔可夫假设来模拟连续时间点。另一类方法是利用沿时间维度的卷积神经cnn网络结构及其改进的方法,专注于提取时间变化信息。最近,带有注意力机制的transformers模型在序列建模中得到了广泛应用。在时间序列分析中,许多基于transformer的模型采用了注意力机制或其变体来捕捉时间点之间的成对时间依赖关系。

...

【技术保护点】

1.一种基于Transformer架构的时序数据预测的方法,包括以下步骤:步骤一,数据输入;步骤二,编码模块流程;步骤三,时间折叠模块流程;步骤四,Transformer模块流程;步骤五,输出模块流程;其特征在于:

2.根据权利要求1所述的一种基于Transformer架构的时序数据预测的方法,其特征在于:所述步骤一中,数据可能包括时间标记的观测值、传感器读数或其他相关信息。

3.根据权利要求1所述的一种基于Transformer架构的时序数据预测的方法,其特征在于:所述步骤一中,模型中拥有编码模块、时间折叠模块、Transformer模块以及输出模块。

<...

【技术特征摘要】

1.一种基于transformer架构的时序数据预测的方法,包括以下步骤:步骤一,数据输入;步骤二,编码模块流程;步骤三,时间折叠模块流程;步骤四,transformer模块流程;步骤五,输出模块流程;其特征在于:

2.根据权利要求1所述的一种基于transformer架构的时序数据预测的方法,其特征在于:所述步骤一中,数据可能包括时间标记的观测值、传感器读数或其他相关信息。

3.根据权利要求1所述的一种基于transformer架构的时序数据预测的方法,其特征在于:所述步骤一中,模型中拥有编码模块、时间折叠模块、transformer模块以及输出模块。

4.根据权利要求1所述的一种基于transformer架构的时序数据预测的方法,其特征在于:所述步骤二中,编码模块的作用是,对原始的时序数据,以及可以接收额外补充的时序数据,进行有机结合,利用两个编码网络,将输入的数据映射到同个空间内,并进行融合和信息再编码。

【专利技术属性】
技术研发人员:杨术黄柏富曹凡璞吴振洲常晓磊
申请(专利权)人:深圳织算科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1