一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法技术

一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，包括：步骤1、对输入的时间序列数据通过RevIN方法进行数据规范化；步骤2、利用组合分解方法对时间序列进行分解为长期趋势和季节性；步骤3、构建小波傅里叶变换适配器，获取数据的局部周期特性和全局周期特征；步骤4、构建预训练大模型，对其前馈层和自注意力模块进行冻结，利用适配器微调方法，将步骤3构建的适配器插入到模型的自注意力模块之前；步骤5、将步骤4构建的预训练大模型与联邦学习框架结合，构成联邦大模型，服务器端下发模型参数，客户端通过本地数据训练后只上传适配器参数，服务器端接收参数后通过联邦近端算法进行参数聚合，服务器端和客户端经过多轮参数传输后，全局模型达到最优；步骤6、通过步骤5中得到的最优全局预测模型对时间序列数据可以实现最优的预测结果。

【技术实现步骤摘要】

本专利技术涉及多变量时间序列数据的预测任务，更具体涉及一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法。

技术介绍

1、目前，互联网与不同产业的有机融合，让数字经济在产业发展中发挥了重要作用。大数据时代通过对海量数据进行分析，深度挖掘数据中的价值并将其用于人们的生产生活，充分体现了数据的价值和分析数据的有效性。对于数据的分析可以解决传统方法从部分推断整体的困难，并通过整体把握事物间的相互关联与发展趋势，从而做到科学预判、精准决策。

2、时间序列数据一种复杂且特殊的数据类型，在金融、交通、能源等多个领域研究中起着重要的作用。时序数据是按照时间维度生成的一组或者多组随机变量，通常以相对固定的采样频率对于变化过程进行记录。近年来，随着传感器和网络技术的高速发展，使得生成并积累大量的时序数据成为了可能。对于时间序列数据领域来说，通常涉及到分类、异常检测和预测等多个研究问题，其中时间序列预测任务是其研究的重点。

3、现有对于时间序列预测的研究主要以transformer为基础模型架构，其对于transformer变体主要分为模块级和本文档来自技高网...

【技术保护点】

1.一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，步骤1，具体包括：利用可逆实例规范化方法，使用均值(Exp)和方差(Var)对输入时间序列进行标准化，归一化方式可以定义为：

3.根据权利要求1所述的一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，所述步骤2中，对于时间序列数据可以分解为趋势，季节性和残差。趋势反映了数据中蕴含的长期变化趋势，季节性则代表了由于季节性因素引起的周期性波动，而残差则包含了数据...

【技术特征摘要】

1.一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，步骤1，具体包括：利用可逆实例规范化方法，使用均值(exp)和方差(var)对输入时间序列进行标准化，归一化方式可以定义为：

3.根据权利要求1所述的一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，所述步骤2中，对于时间序列数据可以分解为趋势，季节性和残差。趋势反映了数据中蕴含的长期变化趋势，季节性则代表了由于季节性因素引起的周期性波动，而残差则包含了数据中未被趋势和季节性解释的部分。时间序列分为三个新子系列看，可以由下式表示：

4.根据权利要求1所述的一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，所述步骤3中，构建了一个适配器模块，其由两部分组成，一部分通过离散傅里叶变换(discrete fourier transform，dft)将时序数据从时域转换到频域，对时间序列信号分解为一系列不同的频率。定义一段信号长度为n的时间序列信号x＝[x0,…,xn-1]，，dft可以表示为：

...

【专利技术属性】
技术研发人员：王鑫，陈鑫，黄伟口，陈坤，熊书博，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：