【技术实现步骤摘要】
本申请涉及大模型训练的，尤其是涉及一种基于频域表征学习的时序大模型构建方法。
技术介绍
1、随着大模型的出现，当前在时间序列领域，越来越多的工作开始聚焦于通过利用来自不同领域的大规模时间序列数据进行预训练，从而学习时间序列中的通用模式和规律。这种方法的核心目标是，通过在广泛的时间序列数据上进行预训练，模型能够捕捉到各种潜在的时序特征，如周期性、趋势性、季节性变化等，进而具备更强的泛化能力。使得模型能够快速适配于多种不同的时序任务，提升跨领域应用的效果与效率。
2、现有深度模型大多仅针对于特定下游任务进行训练，预训练时间序列大模型需要适配不同的下游任务。此外，时间序列数据具有多样性与复杂性，不同领域和不同来源的时间序列数据在频率、周期性、趋势以及噪声特性上各不相同，因此制定一种普适的时序预训练模型难度极大。
3、时序数据随着时间的推移通常会经历分布偏移。在时序数据的建模过程中，数据通常以标量形式表示于时域中，这种标量表示方式往往承载的信息较为有限，从而使得模型在捕获数据分布的变化和动态特征时面临较大困难。
<...【技术保护点】
1.一种基于频域表征学习的时序大模型构建方法，其特征在于，包括：
2.根据权利要求1所述的基于频域表征学习的时序大模型构建方法，其特征在于，所述纯频域损失函数包括：
3.根据权利要求2所述的基于频域表征学习的时序大模型构建方法，其特征在于，所述纯频域损失函数包括：
4.根据权利要求1所述的基于频域表征学习的时序大模型构建方法，其特征在于，在大模型的训练阶段，所述重构头计算重构数据的振幅和相位与输入数据的振幅和相位之间的偏差，所述预测头计算预测值的振幅和相位与真实值的振幅和相位之间的偏差评估模型的预测准确度；
5.根据权利...
【技术特征摘要】
1.一种基于频域表征学习的时序大模型构建方法，其特征在于，包括：
2.根据权利要求1所述的基于频域表征学习的时序大模型构建方法，其特征在于，所述纯频域损失函数包括：
3.根据权利要求2所述的基于频域表征学习的时序大模型构建方法，其特征在于，所述纯频域损失函数包括：
4.根据权利要求1所述的基于频域表征学习的时序大模型构建方法，其特征在于，在大模型的训练阶段，所述重构头计算重构数据的振幅和相位与输入数据的振幅和相位之间的偏差，所述预测头计算预测值的振幅和相位与真实值的振幅和相位之间的偏差评估模型的预测准确度；
【专利技术属性】
技术研发人员：梁玺杰，于沛，楼冬琴，郑增荣，何诚，
申请(专利权)人：上海鼎茂信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。