一种集成预训练语言模型的跨领域时间序列补全方法技术

本发明专利技术提供了一种集成预训练语言模型的跨领域时间序列补全方法，输入多个领域的多变量时间序列；对完整数据进行缺失掩盖操作，在数据归一化与分块之后，对时间序列数据生成缺失掩码，并根据掩码对原始时间序列进行处理；随机生成两组掩码，分别表示不同的缺失模式；通过掩码将时间序列的部分值屏蔽，得到带掩码的时间序列分别表示两种不同的缺失场景；模拟真实场景中的数据缺失模式，让模型能适应各种不完整的时间序列数据；初始化模型参数，采用在自然语言上预训练得到的时序补全基础模型的参数作为初始化的权重；输入序列标准化并对序列切片。能够对训练阶段未见过的任何不完整时间序列执行缺失数据补全任务。

【技术实现步骤摘要】

本专利技术涉及新一代信息，特别地涉及一种集成预训练语言模型的跨领域时间序列补全方法。

技术介绍

1、现实世界的时间序列数据常常存在缺失值，不完整的数据会复杂化各种时间序列应用，如预测和分类，最终降低时序分析的质量。这使得时间序列补全变得尤为重要。

2、许多时间序列补全模型是针对特定的缺失数据模式和领域设计的，例如随机缺失的交通时间序列。例如，hsiang-fu等人在国际会议advances in neural informationprocessing systems发表的文章《temporal regularized matrix factorization forhigh-dimensional time series prediction》上提出了一个专为多变量时间序列补全而设计矩阵分解模型。对于特定领域和特定缺失率的数据集，该模型通常需要使用低秩先验作为优化目标进行补全来优化专门的模型。

3、最近，深度学习技术在解决缺失数据补全问题上显示出良好的效果。yusuke等人在国际会议advances in neural infor本文档来自技高网...

【技术保护点】

1.一种集成预训练语言模型的跨领域时间序列补全方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的集成预训练语言模型的跨领域时间序列补全方法，其特征在于，步骤S3中，对预训练后的时序补全基础模型在特定领域的时序数据上微调，微调的流程包括：

3.根据权利要求2所述的集成预训练语言模型的跨领域时间序列补全方法，其特征在于，预训练语言模型架构包括嵌入层、对比学习模块、PLM模块、输出层、输出层。

4.根据权利要求3所述的集成预训练语言模型的跨领域时间序列补全方法，其特征在于，嵌入层包括时间嵌入、领域特定嵌入、序列统计嵌入、片段统计嵌入、缺失嵌入。...

【技术特征摘要】

1.一种集成预训练语言模型的跨领域时间序列补全方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的集成预训练语言模型的跨领域时间序列补全方法，其特征在于，步骤s3中，对预训练后的时序补全基础模型在特定领域的时序数据上微调，微调的流程包括：

3.根据权利要求2所述的集成预训练语言模型的跨领域时间序列补全方法，其特征在于，预训练语言模型架构包括嵌入层、对比学习模块、plm模块、输出层、输出层。

4.根据权利要求3所述的集成预训练语言模型的跨领域时间序列补全方法，其特征在于，嵌入层包括时间嵌入、领域特定嵌入、序列统计嵌入、片段统计嵌入、缺失嵌入。

5.根据权利要求2所述的集成预训练语言模型的跨领域时间序列补全方法，其...

【专利技术属性】
技术研发人员：伍元凯，程锦国，李科，尹苏皖，韩云祥，方夏，
申请(专利权)人：四川大学，
类型：发明
国别省市：