【技术实现步骤摘要】
本申请涉及多元时序预测领域，具体涉及一种多元缺失时序端到端预测方法及装置、电子设备。
技术介绍
1、多元时序数据是现实场景中的主要数据类型，多元时序数据预测已被证明具有极大的实用性，例如股票价格预测、天气预报等等。数据缺失是多元时序数据经常面临的问题，由于数据采集设备的故障、不稳定的系统环境或隐私考虑等各种因素，多元时间序列中某些特征/数值可能会无法观察。数据的缺失会直接导致多元时序数据质量下降，影响后续的多元时间序列下游任务效果。因此，需要针对多元缺失时序数据分析任务提出对应的方法。
2、现有的多元时间序列预测研究关注完整的多元时间序列预测问题，通过学习完整数据集的历史模式生成预测，缺乏端到端的多元缺失时序预测方法。一种直观的解决缺失多元时间序列数据预测的方法是使用多元时间序列修补模型来估算缺失值，然后利用预测模型来预测未来时间序列。但这些方法仍然存在局限性：(1)由于需要先补全在预测，导致效率上存在限制。(2)补全过程中会存在误差，在预测过程可能放大这些误差导致结果精度不佳。(3)目前的方法大多忽视了特征间的依赖性，而这在多元时序任务中是非常重要的。
技术实现思路
1、为了克服以上技术问题，本申请实施例提供一种多元缺失时序端到端预测方法及装置、电子设备，来提高预测精度和效率。
2、根据本申请实施例的第一方面，提供一种多元缺失时序数据端到端预测方法，其特征在于，包括：
3、获取历史时间段的带有预测标签的多元缺失时序数据样本以及其对应的数据缺失矩
4、构建基于transformer的神经网络模型；
5、对所述多元缺失时序数据样本根据其对应的数据缺失矩阵进行实例归一化处理后，并通过非重叠时间块划分得到时间块信息矩阵及其时间块缺失矩阵；
6、对所述时间块信息矩阵及其时间块缺失矩阵进行手动信息掩蔽，将掩蔽后的时间块信息矩阵及其时间块缺失矩阵进行拼接，拼接后输入所述基于transformer的神经网络模型以获取时序表征，并通过线性层进行重建预测，利用重构掩蔽信息的方式进行自监督预训练，得到预训练后的神经网络模型；
7、构建联合交叉预测模块，将拼接后的所述时间块信息矩阵及其时间块缺失矩阵输入所述预训练后的神经网络模型以获取时序表征，接着将所述时序表征输入所述联合交叉预测模块得到预测结果，将所述预测结果反归一化，利用最小化时序预测结果以及未来时序标签的均方误差对所述预训练后的神经网络模型进行微调，得到多元缺失时序预测模型；
8、将拼接后的时间块信息矩阵及其时间块缺失矩阵输入所述多元缺失时序预测模型对多元缺失时序数据进行预测得到结果后进行反归一化，得到最终时序未来预测结果。
9、根据本申请实施例的第二方面，提供一种多元缺失时序数据端到端预测装置，包括：
10、获取模块，用于获取历史时间段的带有预测标签的多元缺失时序数据样本以及其对应的数据缺失矩阵；
11、构建模块，用于构建基于transformer的神经网络模型；
12、数据处理模块，用于对所述多元缺失时序数据样本根据其对应的数据缺失矩阵进行实例归一化处理后，并通过非重叠时间块划分得到时间块信息矩阵及其时间块缺失矩阵；
13、预训练模块，用于对所述时间块信息矩阵及其时间块缺失矩阵进行手动信息掩蔽，将掩蔽后的时间块信息矩阵及其时间块缺失矩阵进行拼接，拼接后输入所述基于transformer的神经网络模型以获取时序表征，并通过线性层进行重建预测，利用重构掩蔽信息的方式进行自监督预训练，得到预训练后的神经网络模型；
14、微调模块，用于构建联合交叉预测模块，将拼接后的所述时间块信息矩阵及其时间块缺失矩阵输入所述预训练后的神经网络模型以获取时序表征，接着将所述时序表征输入所述联合交叉预测模块得到预测结果，将所述预测结果反归一化，利用最小化时序预测结果以及未来时序标签的均方误差对所述预训练后的神经网络模型进行微调，得到多元缺失时序预测模型；
15、预测模块，用于将拼接后的时间块信息矩阵及其时间块缺失矩阵输入所述多元缺失时序预测模型对多元缺失时序数据进行预测得到结果后进行反归一化，得到最终时序未来预测结果。
16、根据本申请实施例的第三方面，提供一种电子设备，包括：
17、一个或多个处理器；
18、存储器，用于存储一个或多个程序；
19、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
20、根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
21、本申请的实施例提供的技术方案可以包括以下有益效果：
22、与现有技术相比，本专利技术的改进之处在于：本方法采用基于transformer的架构对多元缺失时序数据进行端到端预测，克服了缺失时序数据预测效率低的问题；通过预训练的方式学习缺失状态分布和微调的方式适应下游预测任务，克服了缺失时序数据预测不准确的问题本方法预测精度较目前先补全后预测算法提升20％，并且具有更高的预测效率。
23、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种多元缺失时序数据端到端预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取历史时间段的带有预测标签的多元缺失时序数据样本以及其对应的数据缺失矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述多元缺失时序数据样本包括在一段时间内的日期、温度、降水量和相对湿度这四个特征字段。
4.根据权利要求1所述的方法，其特征在于，构建基于Transformer的神经网络模型，包括：
5.根据权利要求1所述的方法，其特征在于，对所述多元缺失时序数据样本根据其对应的数据缺失矩阵进行实例归一化处理后，并通过非重叠时间块划分得到时间块信息矩阵及其时间块缺失矩阵，包括：
6.根据权利要求1所述的方法，其特征在于，对所述时间块信息矩阵及其时间块缺失矩阵进行手动信息掩蔽，将掩蔽后的时间块信息矩阵及其时间块缺失矩阵进行拼接，拼接后输入所述基于Transformer的神经网络模型以获取时序表征，并通过线性层进行重建预测，利用重构掩蔽信息的方式进行自监督预训练，得到预训练后的神经网络模型，包括：
7.根
8.一种多元缺失时序数据端到端预测装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种多元缺失时序数据端到端预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取历史时间段的带有预测标签的多元缺失时序数据样本以及其对应的数据缺失矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述多元缺失时序数据样本包括在一段时间内的日期、温度、降水量和相对湿度这四个特征字段。
4.根据权利要求1所述的方法，其特征在于，构建基于transformer的神经网络模型，包括：
5.根据权利要求1所述的方法，其特征在于，对所述多元缺失时序数据样本根据其对应的数据缺失矩阵进行实例归一化处理后，并通过非重叠时间块划分得到时间块信息矩阵及其时间块缺失矩阵，包括：
6.根据权利要求1所述的方法，其特征在于，对所述时间块信息矩阵及其时间块缺失矩阵进行手动信息掩蔽，将掩蔽后的时间块信息矩阵及其时间块缺失矩阵进行拼接，...
【专利技术属性】
技术研发人员：苗晓晔，潘道栈，张璐，吴洋洋，张超，张金山，林博，潘晓华，尹建伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。