【技术实现步骤摘要】
本专利技术涉及时空数据挖掘，更具体的说是涉及一种基于分离注意力机制的多变量时空数据生成方法。
技术介绍
1、时空数据生成可视为时空数据预测问题，是时空数据挖掘领域的经典问题。时空数据生成的本质是在根据历史时空数据探求其中隐藏的时空规律，实现对时空规律发展状态的准确判断及时空数据在一段时间内的准确生成。
2、时空数据与传统的数据相比，具有相关性模式、周期性模式和异质性模式。三种不同的模式在不同时空数据上有着不同的表现形式，对于多参数时空数据生成任务，除了要全面考虑数据在时空维度表现出的上述特点，还应考虑不同参数之间包含的互斥、耦合等隐藏信息，以实现所有参数的时空数据的准确生成。
3、目前，时空数据生成方法可以分为两类。一种是基于数值的方法；另一种是数据驱动方法，前者使用动力学和热力学方程建立预测模型，需要极高的计算资源。而后者，基于机器学习的算法已被广泛应用于解决数据生成问题，但该算法需要领域专家根据经验为数据人工构造特征，也就是说，在实际应用中的效果很大程度上取决于特征设计的有效性，从而导致模型局限性较大，泛化性差。
4、虽然基于cnn和rnn算子的深度学习的方法在解决时空数据生成问题时，提高了生成准确率，但受限于其核心算子在捕获时空长程依赖关系方面固有的低效性，此类模型仍然无法满足现实应用场景中日益增长的对时空数据生成准确性的要求。传统的自注意力机制模型虽然通过替换cnn和rnn极大程度上解决了以往模型的局限性，但其仍难以完成多参数时空数据的同步生成。原因在于,经典注意力模型的计算量随时空变
5、因此，如何提供一种能够考虑时空数据不同参数间多维隐藏信息，以及能够解决多通道损失处理问题的时空数据生成方法，是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，针对上述缺陷，本专利技术提供了一种基于分离注意力机制的多变量时空数据生成方法，旨在设计一种无卷积的可以捕捉通道、时间和空间多维度关系的多元时空数据同步生成网络，以及基于高斯损失分布假设和同方差不确定性提出了一种可以自动学习各通道损失权重的损失处理方法，用以促进全局任务的同步收敛。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于分离注意力机制的多变量时空数据生成方法，包括：
4、构建多变量时空数据生成网络模型；所述多变量时空数据生成网络模型包括多个编码器和多个解码器，所述编码器和所述解码器采用分离注意力机制进行编码和解码，所述分离注意力机制，包括多头时间注意单元，多头通道注意单元和多头空间注意单元；
5、根据同方差不确定性和高斯分布最大似然估计，确定损失函数；
6、获取历史数据和目标数据，根据所述损失函数对所述多变量时空数据生成网络模型进行训练；
7、利用训练好的所述多变量时空数据生成网络模型，预测时空数据。
8、较佳的，所述编码器和所述解码器有多个，所述编码器中有一个所述分离注意力机制，所述解码器中有两个所述分离注意力机制且优先进行解码的分离注意力机制带有mask。
9、较佳的，所述多头时间注意单元，用于对各通道不同空间位置在多个时间步长的时间相关性进行捕捉；
10、所述多头通道注意单元，用于在每个时间步长自适应提取不同空间位置中多个类型的时空数据，实现异构信息融合；
11、所述多头空间注意单元，用于根据每个时间步长内各通道的注意力计算结果学习未知空间相关性。较佳的，对所述多变量时空数据生成网络模型进行训练时所使用的历史数据时长，与利用训练好的所述多变量时空数据生成网络模型进行预测时使用的历史数据时长一致。
12、较佳的，所述历史时空数据作为输入时，先进行滑动窗口采样和分解，然后平化成包含空间位置索引、通道索引以及时间索引的向量。
13、较佳的，所述编码器采用分离注意力机制进行编码的过程为：
14、所述多头时间注意单元根据前一个所述编码器的层规范化编码结果和时间注意力计算得到编码
15、所述多头通道注意单元根据通道注意力和所述编码计算得到编码
16、所述多头空间注意单元根据空间注意力和所述编码计算得到
17、将所述编码与前一个所述编码器的层规范化编码结果进行残差连接后，进行编码结果计算。
18、较佳的，所述损失函数的表达式为：
19、
20、式中，σ1、σ2分别为两个通道对应回归任务损失的权重关系因子，logσ1σ2为权重关系因子σ1、σ2的正则项，fw(x)为输入为x且权重值为w的多变量时空数据生成网络模型的输出，y为与x对应的真实值。
21、为了规避由于量纲不同产生的问题，在实际应用中可取损失的平方根形式代入损失函数进行计算，所述损失函数的表达式又可定义为：
22、
23、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于自注意力机制的气象和环境时空数据深度生成网络，用于模拟多元时间序列变量之间的耦合关系和时空背景，进而完成多元时空场的同步生成。具体来说，本申请利用三重注意逐步提取时间、通道和空间中数据的相互影响机制；具体包括同一时空中不同变量之间的耦合机制、同一时间通道中的空间关系和同一通道空间中时间的影响模式；同时，提出一种基于高斯损失分布假设和同方差不确定性的，可以自动学习各通道损失权重的损失处理方法，用于平衡各时空变量的学习进度。
24、通过本专利技术公开的时空数据生成方法，能够实现自动捕获时空上下文信息和通道间的耦合关系，进而实现在规则网格上进行空间模型化和映射，最终重构完整的时空信号。
本文档来自技高网...【技术保护点】
1.一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，所述编码器和所述解码器有多个，所述编码器中有一个所述分离注意力机制，所述解码器中有两个所述分离注意力机制且优先进行解码的分离注意力机制带有Mask。
3.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，
4.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，对所述多变量时空数据生成网络模型进行训练时所使用的历史数据时长，与利用训练好的所述多变量时空数据生成网络模型进行预测时使用的历史数据时长一致。
5.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，所述历史数据作为输入时，先进行滑动窗口采样和分解，然后平化成包含空间位置索引、通道索引以及时间索引的向量。
6.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，所述编码器采用分离注意力机制进行编码的
7.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，所述损失函数的表达式为：
8.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，所述损失函数的表达式为：
...【技术特征摘要】
1.一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，所述编码器和所述解码器有多个，所述编码器中有一个所述分离注意力机制，所述解码器中有两个所述分离注意力机制且优先进行解码的分离注意力机制带有mask。
3.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，
4.根据权利要求1所述的一种基于分离注意力机制的多变量时空数据生成方法，其特征在于，对所述多变量时空数据生成网络模型进行训练时所使用的历史数据时长，与利用训练好的所述多变量时空数据生成网络模型进行...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。