【技术实现步骤摘要】
本专利技术属于时间序列分析，它是统计学和机器学习的一个分支。尤其涉及一种基于深度神经网络的时序预测方法、装置、设备及介质。
技术介绍
1、时序预测技术通过分析过去的数据来预测未来的趋势和发展，其应用非常广泛，如光伏预测，用电负荷预测，气象服务预测，然而，一般时序预测技术由于计算复杂度高、噪声干扰等原因，不能快速有效的应用于时序预测。时序预测数据的一种常见做法是使用时序神经网络处理时间序列数据，传统的时序预测算法包括指数平滑法(exponentialsmoothing)、状态空间模型(state space models,ssm)、简单的神经网络(neuralnetwork-basedapproaches)，它们都适合处理具有依赖关系的数据，而这些方法带来了许多副作用，如增加了噪音和模型的计算复杂度。
2、针对上述问题，现有技术提出了基于深度学习的时序预测方法，如：ashishvaswani等人提出的完全依赖自注意力(self-attention)来计算输入和输出的表示(vaswani a,shazeer n,parmar n,et al.attention is all you need[j].arxiv,2017.doi:10.48550/arxiv.1706.03762.)能够在一个步骤中计算整个输入序列中任意两个位置之间的依赖关系，通过直接捕捉全局依赖关系(不依赖逐步传播)，同时在编码器(encoder)中也使用了注意力机制，提高了捕捉长距离依赖的能力；周号益等人提出的一种自注意力机制的变体informer(z
3、因此，亟需一种新的时序预测方法以解决上述存在的问题。
技术实现思路
1、本专利技术的目的在于提供一种基于深度神经网络的时序预测方法、装置、设备及介质，旨在解决由于现有技术无法提供一种有效的时序预测方法，导致时序预测的速度慢以及时序预测数据性能低的问题。
2、一种基于深度神经网络的时序预测方法，包括以下步骤：
3、(1)通过数据加载模块对输入的负荷数据进行归一化处理，并将其表示转换成向量表示，所述向量表示的生成包括为每个位置生成对应的位置向量；
4、(2)将步骤(1)中生成的向量表示输入到编码器中，编码器通过多尺度空洞注意力操作和蒸馏操作对时间序列数据进行处理，提取出关键特征信息；
5、(3)将步骤(2)中编码器提取的关键特征信息输入到解码器中，解码器通过特征提取和压缩操作对关键特征信息进行进一步处理，所述解码器引入掩码多尺度空洞注意力机制；
6、(4)将步骤(3)中解码器输出的特征输入到最终输出层，最终输出层通过激活函数将特征转换为预测值。
7、进一步的，所述数据加载模块包括：用于对输入负荷数据进行归一化处理的子模块，并生成便于模型处理的向量表示。
8、进一步的，所述位置向量的生成基于正弦和余弦函数，并与步骤(1)中生成的向量表示联合使用。
9、进一步的，所述多尺度空洞注意力操作采用不同尺度的空洞卷积核，以提取步骤(1)生成的向量表示中的局部和全局特征信息。
10、进一步的，所述蒸馏操作通过信息蒸馏技术对所述多尺度空洞注意力操作取的特征信息进行多层次提取，剔除冗余的特征和参数，将长序列特征信息压缩成短序列特征信息。
11、进一步的，所述解码器进一步包括：
12、特征压缩模块，用于对步骤(2)中编码后的特征信息进行多层次压缩；
13、掩码模块，用于引入掩码多尺度空洞注意力机制，所述掩码多尺度空洞注意力机制是通过在多尺度空洞注意力机制上添加掩码操作来屏蔽未来时间步信息。
14、进一步的，所述激活函数为线性激活函数或relu激活函数，用于将步骤(3)中解码器输出的特征信息转换为非线性预测值
15、一种基于深度神经网络的时序预测装置，包括：
16、数据加载模块，用于对输入的负荷数据进行归一化处理，并将其表示转换成向量表示，所述向量表示的生成包括为每个位置生成对应的位置向量；
17、编码器，用于接收向量表示，通过多尺度空洞注意力操作和蒸馏操作对时间序列数据进行处理，提取出关键特征信息；
18、解码器，用于通过特征提取和压缩操作对关键特征信息进行进一步处理，所述解码器引入掩码多尺度空洞注意力机制；
19、最终输出层，用于将解码器的输出结果通过激活函数转换为预测值。
20、一种基于深度神经网络的时序预测设备，包括处理器和存储器，存储器中存储有程序指令，所述程序指令被执行时使处理器执行所述的方法。
21、一种计算机可读存储介质，所述计算机可读存储介质存储有程序指令，所述程序指令被处理器执行时实现所述的方法。
22、本专利技术通过输入模块对输入的数据表示转换成向量表示，然后为输入数据的每个位置生成位置向量，通过编码器深入挖掘并编码数据中的关键特征信息，解码器是在编码器的基础上进一步提取和压缩特征，引入掩码多尺度空洞注意力机制，确保模型在预测过程中仅依赖于历史及当前信息，有效避免未来信息的非法泄露，最终输出层作为模型的末端，负责将解码器的输出结果通过适当的激活函数转换为最终的预测值。
本文档来自技高网...【技术保护点】
1.一种基于深度神经网络的时序预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述数据加载模块包括：用于对输入负荷数据进行归一化处理的子模块，并生成便于模型处理的向量表示。
3.根据权利要求1所述的方法，其特征在于，所述位置向量的生成基于正弦和余弦函数，并与步骤(1)中生成的向量表示联合使用。
4.根据权利要求1所述的方法，其特征在于，所述多尺度空洞注意力操作采用不同尺度的空洞卷积核，以提取步骤(1)生成的向量表示中的局部和全局特征信息。
5.根据权利要求1所述的方法，其特征在于，所述蒸馏操作通过信息蒸馏技术对所述多尺度空洞注意力操作取的特征信息进行多层次提取，剔除冗余的特征和参数，将长序列特征信息压缩成短序列特征信息。
6.根据权利要求1所述的方法，其特征在于，所述解码器进一步包括：
7.根据权利要求1所述的方法，其特征在于，所述激活函数为线性激活函数或ReLU激活函数，用于将步骤(3)中解码器输出的特征信息转换为非线性预测值。
8.一种基于深度神经网络的时序预测
9.一种基于深度神经网络的时序预测设备，其特征在于，包括处理器和存储器，存储器中存储有程序指令，所述程序指令被执行时使处理器执行权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序指令，所述程序指令被处理器执行时实现权利要求1至7中任一所述的方法。
...【技术特征摘要】
1.一种基于深度神经网络的时序预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述数据加载模块包括：用于对输入负荷数据进行归一化处理的子模块，并生成便于模型处理的向量表示。
3.根据权利要求1所述的方法，其特征在于，所述位置向量的生成基于正弦和余弦函数，并与步骤(1)中生成的向量表示联合使用。
4.根据权利要求1所述的方法，其特征在于，所述多尺度空洞注意力操作采用不同尺度的空洞卷积核，以提取步骤(1)生成的向量表示中的局部和全局特征信息。
5.根据权利要求1所述的方法，其特征在于，所述蒸馏操作通过信息蒸馏技术对所述多尺度空洞注意力操作取的特征信息进行多层次提取，剔除冗余的特征和参数，将长...
【专利技术属性】
技术研发人员：张崇建，徐文渊，陶元，邱思齐，郜文，
申请(专利权)人：湖北华中电力科技开发有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。