利用时频联合长时循环神经网络的数据处理方法技术

本公开提供了一种利用时频联合长时循环神经网络的数据处理方法，包括：构建时频联合长时循环神经网络；将时间序列输入时频联合长时循环神经网络；计算时频联合长时循环神经网络最后一个时间步的隐藏层的状态‑频率矩阵的幅度，并进一步得到时间序列的处理结果。

【技术实现步骤摘要】
利用时频联合长时循环神经网络的数据处理方法
本公开涉及属于人工智能领域，尤其涉及一种利用时频联合长时循环神经网络的数据处理方法。
技术介绍
时间序列数据广泛存在于日常生活中的几乎每一个应用领域，如金融、信号处理、语音识别和医药。它们是实值型的序列数据，具有数据量大，数据维度高，以及数据不断更新等特点。循环神经网络(RNN)是近年来被广泛使用的一种时序数据分析与处理的神经网络模型。但是，传统循环神经网络存在三个问题：(1)难以捕获时间上的长期依赖关系；(2)仅考虑时域信息相关性建模，忽略了对频域信息相关性建模；(3)传统循环神经网络及其变体(如RNN、LSTM)只能叠加2～3层，继续叠加反而会造成性能下降，不利于拟合复杂函数。与本专利技术相似的两种方法是IndRNN网络和SFM网络。其中，IndRNN网络也是通过解耦隐藏层神经元、引入激活函数Relu和权重裁剪维持网络的长期记忆，并可以叠加多层，训练成深层神经网络。但是，IndRNN没有考虑输入数据的频域信息，无法处理输入数据存在丰富频率成分的情况(比如对于股票交易数据、音位数据)。SFM网络则考虑了信号的频率状态，实现对时域-频域内特征的联合表示，但是却基于经典LSTM，无法捕获长时序列数据(如超过500个步长)依赖关系，且只能叠加2～3层，不能训练深层网络。公开内容(一)要解决的技术问题为了解决这些问题，本公开提出一种循环神经网络架构——时频联合长时循环神经网络。该网络通过将传统循环神经网络隐藏层的状态向量替换为状态-频率矩阵，实现对时序信号时域和频域特征的联合表示，通过解耦隐藏层神经元、引入非饱和激活函数Relu和权重裁剪有效地解决了梯度衰减和梯度爆炸问题，既可以使网络维持长期记忆，又可以训练深层网络。(二)技术方案本公开提供了一种利用时频联合长时循环神经网络的数据处理方法，包括：S101：构建时频联合长时循环神经网络；S201：将时间序列输入时频联合长时循环神经网络；S301：计算时频联合长时循环神经网络最后一个时间步的隐藏层的状态-频率矩阵的幅度，并进一步得到时间序列的处理结果。在本公开的一些实施例中，所述步骤S101包括：建立时频联合长时循环神经网络模型；对时频联合长时循环神经网络模型进行训练，得到时频联合长时循环神经网络。在本公开的一些实施例中，所述时频联合长时循环神经网络模型为单层时频联合长时循环神经网络，描述为：其中，W为时间序列到隐藏层的权重矩阵；xt是时间序列中t时间步的输入向量；U为t-1时间步隐藏层到t时间步隐藏层的权重矩阵；b为隐藏层的偏置项；ht表示时间步t的隐藏层的状态-频率矩阵；ht-1表示时间步t-1的隐藏层的状态-频率矩阵；σ表示非饱和激活函数Relu。在本公开的一些实施例中，所述时频联合长时循环神经网络模型为所述单层时频联合长时循环神经网络叠加而成的多层时频联合长时循环神经网络。在本公开的一些实施例中，所述训练包括：预测任务的训练和分类任务的训练。在本公开的一些实施例中，所述预测任务的训练包括两个阶段：前向传播阶段：将训练集的时间序列输入时频联合长时循环神经网络模型，将时频联合长时循环神经网络模型最后一个时间步的隐藏层的状态-频率矩阵ht的幅度|ht|，作为全连接层的输入，并通过全连接层将|ht|压缩成一维向量或数据点，得到n步预测值；反向传播阶段：将训练集中的时间序列输入时频联合长时循环神经网络模型，通过最小化训练集时间序列的预测值和真实值间的平方差之和进行训练：其中，M表示训练集中的样本个数，vt+n表示训练集中时间序列的真实值，表示训练集中时间序列的预测值。在本公开的一些实施例中，所述分类任务的训练也包括两个阶段：前向传播阶段：将训练集的时间序列输入时频联合长时循环神经网络模型，将时频联合长时循环神经网络最后一个时间步的隐藏层的状态-频率矩阵ht的幅度|ht|，作为全连接层的输入，并通过全连接层将|ht|压缩成一维向量，并通过softmax函数为每个类标签分配概率；反向传播阶段：计算前向传播阶段输出的预测类标签和理想类标签的交叉熵代价函数，并按照最小化交叉熵的方法调整时频联合长时循环神经网络模型中的参数；交叉熵代价函数：其中，是前向传播过程输出的预测类标签，ci是理想类标签。在本公开的一些实施例中，所述步骤S301的处理包括：分类；将时频联合长时循环神经网络最后一个时间步的隐藏层的状态-频率矩阵的幅度|ht|输入全连接层，全连接层将|ht|压缩成一维向量，然后通过softmax函数为一维向量中每个元素对应的类标签分配概率，得到最大概率的类标签作为时频联合长时循环神经网络输出的预测类标签。在本公开的一些实施例中，所述步骤S301的处理包括：预测；对t时间步后n时间步的数据预测时，将时频联合长时循环神经网络最后一个时间步的隐藏层的状态-频率矩阵ht的幅度|ht|输入全连接层，全连接层将|ht|压缩成一维向量或数据点，得到n步预测数据。(三)有益效果从上述技术方案可以看出，本公开具有以下有益效果：本公开与现有技术相比的优点在于：本公开既可以对时频特征联合建模又可以保持循环神经网络的长时记忆，在处理长时依赖关系且含有丰富频率成分的数据集上，可以训练长程、深度的多频率状态记忆循环神经网络，更好地深入分析时序信号。附图说明图1是本公开实施例数据处理方法的流程图。图2是本公开实施例的两层时频联合建模长时循环神经网络叠加示意图。图3是本公开实施例时频联合建模长时循环神经网络的数据处理方法的过程示意图。具体实施方式本公开解决了具有长时依赖关系的时序信号分类及预测问题。分类问题可以描述为：给定训练集中的一组时间序列和对应的类标签，要求首先从标定类标签的训练集中学习到能够区分不同序列的鉴别性特征。然后，当遇到一条未标定的时间序列时，它能够自动为该时间序列分配类标签。预测问题可以描述为：通过对时间序列的建模和分析，根据时间序列所反映出来的发展过程、方向和趋势，进行类推或延伸，借以预测下一段时间可能达到的水平。本公开利用时频联合长时循环神经网络，在循环神经网络基本架构基础上，对时间序列实现时域和频域联合表示，通过解耦隐藏层神经元、引入非饱和激活函数Relu和权重裁剪，有效地解决梯度衰减和梯度爆炸问题，使得网络既可以维持长期记忆又可以叠加多层，训练深层神经网络。本公开涉及两种网络结构，单层时频联合建模循环神经网络和多层时频联合建模循环神经网络，均可以应用于分类和预测问题。在具体应用中，基于不同的应用场合和目的，可以采用不同层数的网络结构。采用的层数越多，越能拟合复杂函数，有更好的学习能力。假设一个时间序列数据集中有n条时间序列，D＝{T1，...，Tn}，每一条时间序列有m个时间步，按照某一时间步上观测变量的多少，时间序列可划分为单变量时间序列和多变量时间序列，本公开所述时频联合长时循环神经网络可以处理单变量时间序列和多变量时间序列。下面将结合实施例和实施例中的附图，对本公开实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。本公开一实施例的利用时频联合长时本文档来自技高网...

【技术保护点】
1.一种利用时频联合长时循环神经网络的数据处理方法，包括：S101：构建时频联合长时循环神经网络；S201：将时间序列输入时频联合长时循环神经网络；S301：计算时频联合长时循环神经网络最后一个时间步的隐藏层的状态‑频率矩阵的幅度，并进一步得到时间序列的处理结果。

【技术特征摘要】
1.一种利用时频联合长时循环神经网络的数据处理方法，包括：S101：构建时频联合长时循环神经网络；S201：将时间序列输入时频联合长时循环神经网络；S301：计算时频联合长时循环神经网络最后一个时间步的隐藏层的状态-频率矩阵的幅度，并进一步得到时间序列的处理结果。2.如权利要求1所述的数据处理方法，所述步骤S101包括：建立时频联合长时循环神经网络模型；对时频联合长时循环神经网络模型进行训练，得到时频联合长时循环神经网络。3.如权利要求2所述的数据处理方法，所述时频联合长时循环神经网络模型为单层时频联合长时循环神经网络，描述为：其中，W为时间序列到隐藏层的权重矩阵；xt是时间序列中t时间步的输入向量；U为t-1时间步隐藏层到t时间步隐藏层的权重矩阵；b为隐藏层的偏置项；ht表示时间步t的隐藏层的状态-频率矩阵；ht-1表示时间步t-1的隐藏层的状态-频率矩阵；σ表示非饱和激活函数Relu。4.如权利要求3所述的数据处理方法，所述时频联合长时循环神经网络模型为所述单层时频联合长时循环神经网络叠加而成的多层时频联合长时循环神经网络。5.如权利要求2所述的数据处理方法，所述训练包括：预测任务的训练和分类任务的训练。6.如权利要求5所述的数据处理方法，所述预测任务的训练包括两个阶段：前向传播阶段：将训练集的时间序列输入时频联合长时循环神经网络模型，将时频联合长时循环神经网络模型最后一个时间步的隐藏层的状态-频率矩阵ht的幅度|ht|，作为全连接层的输入，并通过全连接层将|ht|压缩成一维向量或数据点，得到n步预测值；反向传播阶段：将...

【专利技术属性】
技术研发人员：庄连生，李厚强，唐明宇，杨健，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34