一种基于卷积回声状态网络的时间序列分类方法技术

本发明专利技术公开了一种基于卷积回声状态网络的时间序列分类方法，回声状态网络具有时序核及回声状态性质，前者是指回声状态网络将输入的信号映射到储备池的高维空间中，而后者是指该网络对于短期的历史信息具有记忆的能力。在卷积神经网络中，多尺度卷积层可提取回声状态网络中的多尺度特征并且通过时间方向上的最大池化可维持多尺度的时序不变性。本发明专利技术将回声状态网络及卷积神经网络结合在一起，提出卷积回声状态网络模型，该模型将回声状态网络输出的状态表示信息进行多尺度卷积及时间方向上的最大池化等操作，实现回声状态网络及卷积神经网络的优势互补，在保持回声状态网络学习模式的高效性的同时，也发挥了卷积神经网络在特征提取方面的优势。

【技术实现步骤摘要】
一种基于卷积回声状态网络的时间序列分类方法
本专利技术涉及储备池计算与神经网络研究
，具体涉及一种基于卷积回声状态网络的时间序列分类方法，适用于普遍的多变量时间序列分类问题。
技术介绍
回声状态网络(ESN)是一种新型的递归神经网络学习方法。目前关于回声状态网络已有的研究工作已经被广泛用于动态系统建模、机器人控制、混沌时间序列预测等领域。其核心原理是通过一个储备池和一个简单的线性解码器来实现对动态系统的建模。这个储备池包含有大量的神经元节点，神经元节点之间的连接是随机初始化固定的。当这个储备池收到外部时间序列的输入信号时，便产生带有短期记忆的高维度回声状态信号。通过输出层的线性解码器便在这回声状态网络内部建立起了输入时间序列到输出信号之间的复杂多样的非线性映射关系，在时间序列建模任务的处理上拥有较高的效率。回声状态网络具有两个重要的特性：时序核及回声状态性质，前者是指回声状态网络将输入的信号映射到储备池的高维空间中，这个过程相当于核方法中的核技巧，功能都是完成高维投影，而后者是指该网络对于短期的历史信息具有记忆的能力。卷积神经网络(CNN)是一种前馈的深度神经网络。它包括输入层、卷积层、池化层、全连接层。其中，卷积层由多个特征图(featuremap)组成，每个特征图由多个神经元组成，它的每一个神经元通过卷积核与上一层特征图的局部区域相连，通过卷积操作提取输入的不同特征。池化层紧跟在卷积层之后，同样由多个特征图组成，它的每一个特征面唯一对应于其上一层的一个特征图，不会改变特征图的个数。通常采用的池化方法有最大池化、平均池化、随机池化等，这些池化操作使得特征信息得到了有效的压缩存储，在一定程度上减少了过拟合的风险。但是，卷积神经网络在训练地过程中非常耗时，对设备的要求往往比较高。针对回声状态网络及卷积神经网络的优缺点，亟待提出了一种卷积回声状态网络，用于解决时间序列分类。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于卷积回声状态网络的时间序列分类方法。本专利技术的目的可以通过采取如下技术方案达到：一种基于卷积回声状态网络的时间序列分类方法，所述的时间序列分类方法包括下列步骤：S1、网络初始化，确定储备池的大小，从标准正态分布中随机生成储备池的输入权值，与储备池内部的递归连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数Sr及稀疏度α；S2、信号输入，输入当前第n时刻的信号u(n)；S3、状态更新，收集输入信号的回声状态表示信息X；S4、对回声状态表示信息X在时间方向上进行多尺度卷积，收集回声状态信息中的多尺度特征；S5、对卷积后回声状态网络中的多尺度特征信息进行时间方向上的最大池化，在压缩信息的同时减少过拟合风险；S6、加入全连接层，通过全连接层实现回声状态网络中特征的连接；S7、将全连接层的所有特征作为输入，通过Softmax函数实现对原始信号进行分类。进一步地，所述的步骤S2、信号输入中，输入K维信号u＝(u(0),u(1),...,u(T-1))、储备池N维初始化状态x(0)及L维的输出序列y＝(y(0),y(1),...y(T-1))；所述的步骤S3、状态更新中，整个回声状态网络的状态更新由以下公式表示：x(t+1)＝f(Wresx(t)+Winu(t+1))(1)其中Win服从[-IS,IS]间的均匀分布，Wres由以下公式确定：其中，矩阵W的元素在[-0.5,0.5]间随机产生，而λmax(W)是矩阵W的最大特征值；收集输入信号的回声状态表示信息X；进一步地，所述的步骤S4过程如下：用x(t)表示回声状态网络在t时刻的状态向量，用以下表达式来描述长度为T的回声状态表示信息：其中，为连接运算符，z0:T-1为T×N的矩阵，zt:t+k-1代表从t时刻到t+k-1时刻长度为k的回声状态表示信息；用wk，j∈Rk×N表示宽度为k的第j个滤波器,输入回升状态表示信息X∈RT×N,并设置滑动步长为1，则滑动窗口有z0:k-1,z1:k,...,zT-k+1:T，卷积结果为：ck,j＝(c0,c1,...cT-k+1)T(5)其中，cm,m＝0,1,...,T-k+1,代表第m个滑动窗口对应的卷积结果，其具体表达式如下：cm＝f(αk,j·(wk,j*zm:m+k-1)+b)(6)其中，f是非线性激活函数，αk,j是宽度为k的滑动窗口与第j个过滤器的连接权重，*表示点乘运算符。进一步地，所述的时间序列分类方法将卷积神经网络作为回声状态网络的解码器，利用时间方向多尺度滤波器卷积含有短期记忆的回声状态表示矩阵。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术将回声状态网络(ESN)及卷积神经网络(CNN)结合在一起，提出了一种新的神经网络模型——卷积回声状态网络(ConvESN)，通过CNN卷积池化操作提取ESN中的含有短期历史信息的回声状态表示特征，实现了时间序列分类任务上的高准确率；2、卷积回声状态网络(ConvESN)在保持回声状态网络直接产生递归层，训练中不必学习的这种高效模式的同时，也发挥了卷积神经网络在特征提取方面强大的优势，实现了回声状态网络(ESN)及卷积神经网络(CNN)的优势互补。附图说明图1是构建基于卷积回声状态网络模型的流程示意图；图2是回声状态特征信息进行多尺度卷积以及时间方向上最大池化的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例如图1所示，图1是本专利技术中构建基于卷积回声状态网络模型的流程示意图，该时间序列分类方法包括以下步骤:步骤S1、网络初始化，确定储备池的大小，从标准正态分布中随机生成储备池的输入权值，与储备池内部的递归连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数Sr及稀疏度α；步骤S2、信号输入，输入当前第n时刻的信号u(n)；步骤S3、状态更新，收集输入信号的回声状态表示信息X；步骤S4、对回声状态表示信息X在时间方向上进行多尺度卷积，收集回声状态信息中的多尺度特征；步骤S5、对卷积后回声状态网络中的多尺度特征信息进行时间方向上的最大池化，在压缩信息的同时减少过拟合风险；步骤S6、加入全连接层；步骤S7、通过Softmax函数实现对原始数据的分类。为了详细说明本实施例中基于卷积回声状态网络的时间序列分类方法的具体实施方式，以具有时间序列特性的行为识别图像分类数据集为例说明。该数据集包括MSR-Action3D、HDM05、Florence3D-Action、UTKinect-Action四个部分，通过具体步骤如下:步骤S1、网络初始化，将储备池的大小设置为200，从标准正太分布中随机生成储备池的输入权值，储备池内部的随机连接权值，确定激活函数tanh(z)，初始化输入缩放比例参数IS＝0.1，谱半径参数Sr＝0.99，稀疏度α＝0.01；步骤S2、信号输入，输入K维信号u＝(u(0),u(1),...,u(本文档来自技高网...

【技术保护点】
1.一种基于卷积回声状态网络的时间序列分类方法，其特征在于，所述的时间序列分类方法包括下列步骤：S1、网络初始化，确定储备池的大小，从标准正态分布中随机生成储备池的输入权值，与储备池内部的递归连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数Sr及稀疏度α；S2、信号输入，输入当前第n时刻的信号u(n)；S3、状态更新，收集输入信号的回声状态表示信息X；S4、对回声状态表示信息X在时间方向上进行多尺度卷积，收集回声状态信息中的多尺度特征；S5、对卷积后回声状态网络中的多尺度特征信息进行时间方向上的最大池化，在压缩信息的同时减少过拟合风险；S6、加入全连接层，通过全连接层实现回声状态网络中特征的连接；S7、将全连接层的所有特征作为输入，通过Softmax函数实现对原始信号进行分类。

【技术特征摘要】
1.一种基于卷积回声状态网络的时间序列分类方法，其特征在于，所述的时间序列分类方法包括下列步骤：S1、网络初始化，确定储备池的大小，从标准正态分布中随机生成储备池的输入权值，与储备池内部的递归连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数Sr及稀疏度α；S2、信号输入，输入当前第n时刻的信号u(n)；S3、状态更新，收集输入信号的回声状态表示信息X；S4、对回声状态表示信息X在时间方向上进行多尺度卷积，收集回声状态信息中的多尺度特征；S5、对卷积后回声状态网络中的多尺度特征信息进行时间方向上的最大池化，在压缩信息的同时减少过拟合风险；S6、加入全连接层，通过全连接层实现回声状态网络中特征的连接；S7、将全连接层的所有特征作为输入，通过Softmax函数实现对原始信号进行分类。2.根据权利要求1中所述的一种基于卷积回声状态网络的时间序列分类方法，其特征在于，所述的步骤S2、信号输入中，输入K维信号u＝(u(0),u(1),...,u(T-1))、储备池N维初始化状态x(0)及L维的输出序列y＝(y(0),y(1),...y(T-1))；所述的步骤S3、状态更新中，整个回声状态网络的状态更新由以下公式表示：x(t+1)＝f(Wresx(t)+Winu(t+1))(1)其中Win服从[-IS,IS]间的均匀分布，Wr...

【专利技术属性】
技术研发人员：马千里，沈礼锋，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44