一种基于激活函数近似的回声状态网络前向传播加速算法制造技术

本发明专利技术涉及机器学习领域，具体涉及一种基于激活函数近似的回声状态网络前向传播加速算法。本发明专利技术的目的在于针对回声状态网络(ESN)内部储备池占用存储空间大、前向传播计算速度慢的问题，提出一种加速ESN前向传播的算法。该算法通过离散经验插值法(DEIM)对激活函数进行近似，减少ESN的激活函数计算次数，减少矩阵运算量，从而实现加速网络的前向传播。通过该算法生成的网络前向传播复杂度远低于ESN，尺寸更小(参数数量更少)，因此评估速度更快。生成的过程不需要原始的训练数据，只需要训练原始网络时对指定的函数进行采样，利用这些事先存储的样本就可以生成用户指定大小的网络。网络。

【技术实现步骤摘要】
一种基于激活函数近似的回声状态网络前向传播加速算法


[0001]本专利技术涉及机器学习领域，具体涉及一种基于激活函数近似的回声状态网络前向传播加速算法。
技术背景
[0002]回声状态网络(ESN)属于循环神经网络(RNN)，是一种专门处理时间数据的深度网络。它是一种基于存储计算的重要神经网络。ESN以其简单的结构和称为储层的大型内部递归拓扑而闻名。此外，与具有可训练权值的普通RNN不同，线性回归方法只能训练回声状态网络的输出权值，避免了普通RNN训练中长期依赖的问题。回声状态网络由于其结构简单，训练过程基于线性回归，在许多时间序列和非线性动力学系统建模应用中得到了广泛的应用。
[0003]训练后，将应用神经网络：该网络将接受输入数据并生成输出数据。这被称为评估过程或前向传播，因为信息从后面(输入)流向前面(输出)。ESN评估的速度是一个主要问题，因为许多基于ESN的应用需要快速的服务响应时间和/或部署在资源有限的设备上，如手机、平板电脑、可穿戴设备等。但是，ESN通常需要大量存储空间(大量内部储备池神经元)来捕获训练数据中的复杂特征。如此大的储备池层将进一步降低前向传播的计算速度。
[0004]为了加速深层网络的前向传播，人们进行了大量的研究，其中大部分集中在流行的前馈网络和卷积神经网络(CNN)上，通常使用参数剪枝和低阶近似方法。

技术实现思路

[0005]本专利技术提供了一种基于激活函数近似的回声状态网络前向传播加速算法，可以加速ESN的前向传播。经过本专利技术处理过后生成的网络占用的存储空间比ESN小，计算速度更快，计算复杂度更低。
[0006]本专利技术采用以下技术方案解决上述问题：使用离散经验插值法DEIM(discrete empirical interpolation method)减少ESN的激活操作次数。这种技术可以提高前向传播速度，因为需要更少的非线性函数前向传播和相关计算。
[0007]得益于上述技术，生成的网络前向传播复杂度远低于ESN，尺寸更小(参数数量更少)，因此评估速度更快。
具体实施方式
[0008]为了更好的阐述本专利技术的技术实施流程，下面将对技术部分进行更清晰的阐述。在本专利技术中所描述的实例只为一部分，不是全部适用的实例。基于本专利技术中的实例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实例，都属于本专利技术保护的范围。
[0009]具有n
in
个输入、n
out
个输出和n个内部变量的ESN可由以下离散时间k状态空间形式的非线性差分方程表示：
[0010][0011]其中，是k时刻n个内部单元的状态向量，和是时刻k的输入和输出向量，是输入单位和内部单位之间联系的输入权值矩阵，是内部单位从时刻k到k+1连接的内部权重矩阵，是内部单元和输出单元之间连接的输出权重矩阵，f(x)被称为激活函数，它通常是一个非线性S形函数。在本文中，默认情况下，f(x)＝tanh(x)，因为它是ESN最常用的激活函数。
[0012]经过本专利技术处理得到的简化网络如下
[0013][0014]其中均为常数矩阵，和的行数为q，因此激活函数的计算次数从原始网络的n降到了q。
[0015]本专利技术提供了一种基于激活函数近似的回声状态网络前向传播加速算法，具体步骤包括：
[0016]首先，可以通过状态近似，可得到：
[0017][0018]其中是常数矩阵(称为投影矩阵)且q＜＜n。
[0019]然后，使用离散经验插值法DEIM减少ESN的激活操作次数。为了方便起见，令激活函数g(x(k))＝f(Wx(k)+W
in
u(k))。激活函数逼近的实质是找到q(q＜＜n)维函数来逼近原始维函数g(x)，从而将激活函数的求值从多次减少到多次。该函数近似表示为：
[0020][0021]其中
[0022]通过将乘以(4)中近似值的残差并使结果为零，可得到
[0023][0024]其中是选择矩阵，将乘以一个n维向量是是根据P
g
中q个1的位置来选择q个元素(从向量的n个元素中)，因此(5)式的物理意义是在选择矩阵P
g
确定的q个方程且具有较精确的“近似”。
[0025]根据(5)式，可以唯一地确定为
[0026][0027]结合(3)、(4)和(6)，很容易得到
[0028][0029]这里利用了选择矩阵(P
g
)的性质(7)式可简化得到标准形式(2)式。
[0030]如前所述，我们需要构建两个矩阵P
g
和V
g
用于激活函数近似。首先要构建V
g
矩阵，V
g
的列空间决定了(4)中的激活函数近似精度。因此，为了得到一个好的近似值，V
g
的列所跨越的子空间应能够覆盖g(x(k))的主要信息，这可以通过一个POD过程来实现的。
[0031]POD样本可通过样本输入训练后的ESN正向传播生成。把在时域中获取原始ESN的g(x(k))样本作为POD样本。具体地说，假设在不同的时间点(即，在n
s
个不同的k处取g(x(k)))取原始系统状态样本为
[0032]首先，对POD样本进行奇异值分解(SVD)，如下所示：
[0033][0034]其中
[0035]然后，为了消除POD样本中的冗余，我们通过只保留V
g
的前q列作为投影矩阵V
g
。
[0036]然后构建选择矩阵P
g
，设其中是n
×
n单位矩阵的第s
i
列。这样，构造P
g
的任务可以简化为确定索引序列S＝{s1,s2,...,s
q
}。基本思想是一个一个地找到s1,s2,
…
,s
q
，使得近似(4)的误差界限的增长以贪婪的方式受到限制，其中误差界限表示为
[0037][0038]通过上述步骤生成的网络比原始ESN占用的存储空间小，具有较低的计算复杂度，可以更快地前向传播。生成的过程不需要原始的训练数据，只需要训练原始网络时对指定的函数进行采样，利用这些事先存储的样本就可以生成用户指定大小的网络，也不需要时间训练。
[0039]综上所述，本专利技术实现了一种基于激活函数近似的回声状态网络前向传播加速算法，以上实例对本专利技术进行了详细的说明，但是并不局限于此，之后依然可以对之前实例所记载的技术方案进行修改，这并不会是相应技术方案的本质脱离本专利技术各实例技术方案的精神和范畴。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激活函数近似的回声状态网络(ESN)前向传播加速算法，其特征在于：通过离散经验插值法(DEIM)对激活函数进行近似，减少ESN的激活函数计算次数，减少矩阵运算量，从而实现加速网络的前向传播。2.根据权利要求1所述的基于激活函数近似的回声状态网络前向传播加速算法，其特征在于：所述的激活函数近似方法指的是，使用时域特性正交分解(POD)形成投影矩阵(不限于用此...

【专利技术属性】
技术研发人员：王海，龙行毅，郭锦程，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：