一种基于神经网络的建模方法及装置制造方法及图纸

本发明专利技术提供了一种基于神经网络的建模方法及装置，包括：至少有一个隐藏层采用循环神经网络RNN或长短期记忆网络LSTM或门控循环单元GRU的结构；按照预设规则将所有时刻分为增强时刻和非增强时刻；若当前时刻为非增强时刻，则根据当前时刻的前一时刻的状态，得到隐藏层在当前时刻的状态；若当前时刻为增强时刻，则根据当前时刻的前一时刻和前L个时刻的状态，L为第二预设数目，得到隐藏层在当前时刻的状态。本发明专利技术通过优化传统RNN网络的结构，改善了基于循环神经网络的模型的记忆能力不足和梯度反向传播困难等问题，提高了模型预测的准确性。准确性。准确性。

【技术实现步骤摘要】
一种基于神经网络的建模方法及装置


[0001]本专利技术涉及神经网络
，尤指一种基于神经网络的建模方法及装置。

技术介绍

[0002]循环神经网络(Recurrent Neural Network，RNN)，相对全连接神经网络和卷积神经网络，能更好地提取时间序列前后之间的关系而得到广泛应用。
[0003]如图9所示，一个简单的循环神经网络(图9的左边部分)由输入层、一个隐藏层和一个输出层组成：x是一个向量，表示输入层的值；h是一个向量，表示隐藏层的值(或状态)；o也是一个向量，表示输出层的值；U是输入层到隐藏层的权重矩阵，V是隐藏层到输出层的权重矩阵。
[0004]把图8的左边部分展开得到右边部分，可以看出隐藏层是循环层，网络在t时刻接收到输入x
t
之后，隐藏层的值h
t
不仅取决于x
t
，还取决于上一次隐藏层的值h
t
‑1。可以用下面的公式来表示循环神经网络的计算方法：
[0005][0006]其中，h
t
是隐藏层在t时刻的值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的建模方法，其特征在于，包括：至少有一个隐藏层采用循环神经网络RNN或长短期记忆网络LSTM或门控循环单元GRU的结构；按照预设规则将所有时刻分为增强时刻和非增强时刻；若当前时刻为非增强时刻，则根据当前时刻的前一时刻的状态，得到所述隐藏层在所述当前时刻的状态；若当前时刻为增强时刻，则根据当前时刻的前一时刻和前L个时刻的状态，L为第二预设数目，得到所述隐藏层在所述当前时刻的状态。2.根据权利要求1所述的建模方法，其特征在于，所述的按照预设规则将所有时刻分为增强时刻和非增强时刻包括：以第一预设数目为周期设置增强时刻。3.根据权利要求2所述的建模方法，其特征在于：所述第一预设数目等于所述第二预设数目。4.根据权利要求1所述的建模方法，其特征在于，所述的根据当前时刻的前一时刻和前L个时刻的状态，得到所述隐藏层在所述当前时刻的状态，包括：根据当前时刻的前一时刻的状态，得到第一记忆值；将所述第一记忆值与所述当前时刻的前L个时刻的状态相加，得到所述隐藏层在所述当前时刻的状态。5.根据权利要求4所述的建模方法，其特征在于：所述隐藏层采用循环神经网络RNN结构；根据以下公式得到第一记忆值M：M＝f(U*x
t
+W*h
t
‑1)；其中，x
t
是所述隐藏层在t时刻的输入，h
t
‑1是所述隐藏层在(t
‑
1)时刻的状态，f是激活函数，U是所述隐藏层的输入层到隐藏层的权重矩阵，W是所述隐藏层的前一时刻到下一时刻的权重矩阵；根据以下公式得到所述隐藏层在当前时刻的状态：其中，h
t
是所述隐藏层在t时刻的状态，skip是第一预设数目，h
t
‑
skip
是所述隐藏层在(t
‑
skip)时刻的状态，a为预设数，i为任意正整数。6.根据权利要求4所述的建模方法，其特征在于：所述隐藏层采用长短期记忆网络LSTM结构；根据以下公式得到第一记忆值N：f
t
＝σ(W
fh
h
t
‑1+W
fx
x
t
+b
f
),i
t
＝σ(W
ih
h
t
‑1+W
ix
x
t
+b
i
),),
o
t
＝σ(W
oh
h
t
‑1+W
ox
x
t
+b
o
),其中，h
t
‑1是所述隐藏层在(t
‑
1)时刻的状态，x
t
是所述隐藏层在t时刻的输入，W
fh<...

【专利技术属性】
技术研发人员：张本龚，曹文洁，时亚洲，刘杰，张承，陈俊超，原莉，熊珍珍，王婷，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：