一种基于LSTM稀疏化计算方法的通信网络流量预测方法技术

本发明专利技术公开了一种基于LSTM稀疏化计算方法的通信网络流量预测方法，所述方法包括：根据当前时刻的流量数据、前一时刻LSTM单元输出隐状态构建获取输入数据矩阵；将输入数据矩阵与矩阵收缩形成的权值矩阵进行Hadamard乘积运算，并将运算结果输入至LSTM单元中，完成前向运算，以获取当前时刻LSTM单元输出隐状态；将当前时刻LSTM单元输出隐状态输入至预构建的全连接层运算公式，计算获取所述通信网络的流量预测结果；其中，所述LSTM单元是在不改变LSTM神经网络的神经元数量的前提下，通过随机减少神经元之间的连接数量而构建获取的。本发明专利技术能够解决通信网络流量预测过程中计算量较大的技术问题。大的技术问题。大的技术问题。

【技术实现步骤摘要】
一种基于LSTM稀疏化计算方法的通信网络流量预测方法


[0001]本专利技术涉及一种基于LSTM稀疏化计算方法的通信网络流量预测方法，属于通信网络


技术介绍

[0002]通信网络需要承载多种类型的业务，这些业务应用场景各不相同，在带宽、可靠性、移动性和时延等方面要求各异。为了提高资源分配和使用效率，网络服务实行动态化分配。即根据业务需求实现资源的动态分配与回收。要实现网络服务动态化，需要完成通信网络流量的预测，以便在预测流量数据的基础上完成资源动态化分配。
[0003]准确度高的通信网络流量预测是资源动态化分配的关键，这是一个典型的时间序列预测问题。深度学习可以实现通信网络流量预测，预测方法多种多样，其中LSTM(长短时记忆)网络在很多领域得到了广泛的应用。
[0004]由于LSTM网络单元为全连接方式，其中需要有4个权值矩阵与输入向量进行运算，在4个权值矩阵规模较大或层数较多时，计算量较大并且容易出现过拟合问题。
[0005]针对上述问题，目前已知的应对方法包括Dropout、剪枝、及随机连接等。其中，Dropout是在训练过程中随机将一些神经元连接的权值置零，置零的连接参数备份后保持不变，没置零的连接参数得到更新，依次反复；剪枝技术对于全连接神经网络，通常可以根据神经元权重的L1/L2范数进行排序，将权值矩阵中的某些权值置零；随机连接方法是在训练前直接将LSTM的权值矩阵中的一些元素置零。可见，这些方法要么在数据集上进行处理，要么在训练参数上进行处理，均是把权值矩阵中的一些元素置零。即保持了原有的神经元之间的连接，只是把连接的权值置零，没有改变权值矩阵的维度，因此运算量较大。

技术实现思路

[0006]本专利技术的目的在于克服现有技术中的不足，提供一种基于LSTM稀疏化计算方法的通信网络流量预测方法。通过删除标准LSTM神经网络中神经元之间的连接数量，实现权值矩阵降维，从而将LSTM神经网络由全连接变成稀疏连接，以解决现有技术中采用标准LSTM神经网络进行通信网络流量预测导致的运算量较大的技术问题。
[0007]为解决上述技术问题，本专利技术采用下述技术方案实现：
[0008]第一方面，本专利技术提供了一种通信网络流量预测方法，包括：
[0009]采集通信网络当前时刻的流量数据x
t
；
[0010]将所述当前时刻的流量数据x
t
与前一时刻LSTM单元输出隐状态h
t
‑1首尾相接形成向量，并复制所述向量形成中间数据矩阵表示两个序列的拼接，即把两个序列首尾相接；
[0011]将所述中间数据矩阵和掩码矩阵进行Hadamard乘积运算，并按照所述掩码矩阵中的零元素位置删除Hadamard乘积运算结果中相应位置的元素，通过矩阵收缩生成
输入数据矩阵；
[0012]将初始化权值矩阵和所述掩码矩阵进行Hadamard乘积运算，并按照所述掩码矩阵中的零元素位置删除Hadamard乘积运算结果中相应位置的元素，通过矩阵收缩生成权值矩阵；
[0013]将所述输入数据矩阵与所述权值矩阵进行Hadamard乘积运算，并将Hadamard乘积运算结果输入至所述LSTM单元中，完成前向运算，以获取当前时刻LSTM单元输出隐状态h
t
；
[0014]将当前时刻LSTM单元输出隐状态h
t
输入至预构建的全连接层运算公式，计算获取所述通信网络的流量预测结果；
[0015]其中，所述LSTM单元是在不改变LSTM神经网络的神经元数量的前提下，通过随机减少神经元之间的连接数量而构建获取的。
[0016]结合第一方面，进一步的，所述掩码矩阵中每一行有(1
‑
P)
×
掩码矩阵列数个元素为零，零元素的位置随机，其余元素为1，如果(1
‑
P)
×
掩码矩阵列数不是整数，则四舍五入取整；
[0017]其中，P为权值矩阵收缩比，P用于表示所述LSTM单元中神经元之间的连接数与标准LSTM神经网络中神经元的连接数的比值，P<1。
[0018]结合第一方面，进一步的，所述矩阵收缩的方法包括按照掩码矩阵零元素的位置，在行的方向上删除相应位置的零元素，矩阵的行数不变、列数减少。
[0019]结合第一方面，进一步的，所述LSTM单元的前向计算公式如下：
[0020][0021][0022][0023][0024][0025][0026]式中，是所述LSTM单元的遗忘门的收缩权值矩阵；是所述LSTM单元的输入门的收缩权值矩阵；是所述LSTM单元的输入激活的收缩权值矩阵；是所述LSTM单元的输出门的收缩权值矩阵；是所述LSTM单元里通过矩阵收缩生成的输入门输入数据矩阵；是所述LSTM单元里通过矩阵收缩生成的输入激活的输入数据矩阵；是所述LSTM单元里通过矩阵收缩生成的输出门输入数据矩阵；是所述LSTM单元里通过矩阵收缩生成的遗忘门输入数据矩阵；b
f
是所述LSTM单元的遗忘门偏置；b
i
是所述LSTM单元的输入门偏置；b
c
是所述LSTM单元的输入激活的偏置；b
o
是所述LSTM单元的输出门的偏置；表示Hadamard乘积；sum表示矩阵按行求和；σ是Sigmoid激活函数；tanh是双曲正切激活函数；t表示当前时刻；f
t
是当前时刻所述LSTM单元中遗忘门的输出；i
t
是当前时刻所述LSTM单元中输入门的输出；是当前时刻所述LSTM单元中输入激活的输出；o
t
是当前时刻所述LSTM单元中输出
门的输出；C
t
是当前时刻所述LSTM单元输出的细胞状态；h
t
是当前时刻所述LSTM单元输出的隐状态；C
t
‑1是t
‑
1时刻LSTM单元输出的细胞状态。
[0027]结合第一方面，进一步的，所述全连接层运算公式如下：
[0028][0029]式中，为所述全连接层输出的当前时刻通信网络流量预测值；W
out
为所述全连接层权值矩阵；b
out
是所述全连基层的偏置，为标量数值。
[0030]结合第一方面，进一步的，对于公式(1)至公式(4)中的矩阵Hadamard乘积，将矩阵分块利用显卡CUDA做数据并行计算。
[0031]第二方面，本专利技术提供一种电子终端，包括处理器与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如第一方面任一项所述方法的步骤。
[0032]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。
[0033]与现有技术相比，本专利技术所达到的有益效果：
[0034]本专利技术提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通信网络流量预测方法，其特征在于，包括：采集通信网络当前时刻的流量数据x
t
；将所述当前时刻的流量数据x
t
与前一时刻LSTM单元输出隐状态h
t
‑1首尾相接形成向量，并复制所述向量形成中间数据矩阵并复制所述向量形成中间数据矩阵表示两个序列的拼接；将所述中间数据矩阵和掩码矩阵进行Hadamard乘积运算，并按照所述掩码矩阵中的零元素位置删除Hadamard乘积运算结果中相应位置的元素，通过矩阵收缩生成输入数据矩阵；将初始化权值矩阵和所述掩码矩阵进行Hadamard乘积运算，并按照所述掩码矩阵中的零元素位置删除Hadamard乘积运算结果中相应位置的元素，通过矩阵收缩生成权值矩阵；将所述输入数据矩阵与所述权值矩阵进行Hadamard乘积运算，并将Hadamard乘积运算结果输入至所述LSTM单元中，完成前向运算，以获取当前时刻LSTM单元输出隐状态h
t
；将当前时刻LSTM单元输出隐状态h
t
输入至预构建的全连接层运算公式，计算获取所述通信网络的流量预测结果其中，所述LSTM单元是在不改变LSTM神经网络的神经元数量的前提下，通过随机减少神经元之间的连接数量而构建获取的。2.根据权利要求1所述的通信网络流量预测方法，其特征在于，所述掩码矩阵中每一行有(1
‑
P)
×
掩码矩阵列数个元素为零，零元素的位置随机，其余元素为1，如果(1
‑
P)
×
掩码矩阵列数不是整数，则四舍五入取整；其中，P为权值矩阵收缩比，P用于表示所述LSTM单元中神经元之间的连接数与标准LSTM神经网络中神经元的连接数的比值，P<1。3.根据权利要求1所述的通信网络流量预测方法，其特征在于，所述矩阵收缩的方法包括按照掩码矩阵零元素的位置，在行的方向上删除相应位置的零元素，矩阵的行数不变、列数减少。4.根据权利要求1所述的通信网络流量预测方法，其特征在于，所述LSTM单元的前向计算公式如下：算公式如下：算公式如下：算公式如下：算公式如下：算公式如下：式中，是所述LSTM单元的遗忘门的收缩权值矩阵；是所述LSTM单元的输入门的收缩权...

【专利技术属性】
技术研发人员：李洁，罗文茂，王文轩，张云艳，王北戎，魏兴龙，魏亮，
申请(专利权)人：中科南京信息高铁研究院江苏省未来网络创新研究院，
类型：发明
国别省市：