【技术实现步骤摘要】
这项专利技术涉及一种基于梯度提升树的网络流量矩阵预测方法，属于网络流量分析领域中的数据预测技术。
技术介绍
1、随着信息时代的到来，网络流量的增长呈现出爆炸性的趋势，对网络资源的高效管理和优化变得尤为关键。网络流量预测作为网络管理和规划的基础工作之一，旨在提前了解网络中的数据流动趋势，从而更好地分配和优化网络资源。在这一背景下，梯度提升树等机器学习算法逐渐成为网络流量预测领域的重要工具。
2、梯度提升树是一种集成学习算法，通过组合多个决策树来构建一个更强大的模型。其通过迭代训练，每一轮训练都在前一轮的模型的残差基础上构建新的子模型，从而逐步提高整体模型的性能。这种算法在处理非线性、复杂关系的数据上表现出色，因此在网络流量预测中得到了广泛的应用。
3、另外，粒子群优化是一种基于群体智能的优化算法，模拟了鸟群或鱼群中个体之间的合作与竞争，通过不断地迭代更新粒子的位置和速度，以寻找最优解。在网络流量预测中，粒子群优化可以用于优化梯度提升树模型的参数，如学习率、树的深度等，以提高预测准确性和泛化能力。
4、本专利技术综合运用梯度提升树和粒子群优化算法的优势，通过对网络流量历史数据的学习和参数的优化，建立更精准、高效的预测模型，为网络资源的合理调配和性能优化提供有力支持。这种基于机器学习和优化算法的网络流量矩阵预测方法，有望在网络管理中发挥重要作用，提高网络的稳定性和可用性。
技术实现思路
1、为了提高网络流量矩阵预测的准确性，本专利技术提出一种基于梯度提
2、步骤1，获取区域内历史网络流量，组成网络流量矩阵；
3、步骤2，对历史的网络流量进行数据预处理，并且将数据划分为训练集和测试集；
4、步骤3，使用改进的粒子群优化算法对每个节点的网络流量矩阵进行处理，使用lightgbm模型进行预测并优化参数，最终保存每个节点的最优参数。
5、步骤4，将每个节点最优的参数用于lightgbm并且使用训练集进行模型训练；
6、步骤5，将训练好的模型分别对每一条历史流量进行预测，将每个节点的预测流量聚合得到该区域的网络流量矩阵；
7、步骤6，将该方法与长短期记忆网络模型通过评价指标进行对比。
8、进一步的，步骤1中，所述获取区域内历史网络流量，组成网络流量矩阵包括：
9、获取的区域历史流量包括该地区多个节点的网络流量，组成网络流量矩阵，对于一个n个节点的区域，可以组成一个n*n的网络流量矩阵。
10、进一步的，步骤2中，所述的对历史的网络流量进行数据预处理，并且将数据划分为训练集和测试集包括：
11、将收集到网络流量进行数据预处理，对缺失的值使用中位数进行填充，设定阈值为每个节点的第99个百分位数，如果该节点上的流量大于99％，则将其设置为第99个百分位数，此操作的目的是为了消除特大的异常值，将异常值限制在一个合理的范围内，防止极端值对后续分析或处理步骤产生不良影响。
12、再对数据进行最大-最小归一化处理，将归一化后的数据按照7:3的比例将其划分为训练集和测试集；所述的最大-最小归一化公式为：
13、
14、其中x为原始的流量数据，xnorm是归一化后的数据，min(x)和max(x)分别为该节点原始流量的最大值和最小值；
15、进一步的，步骤3中，所述的使用粒子群优化算法对每个节点的网络流量矩阵进行处理，使用lightgbm模型进行预测并优化参数，最终保存每个节点的最优参数包括：
16、使用粒子群优化算法优化lightgbm中的每棵决策树的最大深度max_depth，每棵决策树的叶子节点数目num_leaves，每次迭代的学习率learning_rate，每个叶子节点上最少的样本数目min_data_in_leaf；
17、粒子群优化算法的步骤为：
18、(1)初始化参数粒子群大小、初始位置和初始速度；
19、(2)以平均绝对误差mae作为粒子群优化算法的目标函数，计算粒子群中各个粒子的当前适应度，所述的mae计算公式为：
20、
21、其中，yi是第i个时刻的网络流量实际测值，是第i个时刻网络流量预测值，n是训练集的包含的时刻数；
22、(3)更新粒子的速度和位置，重新计算粒子的适应度，没有达到最大迭代次数或者不满足设定的的最小误差，则循环更新粒子的速度和位置，直到满足设定的最小误差或达到最大迭代次数，输出最优值和位置以及其他粒子的局部最优值和位置；
23、(4)以json的格式保存每一条网络的最优参数；
24、其中在(3)中，按照如下公式更新粒子的速度：
25、
26、
27、其中，wt+1是自适应惯性权重，c1和c2是加速度系数，r1和r2是随机数，pbesti是粒子i的个体最优位置，gbest是全局最优位置，wmax和wmin分别是权重的最大值和最小值，max_iter是最大迭代次数；
28、按照如下公式更新粒子的位置：
29、
30、其中，表示粒子i在下一刻的位置，是粒子i在下一刻的速度；
31、步骤4中将每个节点最优的参数用于lightgbm并且使用训练集进行模型训练包括：
32、本专利技术使用基于梯度提升树的lightgbm模型来进行流量预测，通过反复添加决策树来最小化损失函数l(y，f(x))，损失函数使用均方误差(mse)，定义为：
33、
34、可以总结为以下步骤：
35、(1)初始化预测值，
36、(2)对于每一轮迭代k，计算每个训练样本i的负梯度或残差rik。
37、(3)训练决策树hk(x)以拟合残差rik。
38、(4)计算决策树叶子节点的输出值cjk。
39、(5)更新预测值：
40、(6)重复步骤2-5，直到收敛或达到最大迭代次数。
41、读取json数据得到每个节点的最优参数，使用该节点的训练集训练lightgbm模型，得到n*n个lightgbm模型
42、进一步的，步骤5中，所述将训练好的模型分别对每一条历史流量进行预测包括：
43、使用训练得到的n*n个lightgbm模型对测试集的每一个节点进行预测，将得到的节点通过反归一化得到正常流量值，将各个节点得到的流量进行聚合得到最终的流量矩阵，方归一化的公式为：
44、xtrue＝xpredcition·(max(x)-min(x))+min(x)
45、其中xpredcition为lightgbm输出的流量，xtrue为反归一化后的流量，min(x)和max(x)分别为该节点原始流量的最大值和最小值；
46、进一步的，步骤6中，所述将该方法与长本文档来自技高网...
【技术保护点】
1.一种基于梯度提升树的网络流量矩阵预测方法，其特征在于：所述方法包括如下步骤：
【技术特征摘要】
1.一种基于梯度提升树的网络流量矩阵预测...
【专利技术属性】
技术研发人员：李枫，聂维，胡江波，陈峰，姜铭烽，杨淮阳，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。