基于流量预测与深度强化学习的虚拟资源动态扩缩容方法技术

本发明专利技术公开了基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，包括：S1：获取5G核心网的历史指标数据和网络状态数据，并对所述历史指标数据进行数据清洗；S2：将数据清洗后的所述历史指标数据输入LSTM模型进行训练和预测，得到预测结果；S3：将所述预测结果和所述网络状态数据输入到Priority

【技术实现步骤摘要】
基于流量预测与深度强化学习的虚拟资源动态扩缩容方法


[0001]本专利技术属于通信
，涉及基于流量预测与深度强化学习的虚拟资源动态扩缩容方法。

技术介绍

[0002]第五代移动通信技术(5G)中对于低时延、广接入、高带宽场景的刻画使得其服务对象从人逐步扩展到各种类型的设备，同时也对核心网的资源合理分配提出更高要求。智能化的5G核心网编排算法可以灵活组网，在实现自动扩缩容后降低服务拒绝率并提升网络资源利用率。
[0003]为了解虚拟资源动态扩缩容现有方法，对已有的论文和专利进行了检索，选出下列论文及专利信息，并进行分析：
[0004]文献方案1：《Forecasting assistedVNF scaling in NFV
‑
enabled networks》中，作者首先验证了VNF的动态部署及扩缩容问题可被具体为离线VNF部署成本最小化问题且是一种NP
‑
hard问题，然后提出一种基于傅里叶级数的预测方法，该方法通过避免网络拓扑的频繁变化来实现开销最小化，同时提出一种基于多臂赌博机算法的在线学习VNF部署算法。但是，使用傅里叶级数的非线性拟合及多臂赌博机算法最终完成对VNF的部署问题，傅里叶级数的应用相较而言较为复杂，求解过程可能会耗费较多时间，而多臂赌博机算法属于在线学习方法，无法完成离线学习的要求。
[0005]文献方案2：《Proactive VNF Scaling with Heterogeneous Cloud Resources:Fusing Long Short
‑
Term Memory Prediction and Cooperative Allocation》中，作者主要探讨了NFV网络多资源、多类型流量的动态分配与调整，首先提出一种基于LSTM
‑
RNN模型流量预测的方法估计资源需求的类型和数量，之后设计了一种协同互补的资源分配算法，以减少资源碎片提升资源利用率。虽然使用LSTM模型作为VNF部署问题中前期资源规划阶段的流量预测方法，但在主要的资源调度阶段考虑的是将业务分至具有空闲资源的节点，类似于纵向扩缩容，实际操作难度较大。
[0006]文献方案3：《Machine Learning
‑
based Optimal VNF Deployment》中，作者提出一种基于机器学习模型的VNF最优部署方法，该模型使用整数线性规划(ILP)计算给定网络和服务请求的最优VNF部署以及SFC的解决方案，其中，使用ECC对输入数据进行图形化处理，该方法可以在解决节点排序不确定和邻域大小变化的问题的基础上考虑结构信息对结果的影响。但是，使用ECC
‑
GNN模型对节点进行资源调度与编排，因为缺少对网络流量的提前感知(即预测)，可能会导致分配结果与实际情况差距较大，无法在短时间内满足某些突发性网络请求。
[0007]专利方案1：《基于机器学习的智能扩缩容方法、装置、设备及存储介质》中，作者通过检测需求信息中包含的预测时间段，获取对应先验信息并将预测时间段输入第一预测模型再使用先验信息进行修正获取第一预测信息的修正结果，之后，获取与训练集中历史数据对应的负载资源参数以组成与训练集对应的调整后训练集，调整训练集并使用第一预测
信息的修正结果得到第二预测结果以判断是否扩容或缩容。但是，使用两个预测模型实现VNF自动扩缩容决策，缺少对于决策后状况的反馈，同时两次预测及验证过程较为复杂。
[0008]专利方案2：《VNF扩缩容方法及装置、网元及存储介质》中，作者设置了第一网元和第二网元的场景，在确定对目标VNF进行扩缩容时，第一网元将向第二网元发送扩缩容事件通知，该通知用于告知第二网元避开与所述第一网元同时对所述目标VNF扩缩容，而第二网元根据通知，在预设时间内屏蔽所述第二网元对所述目标VNF的扩缩容。而专利方案2更为关注对于扩缩容决策下发时的重复问题，并没有将决策的整体过程做详细陈述，也缺少对扩缩容决策调整方式的具体选择。

技术实现思路

[0009]针对现有技术中存在的问题，本专利技术的目的在于提供基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，至少部分解决上述技术问题。
[0010]本专利技术实施例提供了基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，包括：
[0011]S1：获取5G核心网的历史指标数据和网络状态数据，并对所述历史指标数据进行数据清洗；
[0012]S2：将数据清洗后的所述历史指标数据输入LSTM模型进行训练和预测，得到预测结果；
[0013]S3：将所述预测结果和所述网络状态数据输入到Priority
‑
DQN算法进行决策，输出AMF决策结果。
[0014]进一步地，对所述历史指标数据进行数据清洗具体包括：
[0015]将所述历史指标数据中各时间点内的数据整合成一个时间段内的数据；
[0016]将整合后所述一个时间段内的数据，根据预设时间跨度进行分组聚合；
[0017]对分组聚合后的所述一个时间段内的数据进行时间序列化和归一化处理，得到数据清洗后的所述历史指标数据。
[0018]进一步地，将数据清洗后的所述历史指标数据，根据预设比例划分为训练集和预测集，分别进行所述LSTM模型的训练和预测。
[0019]进一步地，所述Priority
‑
DQN算法对AMF进行横向扩容决策。
[0020]进一步地，所述Priority
‑
DQN算法中的判断奖励，通过计算所述历史指标数据中的平均等待延时和AMF利用率得到，具体计算过程为：
[0021][0022][0023][0024]式中，MRT
t
表示t时刻的所述平均等待延时；U
t
表示t时刻所述AMF利用率；r
i
表示在请求集合中的第i个请求；r
service
表示单个AMF的服务速率；表示处于等待队列中的每个r
i
的累计等待时长；L
queue
表示处于等待队列中的请求集合；N
AMF
表示当前网络中AMF实例的数目；N
history
表示过去预设时间内服务请求的数量；R
t
表示代理在当前状态下采取行动后得到的奖励；threshold
MRT
表示所述所述平均等待延时MRT的上限。
[0025]本专利技术实施例提供的基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，与现有技术相比较，在5G核心网场景下将虚拟资源的动态扩缩容问题具象为对于AMF单元的扩缩容问题，并选定调整模式为横向扩缩容，节约成本并且提升了QoS，保证了实例服务的正常进行。
[0026]使用基于LSTM预测结果作为自动扩缩容决策深度强化学习阶段的特征，完成对网络状态的提前感知，减少响应延迟并解决静态阈值下的决策震荡问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，其特征在于，包括：S1：获取5G核心网的历史指标数据和网络状态数据，并对所述历史指标数据进行数据清洗；S2：将数据清洗后的所述历史指标数据输入LSTM模型进行训练和预测，得到预测结果；S3：将所述预测结果和所述网络状态数据输入到Priority
‑
DQN算法进行决策，输出AMF决策结果。2.根据权利要求1所述的基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，其特征在于，对所述历史指标数据进行数据清洗具体包括：将所述历史指标数据中各时间点内的数据整合成一个时间段内的数据；将整合后所述一个时间段内的数据，根据预设时间跨度进行分组聚合；对分组聚合后的所述一个时间段内的数据进行时间序列化和归一化处理，得到数据清洗后的所述历史指标数据。3.根据权利要求1所述的基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，其特征在于：将数据清洗后的所述历史指标数据，根据预设比例划分为训练集和预测集，分别进行所述LSTM模型的训练和预测。4.根据权利要求1所述的基于流量预测与深度强化学习的虚拟资源动态扩缩容方法，其特征在于：所述Priority
‑

【专利技术属性】
技术研发人员：马润，李晓波，吴双，马梦轩，闫舒怡，哈欣楠，王晔，王圣杰，王宁，冯国礼，魏文彬，
申请(专利权)人：国网宁夏电力有限公司信息通信公司，
类型：发明
国别省市：