基于深度强化学习的智能服务功能链部署方法及系统技术方案

本发明专利技术提供一种基于深度强化学习的智能服务功能链部署方法及系统，其中，方法包括

【技术实现步骤摘要】
基于深度强化学习的智能服务功能链部署方法及系统


[0001]本专利技术涉及服务功能链部署领域，具体来说，涉及了一种基于深度强化学习的智能服务功能链部署方法及系统
。

技术介绍

[0002]5G
作为当前的核心通信技术，其通过采用网络功能虚拟化
(Network Functions Virtualization
，
NFV)、
软件定义网络
(Software Defined Networking
，
SDN)
等先进技术支持更多的应用场景，旨在增强网络的灵活性与可扩展性，为大量用户提供更加高速率
、
低时延以及定制化的网络服务
。
根据不同场景下业务需求的差异性，
5G
将应用场景分为增强移动带宽
(eMBB)、
海量机器类通信
(mMTC)
以及高可靠低时延
(uRLLC)
三大类
。
对于同一指标而言，这些场景下的用户的网络质量
(Quality of Service
，
QoS)
需求也存在明显差异化
。
如车联网场景需要实时感知车辆以及道路情况，因此其对时延要求较高，要小于
1ms
；而在视频会议和
4k/8k
视频场景下时延要求相对宽裕，分别小于
10ms
和
100ms
即可
。
[0003]在
NFV
和
SDN
使能的
5G
网络中，原本必须用专业硬件支持的功能成为能在通用设备上运行的虚拟网络功能
(Virtualized Network Functions
，
VNF)
，这大幅度降低了
5G
网络的成本和运营支出，增加了网络的灵活性及可扩展性
。
具体而言，当用户发出服务请求后，服务运营商会将用户请求所需要的若干
VNF
组成一条服务功能链
(Service Function Chaining
，
SFC)
，并依据智能算法把
SFC
中的每个
VNF
按照顺序部署在服务器上运行
。
部署过程中网络服务器和链路的资源需要满足运行和传输
VNF
的需求
(
如计算资源
、
带宽等
)
，这一资源分配问题也被称为
SFC
编排问题，这一问题已被证明是
NP
难问题
。
[0004]在
SFC
编排过程中，满足
VNFs
的时延和负载均衡是保证最佳性能和用户体验的关键
。
具体而言，由于不同的业务需求对时延的要求不同，如何在有效时间内放置具有时延差异的
VNFs
是运营商为用户提供满意服务的基础
。
此外，在网络请求数量剧增的当下，如何均衡各台服务器所承载业务，有效防止服务器负载过大而导致的网络崩溃也是
SFC
编排所面临的具体挑战之一
。
[0005]随着智能算法的不断发展，
SFC
编排问题已经在单目标优化算法方面取得较大进展
。Liu
等人以优化端到端时延为目标，提出了一种基于深度强化学习
(Deep Reinforcement Learning
，
DRL)
的
SFC
‑
DOP
算法部署用户请求，但其忽略了节点的负载均衡能力
。
以提高
SFC
接受率为目标，
Li
等人提出了一种基于禁忌搜索的
VNF
映射调度算法，但其没有考虑整体网络环境下用户请求的多样性
。
考虑到用户请求的实时性与随机性，
Fan
等人利用图卷积神经网络在线学习底层网络环境特征，同时利用启发式算法和
DRL
优化
SFC
编排模型，但没有解决在线编排过程中的时延和负载均衡问题
。Hurmat
等人将
SFC
部署问题建模为马尔可夫决策过程，并以增大供应商效益为目标，通过多个
DRL
代理同时处理多条
SFC
放置问题
。
然而，这类算法在解决部署问题时存在巨大的局限性，这是由于传统的单目标优化算法没有考虑不同场景下
QoS
的多样性
。
因此，如何从多个目标出发满足不同场景下用户的
QoS
需求至今仍是一个难题
。

技术实现思路

[0006]本专利技术的目的是针对现有技术的不足，提供一种基于深度强化学习的智能服务功能链部署方法及系统
。
与其他只关注同场景下的
SFC
编排方法不同，本专利技术针对不同场景下的
SFC
编排问题，利用深度强化学习来构建帕累托最优解集，在满足场景所需要时延等要求的同时，尽量使负载均衡
。
[0007]为了实现上述目的，本专利技术所采用的技术方案是：
[0008]本专利技术第一方面提供一种基于深度强化学习的智能服务功能链部署方法，包括：
[0009]搭建用于预测
SFC
中
VNFs
占用的服务器和链路的神经网络预测模型；
[0010]训练所述神经网络预测模型；
[0011]利用已经训练好的神经网络预测模型来编排
SFC。
[0012]基于上述，所搭建的用于预测
SFC
中
VNFs
占用的服务器和链路的神经网络预测模型，在进行预测时，先预测占用的服务器，再计算连接服务器间推荐的路径
。
[0013]基于上述，所述神经网络预测模型中用于预测占用的服务器的模型由多个相同结构的神经网络模型组成；
[0014]所述神经网络模型包括输入层
、
编码器
、
解码器和输出层；
[0015]所述输入层，用于对底层网络中服务器的计算资源
、
度和相连链路的带宽资源数据进行处理并归一化为一个3×
n
f
的特征矩阵，其中
n
f
为底层网络中服务器的数量；
[0016]所述编码器，由多个长短期记忆递归神经网络
LSTM
组成，
LSTM
通过三个门结构提取底层网络最终的隐藏状态
c
t
，
t
＝1，2，
…
，
n
f
；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度强化学习的智能服务功能链部署方法，其特征在于，包括：搭建用于预测
SFC
中
VNFs
占用的服务器和链路的神经网络预测模型；训练所述神经网络预测模型；利用已经训练好的神经网络预测模型来编排
SFC。2.
根据权利要求1所述的基于深度强化学习的智能服务功能链部署方法，其特征在于：所搭建的用于预测
SFC
中
VNFs
占用的服务器和链路的神经网络预测模型，在进行预测时，先预测占用的服务器，再计算连接服务器间推荐的路径
。3.
根据权利要求2所述的基于深度强化学习的智能服务功能链部署方法，其特征在于：所述神经网络预测模型中用于预测占用的服务器的模型由多个相同结构的神经网络模型组成；所述神经网络模型包括输入层
、
编码器
、
解码器和输出层；所述输入层，用于对底层网络中服务器的计算资源
、
度和相连链路的带宽资源数据进行处理并归一化为一个3×
n
f
的特征矩阵，其中
n
f
为底层网络中服务器的数量；所述编码器，由多个长短期记忆递归神经网络
LSTM
组成，
LSTM
通过三个门结构提取底层网络最终的隐藏状态
c
t
，
t
＝1，2，
…
，
n
f
；所述解码器，由多个
LSTM
组成，输入是所述编码器最后的隐藏状态经过一系列
LSTM
运算后输出最终的其中，为选择第
t
个服务器的概率；所述输出层，采用抽样函数，用于对所述解码器中的输出概率进行抽样，获得占用的服务器
。4.
根据权利要求3所述的基于深度强化学习的智能服务功能链部署方法，其特征在于，长短期记忆递归神经网络
LSTM
通过三个门结构提取底层网络最终的隐藏状态
c
t
的方法为：第一个门结构设置为遗忘门，将此节点的特征
x
t
和上一个
LSTM
的输出
h
t
‑1做一个非线性映射，输出一个向量
f
t
＝
σ
(
θ
f
(h
f
‑1+x
t
)+b
f
)
，其中，
θ
f
和
b
f
是遗忘门结构的权重和偏移，
f
t
的值域在
[0
，
1]
间，代表了不同的保留程度，0为完全不保留，1为完全保留；第二个门结构设置为输入门，首先决定要更新的值
i
t
＝
σ
(
θ
i
(h
t
‑1+x
t
)+b
i
)
，然后生成加入状态的候选向量最后更新细胞状态其中，
θ
i
和
b
i
是输入门结构的权重和偏移，
θ
c
和
b
c
是
tanh
结构的权重和偏移；第三个门结构设置为输出门，用于最终输出值
h
t
＝
σ
(
θ0(h
t
‑1+x
t
)+b0)tanh(c
t
)
的输出，其中，
θ0和
b0是输出门结构的权重和偏移
。5.
根据权利要求1‑4任一项所述的基于深度强化学习的智能服务功能链部署方法，其特征在于，所述神经网络预测模型中的推荐路径算法为：第一步，选择起点服务器
p
i
与终点服务器
p
i+1
，刚开始
i
为1；其中，
i
＝1，2，
…
，
n
z
；为预测出的所有占用的服务器；第二步，将起点服务器
p
i
加入已知集合，设置标志位为真，表示已确定该点到源点的最短路径，并将其他各服务器
p
m
加入未知集合；第三步，更新起点服务器
p
i
与其他各服务器
p
m
的耗费
dis(p
i
，
p
m
)
；
第四步，在未知集合中，选择
dis(p
i
，
p
m
)
中值最小的服务器
p
x
，将服务器
p
x
加入已知集合；第五步，剩余服务器中，计算
dis(p
i
，
p
m
)
＞
dis(p
i
，
p
x
)+dis(p
x
，
p
m
)
；如果这个不等式成立，则
dis(p
i
，
p
m
)
＝
dis(p
i
，
p
x
)+dis(p
x
，
p
m
)
，此时
p
i
与
p
m
路径经过
p
x<...

【专利技术属性】
技术研发人员：冯旭，和孟佯，庄雷，张坤丽，宋艳蕊，
申请(专利权)人：嵩山实验室，
类型：发明
国别省市：