基于异步强化学习的网络服务功能链动态部署系统及方法技术方案

本发明专利技术公开基于异步强化学习的网络服务功能链动态部署系统及方法。系统包括信息获取模块、神经网络训练模块、虚拟网络功能放置模块、放置校验模块和数据库；方法步骤为：1)获取服务功能链请求；2)生成虚拟网络功能的放置方式，并完成虚拟网络功能的放置；3)判断服务功能链请求中所有虚拟网络功是否均放置成功，若是，则接受所述服务功能链请求；否则，拒绝所述服务功能链请求，释放已占用的资源。本发明专利技术将单个服务功能链部署问题建模为一个有限步数的马尔科夫决策过程，优化目标为最大化接受率和长期平均收益，以此来适应强化学习方法架构。

【技术实现步骤摘要】
基于异步强化学习的网络服务功能链动态部署系统及方法
本专利技术涉及服务功能链领域，具体是基于异步强化学习的网络服务功能链动态部署系统及方法。
技术介绍
网络功能虚拟化(NetworkFunctionVirtualization,NFV)是一种很有前景的技术，它利用软件中间盒来执行多样的网络功能，克服了传统方法中直接使用专用服务器来运行各种网络功能的缺点。NFV技术不仅提高物理网络的资源利用率和网络服务收益，还降低了网络提供商的管理难度，提高了灵活度。得益于NFV技术，一个复杂的网络服务(NetworkService,NS)，也称为服务功能链(ServiceFunctionChain,SFC)，由一系列有序的虚拟网络功能(VirtualNetworkFunction，VNF)组成。在线场景中，网络提供商需要在多种资源限制条件下，将动态到达的SFC请求实时放置在物理网络中。在NFV框架下，网络服务的质量依赖于服务功能链的部署效果。已有的部署算法有：基于数学的部署方法，它们利用特定的优化目标来寻找最佳规划的方案，但这种方法需要消耗很大本文档来自技高网...

【技术保护点】
1.基于异步强化学习的网络服务功能链动态部署系统，其特征在于，包括信息获取模块、所述神经网络训练模块、虚拟网络功能放置模块、放置校验模块和数据库。/n所述信息获取模块获取服务功能链请求；/n所述服务功能链请求的信息包括虚拟网络功能集N

【技术特征摘要】
1.基于异步强化学习的网络服务功能链动态部署系统，其特征在于，包括信息获取模块、所述神经网络训练模块、虚拟网络功能放置模块、放置校验模块和数据库。
所述信息获取模块获取服务功能链请求；
所述服务功能链请求的信息包括虚拟网络功能集Nv＝{VNF1，VNF2，VNF3，...，VNFT}；VNFT表示第T个虚拟网络功能；T为所述服务功能链请求的虚拟网络功能数量；
所述神经网络训练模块建立神经网络，并对神经网络模型进行训练，得到训练好的神经网络模型；
所述虚拟网络功能放置模块将服务功能链请求信息输入到训练好的神经网络模型中，生成虚拟网络功能的放置方式，并完成虚拟网络功能的放置；
所述放置校验模块判断服务功能链请求中所有虚拟网络功是否均放置成功，若是，则接受所述服务功能链请求，否则拒绝所述服务功能链请求，释放已占用的资源；
所述数据库存储信息获取模块、神经网络训练模块、虚拟网络功能放置模块、放置校验模块的数据。


2.基于异步强化学习的网络服务功能链动态部署方法，其特征在于，包括以下步骤：
1)获取服务功能链请求；
2)建立神经网络模型，并对神经网络模型进行训练，得到训练好的神经网络模型；
3)将服务功能链请求信息输入到训练好的神经网络模型中，生成虚拟网络功能的放置方式，并完成虚拟网络功能的放置；
4)判断服务功能链请求中所有虚拟网络功是否均放置成功，若是，则进入步骤6)；否则，进入步骤5)。
5)拒绝所述服务功能链请求，释放已占用的资源，返回步骤1)；
6)接受所述服务功能链请求，返回步骤1)。


3.根据权利要求2所述的基于异步强化学习的网络服务功能链动态部署方法，其特征在于：相邻虚拟网络功能之间存在虚拟链路(VirtualLink，VL)；所有虚拟链路组成虚拟链路集Lv＝{VL1，VL2，VL3，...，VLT-1}；VLn包括第n条虚拟链路的带宽请求信息，下标n表示其虚拟链路序号；n＝1，2，...，T-1。


4.根据权利要求2所述的基于异步强化学习的网络服务功能链动态部署方法，其特征在于，所述神经网络包括图卷积神经网络和若干GRU单元；
所述图卷积神经网络的输入为一个图的邻接矩阵A和图中节点的特征矩阵X，输出为提取图中特征后的新表示向量Zt；
其中，新表示向量Zt如下所示：



式中，σ(·)是激活函数，W是可训练参数；表示图数据结构的卷积操作；是图的邻接矩阵与单位矩阵之和；
对于任意时间步长t，GRU单元的输入为当前服务功能链的特征上一个时间步幅的隐藏状态向量et-1，输出为当前时间步幅的隐藏状态向量et；
隐藏状态向量et如下所示：



式中，zt为遗忘门；为候选的隐藏状态；
其中，遗忘门zt和候选的隐藏状态分别如下所示：






式中，rt表示重置门；σ(·)是sigmoid激活函数；⊙表示元素的乘法；Wz、We、Vz、Ve表示权重；bz、be表示偏置；



式中，Wr、Vr表示重置门；br表示偏置。


5.根据权利要求2所述的基于异步强化学习的网络服务功能链动态部署方法，其特征在于，对神经网络模型进行训练的步骤包括：
1)建立Actor神经网络和Critic神经网络；Actor神经网络和Critic神经网络均包括图卷积神经网络和若干GRU单元；其中，Critic神经网络输出层输出单数值；
设置N个智能体，并初始化所述智能体的参数为全局神经网络参数；所述全局神经网络参数包括Actor神经网络和Critic神经网络的参数；所述智能体包括神经网络模型行动者Actor和评论家Critic；
2)第n个智能体读取当前服务功能链信息；n初始值为1；
3)第n个智能体对服务功能链请求中的每个虚拟网络功能进行放置，其中，Actor神经网络利用∈-贪心策略生成放置概率策略；
4)根据服务功能链放置结果，第n个智能体获得奖励reward，即：



式中，ξ是奖励折...

【专利技术属性】
技术研发人员：范琪琳，王天富，李秀华，熊庆宇，潘盼，文俊浩，高旻，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50