一种基于联邦注意力强化学习的NFV服务功能链动态编排方法技术

本发明专利技术公开了一种基于联邦注意力强化学习的NFV服务功能链动态编排方法。步骤为：1)读取当前物理网络拓扑和服务功能链请求；2)基于联邦注意力强化学习(FARL)生成虚拟网络功能集在物理网络上的放置方案；3)判断虚拟网络功能集中每个虚拟网络功能是否都具有可供所述虚拟网络功能放置的服务器，若是，进入步骤4)，否则，进入步骤6)；4)判断物理网络中是否存在满足所述放置方案需求的链路，若是，则形成服务功能链请求的链路映射方案，进入步骤5)，否则进入步骤6)；5)接受服务功能链请求，根据放置方案和链路映射方案部署服务功能链请求，更新物理网络拓扑，返回步骤1)；6)拒绝服务功能链请求，返回步骤1)。本发明专利技术实现了NFV服务功能链的动态编排。链的动态编排。链的动态编排。

【技术实现步骤摘要】
一种基于联邦注意力强化学习的NFV服务功能链动态编排方法


[0001]本专利技术涉及一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，属于服务功能链领域。

技术介绍

[0002]伴随着云计算，软件定义网络和网络功能虚拟化等网络新技术的出现，未来网络运维向着虚拟化、智能化的方向不断迈进。网络功能虚拟化提供了一种服务节点虚拟化的方法，它采用通用服务器替代传统网络中的专用中间件，可以大大降低网络运营商的建设和运营成本，提升网络管理的灵活性和可扩展性。于网络端到端服务通常需要不同的服务功能，采用虚拟化技术构建网络服务功能链，进行资源的合理分配和调度成为一个重要的研究课题，引起了学术界和工业界的广泛关注。
[0003]为了实现所需的网络服务，VNF应该以基于软件的服务功能链(SFC)的形式编排到合适的虚拟化基础设施中，在过去的几年中，许多SFC编排方法被提出，其目标各不相同，包括降低通信开销、网络效用最大化、性能加速。一般来说，这些与SFC编排相关的解决方案可以分为静态编排和动态编排。
[0004]静态编排在给定的物理设备中实例化SFC，并分配存储、计算和带宽等资源，所有这些实例化的VNFs和SFC将在整个操作中定量分配资源，因此，具有静态编排的SFC的性能受到当前和未来网络状态和动作的极大影响。
[0005]动态编排在可用的网络基础设施中实例化SFC，并为其操作动态分配网络资源。通过主动了解流量趋势，这些解决方案完成了VNFs的自动扩展，更好地利用重新聚合的SFC来满足长期需求。然而，这些动态方案仍然是启发式的，反应缓慢，很难训练大的状态空间。

技术实现思路

[0006]本专利技术的目的是提供一种基于联邦注意力强化学习(FARL)的NFV服务功能链动态编排(SFCDO)方法，步骤如下：
[0007]1)读取当前物理网络拓扑和服务功能链请求；
[0008]2)基于联邦注意力强化学习(FARL)生成虚拟网络功能集在物理网络上的放置方案；
[0009]3)判断虚拟网络功能集中每个虚拟网络功能是否都具有可供所述虚拟网络功能放置的服务器，若是，进入步骤4)，否则，进入步骤6)；
[0010]4)判断物理网络中是否存在满足所述放置方案需求的链路，若是，则形成服务功能链请求的链路映射方案，进入步骤5)，否则进入步骤6)；
[0011]5)接受服务功能链请求，根据放置方案和链路映射方案部署服务功能链请求，更新物理网络拓扑，返回步骤1)；
[0012]6)拒绝服务功能链请求，返回步骤1)。
[0013]根据上述技术方案，步骤2)中所述的基于联邦注意力强化学习(FARL)生成虚拟网络功能集在物理网络上的放置方案，步骤如下：
[0014]步骤一：云端服务器将全局模型传播至各个客户端节点；
[0015]步骤二：各客户端节点把通过本地迭代训练更新全局模型；
[0016]步骤三：云端服务器把接收到的模型聚合成一个新的全局模型；
[0017]步骤四：根据训练好的全局模型输出服务功能链请求的放置方案Solution；
[0018]步骤五：重复步骤一至步骤四，动态的优化全局模型。
[0019]根据上述技术方案，步骤一云端服务器将全局模型传播至各个客户端节点，云服务器传递全局模型Θ(t)至客户端c
i
，根据网络规模，节点密度和客户端地理位置，整个网络被划成为m个子网络，每个子网络中存在一个和云服务器通信的客户端，i是客户端的索引；整个架构存在两种时间周期，第一种是全局联邦训练回合，在每个回合内，包含k个局部训练的epchos，只有在第一个和第k个epcho，客户端和云服务器之间才进行通信，t表示第t个联邦训练回合；分成三个阶段：
[0020]阶段1：云服务器初始化一个预训练模型，模型包含基于注意力网络架构的参数
[0021]阶段2：云服务器模型发送给各个本地客户端；
[0022]阶段3：随着本地状态的改变，模型用来学习部署虚拟网络功能的策略。
[0023]根据上述技术方案，步骤二各客户端节点把通过本地迭代训练更新全局模型，客户端c
i
基于注意力神经网络和DQN算法迭代训练，每个客户端基于自己本地的数据(比如网络中的CPU，带宽，内存等)，在每个回合迭代训练自己的模型，值得注意的是客户端c
i
只把更新后的模型传递给云服务器。
[0024]根据上述技术方案，步骤三所述的云端服务器把接收到的模型聚合成一个新的全局模型，云服务器收集到来自m个客户端的模型参数通过计算更新全局模型参数，其中δ
i
表示本地客户端c
i
参与全局模型训练的权重，其中∑
i
δ
i
＝1。
[0025]根据上述技术方案，步骤四中进行虚拟网络功能分配，本地客户端依据现有的全局模型，进行虚拟网络功能的部署，并计算当前网络的开销和部署错误率。重复步骤一至步骤四，直至全局模型收敛。
[0026]根据上述技术方案，所述的注意力神经网络，每个节点日志都输入到它自己的子图中，该子图将其日志数据嵌入到单个潜在状态向量中。给定节点类型的所有子图共享相同的参数集，因此节点数量的增加不会导致网络参数总数的增长。然后将每个节点的潜在状态堆叠并输入到全局注意子图。该子图能让网络学习到相邻节点的哪些特征与给定节点上的动作价值函数相关。然后将这些节点上下文化的状态向量传递给前馈输出子图。与输入子图一样，输出子图的网络参数在相同类型的节点之间共享。
[0027]全局自注意子图将多头点积注意机制与仿射层交替使用。这种结构使得对应于节点i的输出包括来自网络中任何其他节点的相关信息。在每个节点的潜在表示中包含这个学习到的全局上下文，使得输出空间可以被分解为每个节点的单个子图。
[0028]根据上述技术方案，所述的DQN算法，对于客户端c
i
的本地训练，我们定义一种动
作价值函数Q(S
t
,A
t
)，其中S
t
表示本地训练状态，A
t
表示本地训练行为。同时，表示本地训练行为。同时，γ表示Q(S
t
,A
t
)后续奖励的贴现因子。最优动作价值函数Q
*
(S
t
,A
t
)满足：)满足：
[0029]算法包含两个网络，预测网络和目标网络。预测网络是用来评估当前状态动作对的价值函数。目标函数用于生成目标价值。算法根据损失函数的更新公式来更新网络中的参数，每经过k轮迭代后，将预测网络中的参数复制给目标网络中的参数。通过引入目标函数，使得一段时间内目标Q值保持不变，并在一定程度上降低了预测Q值和目标Q值的相关性，使得训练时损失值震荡发散的可能性降低，从而提高了算法的稳定性。
[0030]预测网络和目标网络都用于训练Q(S
t
,A<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，包括如下步骤：步骤1：读取当前物理网络拓扑和服务功能链请求；步骤2：基于联邦注意力强化学习生成虚拟网络功能集在物理网络上的放置方案；步骤3：判断虚拟网络功能集中每个虚拟网络功能是否都具有可供所述虚拟网络功能放置的服务器，若是，进入步骤4，否则，进入步骤6；步骤4：判断物理网络中是否存在满足所述放置方案需求的链路，若是，则形成服务功能链请求的链路映射方案，进入步骤5，否则进入步骤6；步骤5：接受服务功能链请求，根据放置方案和链路映射方案部署服务功能链请求，更新物理网络拓扑，返回步骤1；步骤6：拒绝服务功能链请求，返回步骤1。2.根据权利要求1所述的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，步骤2所述生成虚拟网络功能集在物理网络上的放置方案的步骤如下：步骤2.1：云端服务器将全局模型传播至各个客户端节点；步骤2.2：各客户端节点把通过本地迭代训练更新全局模型；步骤2.3：云端服务器把接收到的模型聚合成一个新的全局模型；步骤2.4：根据训练好的全局模型输出服务功能链请求的放置方案Solution；步骤2.5：重复步骤2.1至步骤2.4，动态的优化全局模型。3.根据权利要求2所述的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，步骤2.1所述云端服务器将全局模型传播至各个客户端节点，云服务器传递全局模型Θ(t)至客户端c
i
，根据网络规模，节点密度和客户端地理位置，整个网络被划成为m个子网络，每个子网络中存在一个和云服务器通信的客户端，i是客户端的索引；整个架构存在两种时间周期，第一种是全局联邦训练回合，在每个回合内，包含k个局部训练的epchos，只有在第一个和第k个epcho，客户端和云服务器之间才进行通信，t表示第t个联邦训练回合；具体步骤如下：步骤2.11：云服务器初始化一个预训练模型，模型包含基于注意力网络架构的参数步骤2.12：云服务器模型发送给各个本地客户端；步骤2.13：随着本地状态的改变，模型用来学习部署虚拟网络功能的策略。4.根据权利要求2所述的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，步骤2.2所述各客户端节点把通过本地迭代训练更新全局模型，客户端c
i
基于注意力神经网络和DQN算法迭代训练，每个客户端基于自己本地的数据，在每个回合迭代训练自己的模型，客户端c
i
只把更新后的模型传递给云服务器。5.根据权利要求2所述的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，步骤2.3所述云端服务器把接收到的模型聚合成一个新的全局模型，云服务器收集到来自m个客户端的模型参数通过计算更新全局模型参数，其中δ
i
表示本地客户端c
i
参与全局模型训练的权重，其中∑
i
δ
i
＝1。6.根据权利要求2所述的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，步骤2.4中进行虚拟网络功能分配，本地客户端依据现有的全局模型，进行
虚拟网络功能的部署，并计算当前网络的开销和部署错误率；重复步骤2.1至步骤2.4，直至全局模型收敛。7.根据权利要求4所述的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，其特征在于，所述注意力神经网络，每个节点日志都输入到它自己的子图中，该子图将其日志数据嵌入到单个潜在状态向量中；给定节点类型的所有子图共享相同的参数集，因此节点数量的增加不会导致网络参数总数的增长；然后将每个节点的潜在状态堆叠并输入到全局注意子图；该子图能让网络学习到相邻节点的哪些特征与给定...

【专利技术属性】
技术研发人员：邱日轩，郑富永，陈明亮，李帆，杨浩，李元诚，王爽，程杰，庞进，肖勇才，井思桐，汪行健，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：