一种基于深度强化学习的动态虚拟网络功能编排方法技术

本发明专利技术涉及一种基于深度强化学习的动态虚拟网络功能编排方法，属于无线通信领域。该方法包括：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；根据网络拓扑动态变化和VNF动态变化，建立MDP模型，且通过深度Q网络来求解MDP；针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。本发明专利技术在保证用户时延性能的前提下，受限于网络中计算资源容量和链路带宽资源容量，动态的调整各网络切片VNF的编排策略，保证了用户性能，优化VNF编排成本，提高资源利用率。

【技术实现步骤摘要】
一种基于深度强化学习的动态虚拟网络功能编排方法
本专利技术属于无线通信领域，涉及一种基于深度强化学习的动态虚拟网络功能编排方法。
技术介绍
对于网络服务提供商来说，以一种经济、绿色高效的方式为用户提供服务是一个常见的痛点，因为在硬件级别部署服务时需要较多的时间、成本并且会消耗更多的资源。对定制硬件的依赖严重阻碍了现代通信产业的发展，现代网络产业高度要求轻量级服务提供方法，以促进网络创新和推动长期支出削减，而网络功能虚拟化(NetworkFunctionVirtualization,NFV)技术的出现将成为解决上述问题的关键。网络功能虚拟化是指将网络功能(如防火墙、路由器等)从硬件中剥离出来，并将其“软件化”到通用服务器上，作为云计算基础设施中按需的虚拟网络功能(VirtualNetworkFunction,VNF)。NFV支持以更可伸缩和更灵活的方式分配网络资源，为网络功能提供更有效和灵活的管理和运行机制，从而可以显著降低网络服务提供商的资本支出和运营成本。尽管可以利用VNF技术灵活的分配资源，但是VNF的编排却存在挑战。尽管已经有学者对VNF的编排展开研究，但解决VNF资源分配问题的最流行方法之一是基于阈值的资源分配策略，如果网络条件达到某些预定义的阈值，则可以添加或删除资源，尽管这为动态资源分配提供了一种简单且可扩展的解决方案，但是基于阈值的标准往往会过度配置和未充分利用网络设备，从而对基础设施提供商带来高昂的成本。另外，现有的大多数优化方法是启发式的，然而，实际网络已经变得更加复杂且动态变化，此外，这些启发式的解决方法严重依赖先验知识，并且通常以离线的方式进行设计，牺牲了网络功能虚拟化和软件定义网络(SoftwareDefinedNetwork,SDN)的灵活性。并且，一些研究还忽略到端到端时延，尤其是处理时延，但这是服务等级协议(ServiceLevelAgreement,SLA)中最重要的指标之一。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于深度强化学习的动态虚拟网络功能编排方法，根据物理网络拓扑动态变化，在保证用户时延性能的前提下，受限于网络中计算资源容量和链路带宽资源容量，动态的调整各网络切片VNF的编排策略，保证用户性能，优化VNF编排成本，提高资源利用率。为达到上述目的，本专利技术提供如下技术方案：一种基于深度强化学习的动态虚拟网络功能编排方法，具体包括以下步骤：S1：针对物理网络拓扑动态变化引起的虚拟网络功能(VirtualNetworkFunctional,VNF)编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；S2：根据网络拓扑动态变化和VNF动态变化，建立MDP模型；S3：针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。进一步，步骤S1中，动态VNF编排的网络模型为：物理基础设施网络用无向图G＝(N,L)表示，其中N和L分别代表整个基础设施网络的物理节点集合和链路集合；Cn表示为物理节点n的计算容量，Bl为链路l的带宽容量，l.head和l.tail代表连接链路l的两个相邻物理节点；设网络中切片的集合为K，一个网络切片中通常包含多个用户业务请求，令Uk表示网络切片k中的用户业务请求集合，此外，令表示网络切片k中的用户u的最大容忍时延，切片k中的用户u对应的所有VNF集合为本模型中将系统的时间维度分为若干个时隙，用表示。进一步，步骤S1中，VNF的编排包括以下两个阶段：第一阶段：确定将VNF和VNF间的虚拟链路映射在哪个物理节点和物理链路上；令表示时隙t网络切片k中的用户uVNFj映射在物理节点上的动作，其中j∈Fu,k；表示时隙tVNFj映射在物理节点n上；表示时隙tVNFj是利用物理链路l向下一个VNF传输业务流的动作，表示VNFj是利用物理链路l传输数据；第二阶段：根据每个切片的VNF映射结果为其分配资源，包括为映射在物理节点上的VNF分配计算资源和映射在物理链路上的虚拟链路分配链路带宽资源；用户在时隙t的计算资源分配策略可以表示为带宽资源分配策略可以表示为进一步，步骤S1中，VNF编排成本由资源成本Cres(t)和运行成本Crun(t)构成，即：C(t)＝η1Cres(t)+η2Crun(t)其中，η1,η2分别为资源成本和运行成本的权重；资源成本Cres(t)主要由计算资源成本Cr,c(t)和带宽资源成本Cr,b(t)构成，即：Cres(t)＝Cr,c(t)+Cr,b(t)另一方面涉及时延性能指标，考虑传输时延和处理时延，得到端到端时延为：其中，为传输时延，为处理时延；所以VNF编排的优化目标是联合优化资源成本和运行成本，优化目标为：其中，E[·]表示求期望。进一步，步骤S2中，建立的MDP模型为：状态空间为定义为是网络拓扑的状态空间，当物理节点处于工作状态时反之则分别表示当前网络中物理节点可用计算资源量和物理链路可用带宽资源量的状态空间。状态空间定义为为计算资源分配动作空间，是切片k中的用户u的计算资源分配动作空间，表示网络中所有用户的链路资源分配动作空间，为切片k中的用户u的链路资源分配动作空间。在系统状态为s(t)下，采取动作a(t)后，系统会获得一个即刻奖励R(s(t),a(t))＝-C(t)并转移到系统状态s(t+1)，设此状态转移概率为Pr(s(t),a(t),s(t+1))。进一步，步骤S3中，为了适用网络拓扑动态变化和节点负载动态变化，采用结合了神经网络的深度Q网络(DeepQNetwork,DQN)来解决本方法建立的MDP模型，以获得的最优VNF编排策略，保证了用户性能，优化VNF编排成本，提高资源利用率。由最优状态-动作值函数Q*(s,a)得出时隙t的最优VNF编排策略π*(s|a)为：其中，s'表示状态s的下一个状态，a'表示s'下采取的动作，γ表示折扣因子，策略π是从状态到可能执行的动作的概率的映射，具体可以表示为在状态π(a|s)为动作的一个概率分布。本专利技术的有益效果在于：本专利技术针对物理网络拓扑动态变化的VNF编排，在保证用户时延性能的前提下，综合考虑了网络中计算资源容量和链路带宽资源容量，动态调整VNF的编排策略，保证用户性能，优化VNF编排成本和提高资源利用率。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为可应用本专利技术场景示意图；图2为本专利技术基于神经网络的VNF编排决策示意图；图3为本专利技术基本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的动态虚拟网络功能编排方法，其特征在于，该方法具体包括以下步骤：/nS1：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；/nS2：根据网络拓扑动态变化和VNF动态变化，建立MDP模型；/nS3：针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。/n

【技术特征摘要】
1.一种基于深度强化学习的动态虚拟网络功能编排方法，其特征在于，该方法具体包括以下步骤：
S1：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；
S2：根据网络拓扑动态变化和VNF动态变化，建立MDP模型；
S3：针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。


2.根据权利要求1所述的动态虚拟网络功能编排方法，其特征在于，步骤S1中，动态VNF编排的网络模型为：
物理基础设施网络用无向图G＝(N,L)表示，其中N和L分别代表整个基础设施网络的物理节点集合和链路集合；
设网络中切片的集合为K，一个网络切片中通常包含多个用户业务请求，令Uk表示网络切片k中的用户业务请求集合，此外，令表示网络切片k中的用户u的最大容忍时延，切片k中的用户u对应的所有VNF集合为Fu,k，本模型中将系统的时间维度分为若干个时隙，用表示。


3.根据权利要求2所述的动态虚拟网络功能编排方法，其特征在于，步骤S1中，VNF的编排包括以下两个阶段：
第一阶段：确定将VNF和VNF间的虚拟链路映射在哪个物理节点和物理链路上；
令表示时隙t网络切片k中的用户uVNFj映射在物理节点上的动作，其中j∈Fu,k；表示时隙tVNFj映射在物理节点n上；表示时隙tVNFj是利用物理链路l向下一个VNF传输业务流的动作，表示VNFj是利用物理链路l传输数据；
第二阶段：根据每个切片的VNF映射结果为其分配资源，包括为映射在物理节点上的VNF分配计算资源和映射在物理链路上的虚拟链路分配链路带宽资源；用户在时隙t的计算资源分配策略表示为带宽资源分配策略表示为


4.根据权利要求3所述的动态虚拟网络功能编排方法...

【专利技术属性】
技术研发人员：唐伦，张亚，唐浩，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50