一种基于深度强化学习的动态虚拟网络功能编排方法技术

本发明专利技术涉及一种基于深度强化学习的动态虚拟网络功能编排方法，属于无线通信领域。该方法包括：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；根据网络拓扑动态变化和VNF动态变化，建立MDP模型，且通过深度Q网络来求解MDP；针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。本发明专利技术在保证用户时延性能的前提下，受限于网络中计算资源容量和链路带宽资源容量，动态的调整各网络切片VNF的编排策略，保证了用户性能，优化VNF编排成本，提高资源利用率。

【技术实现步骤摘要】
一种基于深度强化学习的动态虚拟网络功能编排方法
本专利技术属于无线通信领域，涉及一种基于深度强化学习的动态虚拟网络功能编排方法。
技术介绍
对于网络服务提供商来说，以一种经济、绿色高效的方式为用户提供服务是一个常见的痛点，因为在硬件级别部署服务时需要较多的时间、成本并且会消耗更多的资源。对定制硬件的依赖严重阻碍了现代通信产业的发展，现代网络产业高度要求轻量级服务提供方法，以促进网络创新和推动长期支出削减，而网络功能虚拟化(NetworkFunctionVirtualization,NFV)技术的出现将成为解决上述问题的关键。网络功能虚拟化是指将网络功能(如防火墙、路由器等)从硬件中剥离出来，并将其“软件化”到通用服务器上，作为云计算基础设施中按需的虚拟网络功能(VirtualNetworkFunction,VNF)。NFV支持以更可伸缩和更灵活的方式分配网络资源，为网络功能提供更有效和灵活的管理和运行机制，从而可以显著降低网络服务提供商的资本支出和运营成本。尽管可以利用VNF技术灵活的分配资源，但是VNF的编排却存在挑战。<br>尽管已经有学者本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的动态虚拟网络功能编排方法，其特征在于，该方法具体包括以下步骤：/nS1：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；/nS2：根据网络拓扑动态变化和VNF动态变化，建立MDP模型；/nS3：针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。/n

【技术特征摘要】
1.一种基于深度强化学习的动态虚拟网络功能编排方法，其特征在于，该方法具体包括以下步骤：
S1：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；
S2：根据网络拓扑动态变化和VNF动态变化，建立MDP模型；
S3：针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。


2.根据权利要求1所述的动态虚拟网络功能编排方法，其特征在于，步骤S1中，动态VNF编排的网络模型为：
物理基础设施网络用无向图G＝(N,L)表示，其中N和L分别代表整个基础设施网络的物理节点集合和链路集合；
设网络中切片的集合为K，一个网络切片中通常包含多个用户业务请求，令Uk表示网络切片k中的用户业务请求集合，此外，令表示网络切片k中的用户u的最大容忍时延，切片k中的用户u对应的所有VNF集合为Fu,k，本模型中将系统的时间维度分为若干个时隙，用表示。


3.根据权利要求2所述的动态虚拟网络功能编排方法，其特征在于，步骤S1中，VNF的编排包括以下两个阶段：
第一阶段：确定将VNF和VNF间的虚拟链路映射在哪个物理节点和物理链路上；
令表示时隙t网络切片k中的用户uVNFj映射在物理节点上的动作，其中j∈Fu,k；表示时隙tVNFj映射在物理节点n上；表示时隙tVNFj是利用物理链路l向下一个VNF传输业务流的动作，表示VNFj是利用物理链路l传输数据；
第二阶段：根据每个切片的VNF映射结果为其分配资源，包括为映射在物理节点上的VNF分配计算资源和映射在物理链路上的虚拟链路分配链路带宽资源；用户在时隙t的计算资源分配策略表示为带宽资源分配策略表示为


4.根据权利要求3所述的动态虚拟网络功能编排方法...

【专利技术属性】
技术研发人员：唐伦，张亚，唐浩，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50