保证可靠性和延迟需求的网络切片编排、备份和部署方法技术

本发明专利技术公开了一种保证可靠性和延迟需求的网络切片编排、备份和部署方法，包括步骤：S1、利用网络切片管理器分布式地感知每个网络切片请求信息；S2、联合混合备份和VNF划分方案，建立网络切片编排、备份和部署的动作空间；S3：利用多智能体深度Q网络方法探索建立的动作空间，学习得到系统成本最小化的网络切片编排、备份和部署策略，同时保证计算网络切片的服务可靠性和延迟需求；S4：新到达的网络切片请求根据系统成本最小化的网络切片编排、备份和部署策略进行虚拟网络功能的编排、备份和部署。其效果是：能够在保证网络切片可靠性和延迟需求的前提下降低系统成本。迟需求的前提下降低系统成本。迟需求的前提下降低系统成本。

【技术实现步骤摘要】
保证可靠性和延迟需求的网络切片编排、备份和部署方法


[0001]本专利技术涉及移动通信技术，尤其涉及一种保证可靠性和延迟需求的网络切片编排、备份和部署方法。

技术介绍

[0002]随着基于网络功能虚拟化(Network Function Virtualization，NFV)和软件定义网络(Software Defined Networking，SDN)的基础设施的广泛使用，运营商能够利用网络切片技术实现高效灵活的网络运营和服务部署。从技术层面上讲，网络切片技术使得运营商可在共享的底层基础设施上构建多个独立、互相隔离、定制化的端到端逻辑网络，以适应日渐多样化的服务请求。然而，网络切片技术在网络可靠性和服务连续性方面面临新的挑战。与传统基于硬件的网络功能相比，通过软件模块实现的虚拟网络功能(Virtual Network Function，VNF)更容易出现故障。此外，VNF的可靠性不仅取决于其软件模块的正常运行，还取决于承载VNF的硬件设施的可靠性。网络切片中单个VNF的故障(可能由软件错误、恶意攻击、错误配置和硬件故障引起)将造成整个网络切片的性能下降，降低用户体验和网络收益。
[0003]针对网络切片的可靠性和服务连续性，现有工作侧重于对VNF进行备份以满足网络切片可靠性的需要，同时最小化网络成本、时延或资源消耗。然而，基于冗余策略的备份方案会消耗大量资源，用于备份的网络资源在故障发生前会一直处于空闲状态。与VNF正常执行其功能的持续时间相比，故障是概率较低的偶然性事件。因此，在当前资源受限的网络环境中，如何在提升网络可靠性的同时保证较高的资源效率是亟待解决的关键问题。
[0004]专利技术人在研究现有技术的过程中发现其存在如下缺点：
[0005]基于冗余策略的备份方案一般需要进行资源的提前预留或设备的预先备份，在提高网络可靠性的同时会不可避免地带来一定程度上的资源浪费；此外，网络切片环境处于高度动态变化中，切片的业务请求也是随机的，因此网络切片的编排、备份和部署方法需要基于能够和与网络环境实时交互的动态解决方案，传统的静态优化方法不再适用。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种保证可靠性和延迟需求的网络切片编排、备份和部署方法，能够在最小化系统成本的同时保证网络切片的服务可靠性和延迟需求。
[0007]为达到上述目的，本专利技术提供的技术方案如下：
[0008]一种保证可靠性和延迟需求的网络切片编排、备份和部署方法，其关键在于，包括以下步骤：
[0009]S1、利用网络切片管理器分布式地感知每个网络切片请求信息，包括业务流的源节点和目的节点、所需的VNF集合和虚拟链路集合、每个VNF的计算资源需求、每条虚拟链路的带宽资源需求、网络切片可靠性需求以及服务延迟需求；
[0010]S2、联合混合备份和VNF划分方案，建立网络切片编排、备份和部署的动作空间；
[0011]S3：利用多智能体深度Q网络方法探索建立的动作空间，学习得到系统成本最小化的网络切片编排、备份和部署策略，同时保证计算网络切片的服务可靠性和延迟需求；
[0012]S4：新到达的网络切片请求根据系统成本最小化的网络切片编排、备份和部署策略进行虚拟网络功能的编排、备份和部署。
[0013]进一步地，所述系统成本包括所有网络切片的建立成本、资源成本和运行成本，其中：网络切片的建立成本是用于启动和激活物理网络中的所有主VNF和主虚拟链路所需的成本；网络切片的资源成本包括主VNF和备份VNF占用物理网络中的CPU资源和带宽资源所需的成本；网络切片的运行成本是运行所有主VNF所需的成本，和备份VNF无关。
[0014]进一步地，在混合备份方案下，VNF可进行本地备份或异地备份；其中，本地备份VNF部署在与主VNF相同的物理节点上；本地备份方式操作简单，但本地备份的网络切片可靠性会受到部署主VNF的物理节点可靠性的限制；异地备份VNF部署在与主VNF不同的物理节点上，可通过增加物理设备数量满足更高的可靠性需求，但异地备份方式将带来更高的网络成本。
[0015]混合备份方案通过资源冗余提高网络切片可靠性，会不可避免地造成资源浪费。为了在提高网络切片可靠性的同时降低网络资源成本，提出VNF划分方案，将单个VNF划分为多个服务功能相同但处理能力更弱的VNF副本，以服务时延为代价提高网络切片可靠性。
[0016]进一步地，按照以下方式确定联合混合备份和VNF划分方案下的网络切片可靠性：
[0017][0018]其中，表示网络切片i的可靠性；V
i
为组成切片i的VNF集合；p
i,v
表示VNF v的可靠概率；l
i,v
表示VNF v划分成的VNF副本个数；N为物理节点集合；p
n
表示物理节点n的可靠概率；x
i,v,n
是表示VNF部署的二进制变量，若切片i中的VNF v部署在物理节点n上，x
i,v,n
＝1，否则x
i,v,n
＝0；y
i,v,n
是VNF备份的二进制变量，若切片i中的VNF v备份在物理节点n上，y
i,v,n
＝1，否则y
i,v,n
＝0；中间变量
[0019]进一步地，按照以下方式确定联合混合备份和VNF划分方案下的网络切片服务延迟：
[0020]其中，表示网络切片i的服务延迟；表示VNF v的服务延迟；μ
i,v
表示VNF v的处理速率；f
i
表示网络切片i的业务流到达率；ρ表示服务强度。
[0021]进一步地，步骤S3中所述多智能体深度Q网络方法包括以下步骤：
[0022]S3
‑
1：根据时变的网络环境和业务需求，将动态网络切片的编排、备份和部署问题构建为马尔科夫决策过程(MDP，Markov Decision Process)；
[0023]S3
‑
2：将每个网络切片管理器视为单个智能体，每个智能体i观测网络切片在时间t上所处的状态s
i
(t)；
[0024]S3
‑
3：利用贪心策略从动作空间中选取一个VNF编排、备份和部署动作a
i
(t)，执行动作后将状态
‑
动作对(s
i
(t),a
i
(t))发送到中央服务器中计算总回报值r(t)，网络转移到新的状态s
i
(t+1)；
[0025]S3
‑
4：将经验数据<s
i
(t),a
i
(t),r
i
(t),s
i
(t+1)>存储到经验回放池中，作为每个智能体上深度Q网络参数更新的训练数据；
[0026]S3
‑
5：每个智能体从经验回放本文档来自技高网...

【技术保护点】

【技术特征摘要】
v的处理速率；f
i
表示网络切片i的业务流到达率；ρ表示服务强度。7.根据权利要求4或5或6所述的保证可靠性和延迟需求的网络切片编排、备份和部署方法，其特征在于：步骤S3中所述多智能体深度Q网络方法包括以下步骤：S3
‑
1：根据时变的网络环境和业务需求，将动态网络切片的编排、备份和部署问题构建为马尔科夫决策过程；S3
‑
2：将每个网络切片管理器视为单个智能体，每个智能体i观测网络切片在时间t上所处的状态s
i
(t)；S3
‑
3：利用贪心策略从动作空间中选取一个VNF编排、备份和部署动作a
i
(t)，执行动作后将状态
‑
动作对(s
i
(t),a
i
(t))发送到中央服务器中计算总回报值r(t)，网络转移到新的状态s
i
(t+1)；S3
‑
4：将经验数据<s
i
(t),a
i
(t),r
i
(t),s
i
(t+1)>存储到经验回放池中，作为每个智能体上深度Q网络参数更新的训练数据；S3
‑
5：每个智能体从经验回放池采样一批次数据用于深度Q网络的训练，基于深度Q网络的损失函数交替更新Q网络和目标Q网络，直至收敛。8.根据权利要求7所述的保证可靠性和延迟需求的网络切片编排、备份和部署方法，其特征在于：所述马尔科夫决策过程用进行表示，其中包括网络状态空间动作空间状态转移函数和回报函数r，当网络环境在时隙t上处于状态时，采取动作根据状态s(t)和动作a(t)，网络环境转移到新的状态s(t+1)，并获得相应回报r(t)，网络从状态s(t)转移到s(t+1)的概率由状态转移函数决定，每个网络切片在时间t上的状态s
i
(t)包括网络切片i的业务流速率f
i
(t)...

【专利技术属性】
技术研发人员：刘青海，王威丽，刘利，肖继攀，王贺，胡娟，张伟东，
申请(专利权)人：重庆控环科技集团有限公司，
类型：发明
国别省市：