基于强化学习联合协作多点传输的服务功能链部署方法技术

本发明专利技术公开了一种基于强化学习联合协作多点传输的服务功能链部署方法，首先描述边缘网络模型，描述边缘网络中服务器与用户的信道特征，使用波束赋形消除多个服务器与用户之间的通信干扰；建立服务器VNF实例化数量限制、服务器处理容量、物理链路带宽、VNF路由和VNF迁移预算限制下的数学模型；对长期优化问题进行建模；将长期优化问题解耦为逐时隙优化问题；最后建立奖励函数求解的子优化问题，降低动作空间搜索复杂度。本发明专利技术利用基于CoMP的迫零波束赋形技术来消除用户之间的无线链路干扰，然后使用基于自然梯度法的Actor

【技术实现步骤摘要】
基于强化学习联合协作多点传输的服务功能链部署方法


[0001]本专利技术属于通信
，具体涉及一种基于强化学习联合协作多点传输的服务功能链部署方法。

技术介绍

[0002]在SDN(Software Defined Network，SDN)架构下，6G通信系统有望通过新兴的网络功能虚拟化(Network Function Virtualization，NFV)技术来提升网络服务质量，使得服务功能可以在商用服务器中利用虚拟机或容器技术直接部署，而无需部署在专属硬件中。这使得6G通信系统运营商可以通过增加商用服务器数量的方式，直接按需灵活扩展网络规模。利用NFV技术，可将数据包所历经的所有服务功能的逻辑顺序进行级联，形成一条SFC，并通过虚拟化网络功能(Virtualized Network Function，VNF)的编排，实现多种业务的灵活定制和部署。
[0003]目前，已有较多工作研究面向传统网络架构的SFC部署方法，例如，内容分发网络和集中式云计算网络。与传统网络架构不同，在6G边缘网络中部署SFC，可使得用户和VNF的位置毗邻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于强化学习联合协作多点传输的服务功能链部署方法，其特征在于，具体按照以下步骤实施：步骤1、描述边缘网络模型，包括边缘服务器、网络虚拟功能、用户和服务功能链的特征；步骤2、描述边缘网络中服务器与用户的信道特征，使用波束赋形消除多个服务器与用户之间的通信干扰；步骤3、建立服务器VNF实例化数量限制、服务器处理容量、物理链路带宽、VNF路由和VNF迁移预算限制下的数学模型；步骤4、根据步骤1
‑
3建立的资源约束，对长期优化问题进行建模；步骤5、构建马尔可夫决策过程模型MDP，将长期优化问题解耦为逐时隙优化问题；步骤6、使用基于自然梯度的Actor
‑
Critic强化学习算法，逐时隙在线学习SFC最优部署策略；步骤7、在搜索动作空间时，建立奖励函数求解的子优化问题，降低动作空间搜索复杂度，最终得到最优解。2.根据权利要求1所述的基于强化学习联合协作多点传输的服务功能链部署方法，其特征在于，所述步骤1具体按照以下步骤实施：步骤1.1、在边缘网络中，一台边缘服务器与一个远程无线射频模块RRH相连，并使用同时表示第n个边缘服务器和该服务器的RRH，其中表示边缘网络中服务器的集合，N表示边缘网络中服务器总数量；边缘服务器之间通过X2链路相互连接，且每个边缘服务器可利用虚拟机技术提供多种不同的虚拟功能；步骤1.2使用表示边缘网络中的第m个用户，表示边缘网络中用户的集合，M表示用户总数量，假设每个用户只能被一条服务功能链SFC所服务，并定义SFC如下：其中，表示用户m的SFC的第一个服务功能，表示第l个服务功能，表示最后一个服务功能并指定为基带处理vBBU。3.根据权利要求2所述的基于强化学习联合协作多点传输的服务功能链部署方法，其特征在于，所述步骤2具体按照以下步骤实施：2.1、用户m和RRH之间存在瑞利衰落和路径损耗，用表示用户m和编号为n的RRH之间的信道矩阵，其中，表示一个L
n
×
L
m
维复数矩阵，L
n
表示编号为n的RRH的发送天线数目，L
m
表示用户m的接收天线数，则在时隙t中用户m接收到的信号u
m,t
可表示为：其中，表示在时隙t中用户m和边缘网络中所有RRH之间的信道矩阵，其中表示用户m和编号为n的RRH之间的信道矩阵，其中
(
·
)
H
表示矩阵的共轭转置，表示所有RRH的天线总数；表示为所有RRH对用户m的波束赋形矩阵，d
m
为用户m接收的数据流个数；用I表示单位矩阵，表示均值为零、协方差为的高斯随机码本；n
m,t
为协方差为的高斯白噪声；2.2、对步骤2.1中用户m接收信号u
m,t
通过基于高斯随机码本的连续编码，可以去掉公式第二项，则时隙t中用户m的接收数据率R
m,t
可表示为:2.3、设定和P
m,n
分别表示边缘服务器n提供给用户m的服务功能处理功耗和无线传输功耗，令表示用户m是否使用边缘服务器n的VNF实例vBBU；则所有RRH对用户m的波束赋形矩阵应满足：其中Tr(
·
)表示对矩阵进行求迹操作；2.4、利用RRH的迫零波束赋形技术成消除SFC之间的无线干扰，即将所有用户的信道矩阵堆栈，然后进行QR分解：其中，中的每一项可以表示为：中的每一项可以表示为：是一组正交基，且正交基，且是满秩上三角矩阵，上三角的其余矩阵块为任意非零矩阵，由此，用户m的波束赋形矩阵可以表示为其中2.5、为消除干扰须满足条件：和和在公式中，S
m,t
的前L
m
行与接收数据率有关，因此可以简化为其中H
m,t
可以简化为H
m,t
＝Q
m,t
R
m,m,t
，有效的波束赋形矩
阵∑
m,t
可定义为：令矩阵则步骤2.3建立约束等价于：约束1：约束2：2.6、步骤2.2中的接收数据率R
m,t
需要大于等于数据率阈值R
m,th
，以于进行正确的数据解码，即：约束3：R
m,t
＝log2|I
Lm
+∑
m,t
|≥R
m,th
。4.根据权利要求3所述的基于强化学习联合协作多点传输的服务功能链部署方法，其特征在于，所述步骤3具体按照以下步骤实施：3.1、设表示能够提供服务功能f的边缘服务器集合，假设每个服务功能只能部署到一台边缘服务器上，即：约束4：其中表示服务功能是否部署在边缘服务器n上，是否部署在边缘服务器n上，表示在时隙t中边缘服务器n中是否提供服务功能f，且和满足：约束5：3.2、某个VNF实例所处理的服务流总数据率，不能超过该VNF实例的处理容量即：约束6：3.3、某条链路上所流经的服务流总数据率，不能超过其链路带宽即:约束7：其中，表示和是否分别部署在边缘服务器n和s上；3.4、在时隙t中只有当和同时为1时，才可取1；则和之间的关系可以描述为：约束8：3.5、定义为边缘服务器n和s的服务迁移代价，则系统总服务迁移代价，不能超过迁移阈值C
mig,th
，即：约束9：5.根据权利要求4...

【专利技术属性】
技术研发人员：王侃，袁鹏，周红芳，李军怀，王怀军，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：