【技术实现步骤摘要】
时延敏感的服务功能链并行路由优化方法、装置及介质
[0001]本专利技术涉及边缘计算
，尤其是涉及一种时延敏感的服务功能链并行路由优化方法、装置及介质。
技术介绍
[0002]近年来，随着5G和人工智能技术的快速发展，网络中出现了大量的时延敏感和计算密集型应用，而传统的云计算模式已经无法有效地满足这些应用的需求。因此，边缘计算的概念被提出。边缘计算可以充分地利用资源受限的边缘设备，在靠近终端用户的边缘侧提供计算、存储和通信等服务，从而显著降低网络延迟并缓解数据中心网络的压力。随着边缘计算应用的兴起，网络边缘放置了大量提供网络服务的网络功能元件。因此，如何灵活高效地管理这些网络功能，使网络功能可以被动态地创建、删除和迁移，从而在网络边缘资源有限的情况下，满足用户的不同服务需求，成为边缘计算发展过程中迫切需要解决的问题。
[0003]传统意义上，网络功能是由专用的网络设备来实现，这种方式成本高且缺乏可扩展性。网络功能虚拟化(NFV)作为一种新兴的解决方案被提出。与传统的方式不同，NFV在通用的服务器上以虚拟化技术来...
【技术保护点】
【技术特征摘要】
1.一种时延敏感的服务功能链并行路由优化方法，其特征在于，包括以下步骤：构建基于网络功能虚拟化的边缘计算网络中的服务功能链并行路由问题，考虑实时网络状态变化，用马尔可夫决策过程对服务功能链并行路由问题进行建模，得到MDP模型；基于自注意力机制的增强深度确定性策略梯度算法求解MDP模型，所述求解过程包括离线训练和在线运行两个部分，其中，离线训练部分得到一个训练完成的SA
‑
EDDPG模型，在线运行部分通过运行训练完成的SA
‑
EDDPG模型确定最优路由方案，进行服务功能链并行路由。2.根据权利要求1所述的一种时延敏感的服务功能链并行路由优化方法，其特征在于，所述边缘计算网络的网络模型为：将底层的物理网络表示为连通图G＝(N,L)，其中N为服务器节点的集合，集合中包括网络边缘具有计算能力的各种设备，L为连接两个服务器节点的物理链路集合，对于每一个服务器节点n∈N，用C
n
表示其资源容量，对于每条链路l∈L，用B
l
和D
l
分别表示其可用带宽容量和通信时延；每个服务功能链请求都被定义为一系列有序的虚拟网络功能VNFs，网络流量需要依次经过服务功能链中的每个VNF进行路由；对于经过服务功能链路由的流量，假设其可分割，并且被分割为I条子流，每一条子流用i进行表示；用R表示实时到达的服务功能链请求的集合，对于每个服务功能链请求r(F,ε
r
,D
r
)∈R，F表示该服务功能链请求所需要的VNFs的集合，ε
r
表示经过该服务功能链路由流量的流速，D
r
代表该服务功能链请求的时延限制；对于服务功能链请求的每条子流i，将子流i所需的VNFs集合表示为F
i
＝{f1,f2,...,f
m
,...,f
|i|
}，其中f
m
是子流i所需要的第m个VNF，|i|表示的是子流i所包含的VNF数量；每一个VNF的服务实例f
m
∈F
i
有一个资源需求，用进行表示。3.根据权利要求2所述的一种时延敏感的服务功能链并行路由优化方法，其特征在于，所述用马尔可夫决策过程对服务功能链并行路由问题进行建模包括以下步骤：S1：确定约束条件；S11：确定节点容量约束，所述节点容量约束确保请求所需的VNFs消耗的总资源不超过待部署服务器节点n的资源限制，表示为：其中，是一个0
‑
1变量，如果请求r的子流i所需要的第m个VNF f
m
被放置在物理节点n上，则该变量的值为1，否则其值为0；S12：确定链路容量约束，所述链路容量约束确保通过链路l∈L的所有请求所需的总带宽不超过链路的带宽容量B
l
，表示为：其中，是一个0
‑
1变量，如果一个链路l被用于传递请求r的子流i，则该变量的值为1，否则其值为0；是一个连续变量，表示请求r的子流i所分割的流量比例，即流量分割比，其取值范围为
S13：确定时延约束：对于一个请求r，它的时延总共包含了两个部分，分别是服务器节点上的处理时延和链路传输流量时的通信时延，即，请求r的总时延D
total
表示为：其中，表示服务器节点n∈N上f
m
∈i的处理时延，用所有子流i中的最大时延作为请求r的总时延；对于每个请求r，如果它能够被成功接收，则请求r的总时延D
total
不能够超过其时延限制D
r
：S14：确定放置约束，所述放置约束保证只选择一个物理服务器来放置请求r的子流i所需要的第m个VNF，并保证请求r的子流i中的所有VNFs都能得到服务，表示为：需要的第m个VNF，并保证请求r的子流i中的所有VNFs都能得到服务，表示为：S2：确定服务功能链并行路由问题的优化目标为最小化联合资源消耗，即最小化服务器的资源消耗和链路的带宽消耗，其中，所有服务器的资源消耗U
N
表示为：所有链路的带宽消耗U
L
表示为：则，联合资源消耗的优化目标表示为：其中η1和η2分别是服务器资源消耗和链路带宽消耗的权重，满足η1,η2∈(0,1)且η1+η2＝1。4.根据权利要求3所述的一种时延敏感的服务功能链并行路由优化方法，其特征在于，所述MDP模型被定义为一个五元组其中和分别为状态空间和动作空间，是状态转移概率分布，R是奖励函数，γ∈[0,1]是未来奖励的折扣因子，具体定义如下：状态空间：将时刻t的状态定义为一个向量G
t
＝(C
t
,B
t
,D
t
)，G
t
用来表示底层物理网络在t时刻的特征，其中表示所有服务器节点的当前可用资源，代表所有物理链路的当前可用带宽，表示所有物理链路的时延；动作空间：智能体的动作空间是一个集合其中每个动作a∈A代表了VNF放置和流量路由，t时刻动作a定义为其中，是一个离散型的动作，表示
在t时刻，请求r的子流i的第m个VNF是否被放置在服务器节点n上；是一个离散型的动作，用来表示t时刻请求r的子流i是否通过物理链路l进行路由；是一个连续型的动作，用来表示t时刻请求r的流量分割比；状态转移：状态转移被表示为(s
t
,a
t
,r
t
,s
t+1
)，其中s
t
是当前时刻t的网络状态，a
t
是用来处理请求r的子流i中的VNF放置和流量路由的动作，r
t
和s
t+1
分别是执行动作a
t
后获得的即时奖励和下一时刻t+1的网络状态，对于每个状态状态转移概率p(s
t+1
∣s
t
,a
t
)表示的是智能体在网络状态s
t
下执行动作a
t
后，网络状态转换到s
t+1
的概率；奖励函数：基于服务功能链并行路由问题的优化目标，将奖励函数定义为服务器和链路的总资源消耗的负值：5.根据权利要求4所述的一种时延敏感的服务功能链并行路由优化方法，其特征在于，所述离线训练过程包括以下步骤：步骤1)智能体和环境进行交互生成训练数据，其中，环境指的是基于网络功能虚拟化的边缘计算网络，智能体首先观察到当前的网络状态s
t
，并通过自注意力机制将网络状态s
t
转换为基于邻居节点信息的状态s
′
t
，智能体基于其当前的策略执行动作a
t
，环境根据当前的状态s
′
t
和接收到的动作a
t
，更新状态为s
t+1
，并反馈给智能体一个奖励信号r
t
，智能体根据接收到的r
t
更新自己的策略，以便在下一时刻t+1做出更优的决策，通过上述过程的循环进行生成训练数据(s
t
,a
t
,r
t
,s
t+1
)；步骤2)将训练数据(s
t
,a
t
,r
t
,s
t+1
)存储在经验回放池中；步骤3)当状态转移样本积累到预设的数量时，从经验回放池中随机选取一批样本，并输入到SA
‑
EDDPG模型中；步骤4)训练SA
‑
EDDPG模型，其中，SA
‑
EDDPG模型的输入为底层物理网络G和服务请求的集合R，输出为VNFf
m
的放置位置和流量的路由路径，采用双演员
‑
评论家的网络结构，总共包含四个神经网络，分别为主演员网络μ(s|θ
μ
)、主评论家网络Q(s,a|θ
Q
)、目标演员网络μ
′
(s|θ
μ
′
)和目标评论家网络Q
′
(s,a|θ
Q
′
)，其中θ
μ
、θ
Q
、θ
μ
′
和θ
Q...
【专利技术属性】
技术研发人员：郭松涛，朱永东，王紫恒，刘贵燕，曲鑫，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。