一种基于深度强化学习的自适应服务功能链映射方法技术

本发明专利技术提出了一种基于深度强化学习的自适应服务功能链映射方法，步骤为：建立SFC映射模型，将SFC映射过程分为三层结构并进行抽象参数表示；搭建SFCR映射学习神经网络，并将抽象参数映射至SFCR映射学习神经网络中的状态、动作、奖励值；构建经验回放池并对网络参数更新；基于经验回放池中数据，统计不同VNF的请求率、使用率及现有部署数量和未激活个数；设计VNF再部署策略，根据统计的数据对VNF再部署。本发明专利技术具有维持网络环境稳定、提高用户服务质量的优势，能够有效解决现有映射方法随时间动态变化造成有效服务成本占比小及服务映射效率低问题；具有良好的自适应性，能提高不同时间段处理用户服务请求的有效服务成本率和请求映射率。求映射率。求映射率。

【技术实现步骤摘要】
一种基于深度强化学习的自适应服务功能链映射方法


[0001]本专利技术涉及服务功能链映射的
，尤其涉及一种基于深度强化学习的自适应服务功能链映射方法。

技术介绍

[0002]近年来，随着网络用户爆炸性增长和网络业务需求日趋多样化，传统网络架构模式中网络功能需专用设备运行的僵化部署体系面临巨大挑战。尤其在数据中心中，庞大且复杂的网络架构模式在面对灵活的用户业务需求时，资源分配不均导致业务的服务质量下降。NFV(网络功能虚拟化)技术为解决网络功能僵化部署问题提供了更灵活、更高效的用户服务请求响应方式。NFV利用虚拟化技术，将网络功能软件化成为VNF(虚拟网络功能)，以VNFI(虚拟网络功能实例)方式部署在通用硬件平台上，极大增加了网络功能部署的灵活性与可扩展性，降低了网络运营商的硬件投资成本和运维成本。在NFV中，用户通过向网络服务提供商发起服务请求，网络服务数据流以特定的顺序从源节点到目的节点依次经过一系列VNFs(一系列VNF，加个s是为了体现不只一种VNF)，这种链式服务请求被称为SFC(服务功能链)，用户发起的网络服务请求称为SFCR(服务功能链请求)。SFC技术驱动了高度可拓展网络业务流处理平台的构建，提高了用户业务请求处理的速率与灵活性。但现有SFC映射的方法未考虑随时间变化现有VNF情况不适用当前用户网络业务需求，造成空闲资源浪费及用户请求映射率低等问题。因此，需要制定一种映射优化方法，从现有物理网络拓扑结构不变出发，通过改进深度强化学习框架、收集历史映射数据对VNF再部署，更科学地将虚拟网络功能VNF部署在物理网络拓扑中，以满足不同时间段的用户服务请求，提高用户请求映射率，降低映射成本。

技术实现思路

[0003]针对用户服务需求强度随时间变化导致静态网络环境中已部署的VNFs中存在需求度差异，造成需求度高的服务节点不能及时响应服务请求，而需求度低的服务节点长期处于空闲状态，增加无必要的服务成本的技术问题，本专利技术提出一种基于深度强化学习的自适应服务功能链映射方法，在基层物理网络对VNF再部署，增强VNF对服务请求的自适应性，从而提高有效服务成本率和映射率。
[0004]为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于深度强化学习的自适应服务功能链映射方法，其步骤如下：
[0005]步骤一：建立SFC映射模型，将SFC映射过程分为网络功能服务请求集合、请求映射层和基层物理网络三层结构，并对三层结构进行抽象参数表示；
[0006]步骤二：搭建SFCR映射学习神经网络，初始化SFCR映射学习神经网络的参数，并将步骤一中的抽象参数映射至SFCR映射学习神经网络中涉及的状态、动作、奖励值中；
[0007]步骤三：构建经验回放池并对SFCR映射学习神经网络的网络参数更新；
[0008]步骤四：判断当前时隙t时是否符合再部署要求，不符合则转到步骤三，否则转到
步骤五；
[0009]步骤五：基于经验回放池中存储的历史SFCR映射数据，统计不同虚拟网络功能VNF的请求率、使用率及现有部署数量和未激活个数；
[0010]步骤六：设计VNF再部署策略，根据步骤五中统计的数据对基层物理网络中的虚拟网络功能VNF再部署。
[0011]所述步骤一中对网络功能服务请求集合、请求映射层和基层物理网络拓扑分别进行抽象参数表示的方法为：
[0012]将网络功能服务请求集合抽象为SRs＝{SCFR1,SCFR2,SCFR3...}，其中，SCFR1、SCFR2、SCFR3分别表示集合SRs中第1、2、3个服务功能链请求；对于第f个服务功能链请求SFCR
f
以有向加权图SR
f
＝(V
f
,E
f
,d
f
)表示，其中，虚拟网络功能节点集合表示有向加权图SR
f
的源节点，表示有向加权图SR
f
的目的节点，l表示服务功能链请求SFCR
f
所需的网络功能个数，...为中间的虚拟网络功能节点；虚拟网络功能节点和虚拟网络功能节点间的虚拟链路组成虚拟链路集合d
f
表示服务功能链请求SFCR
f
占用的服务节点资源和带宽资源的时间为d；虚拟网络功能节点正常运行时所要求的CPU资源为和内存资源需求为每条虚拟链路所需带宽资源为
[0013]将基层物理网络抽象为带权无向图G＝{N,L}表示，其中，N＝{n1,n2...n
m
}表示物理服务节点n1,n2...n
m
的集合，m为物理服务节点总数，物理链路集合L＝{l
a,b
|a,b≤m}，l
a,b
表示两个物理服务节点n
a
和n
b
之间的物理链路；每个物理服务节点上可部署多种VNFI，物理服务节点n
a
的VNFI集合记为VNFIs
a
＝{VNF
x
,p|p＝0,1}，当p＝0时表明第x个虚拟网络功能VNF未激活；当p＝1时表明第x个VNF处于激活状态，x的取值范围为0～k，k代表虚拟网络功能VNF的种类；物理服务节点n
a
的当前剩余CPU资源为C(n
a
)和内存资源为M(n
a
)，物理服务节点n
a
和n
b
的物理链路l
a,b
的带宽资源为B(l
a,b
)；
[0014]将请求映射层抽象为无向图G
M
＝(V
f
,N,vE)，无向图G
M
表示SFCR在基层物理网络中的映射拓扑图，其中V
f
是第f个服务功能链请求SFCR
f
的虚拟网络功能点的集合，N是物理网络服务节点集合，表示第f个服务功能链请求SFCR
f
中第i个虚拟网络功能节点和第j个物理服务节点n
j
之间的映射链路。
[0015]所述虚拟网络功能节点集合V
f
中，中间虚拟网络功能节点的顺序是SFC网络流或业务流通过网络功能的顺序。
[0016]所述步骤二中初始化SFCR映射学习神经网络的参数的方法为：对映射学习框架进行初始化：映射拓扑图G
M
置为空，经验回放池初始化为空，随机初始化当前策略网络参数θ
μ
和当前价值网络参数θ
Q
，并分别复制给目标策略网络参数θ
μ
′
和目标价值网络参数θ
Q
′
。
[0017]所述步骤二中抽象参数映射至SFCR映射学习神经网络的方法为：
[0018]状态空间S(t)＝{s1,s2...s
t
}中每个状态s
t
＝{G(t),SRs(t)}包括当前时隙t时的基层物理网络中物理服务节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的自适应服务功能链映射方法，其特征在于，其步骤如下：步骤一：建立SFC映射模型，将SFC映射过程分为网络功能服务请求集合、请求映射层和基层物理网络三层结构，并对三层结构进行抽象参数表示；步骤二：搭建SFCR映射学习神经网络，初始化SFCR映射学习神经网络的参数，并将步骤一中的抽象参数映射至SFCR映射学习神经网络中涉及的状态、动作、奖励值中；步骤三：构建经验回放池并对SFCR映射学习神经网络的网络参数更新；步骤四：判断当前时隙t时是否符合再部署要求，不符合则转到步骤三，否则转到步骤五；步骤五：基于经验回放池中存储的历史SFCR映射数据，统计不同虚拟网络功能VNF的请求率、使用率及现有部署数量和未激活个数；步骤六：设计VNF再部署策略，根据步骤五中统计的数据对基层物理网络中的虚拟网络功能VNF再部署。2.根据权利要求1所述的基于深度强化学习的自适应服务功能链映射方法，其特征在于，所述步骤一中对网络功能服务请求集合、请求映射层和基层物理网络拓扑分别进行抽象参数表示的方法为：将网络功能服务请求集合抽象为SRs＝{SCFR1,SCFR2,SCFR3...}，其中，SCFR1、SCFR2、SCFR3分别表示集合SRs中第1、2、3个服务功能链请求；对于第f个服务功能链请求SFCR
f
以有向加权图SR
f
＝(V
f
,E
f
,d
f
)表示，其中，虚拟网络功能节点集合)表示，其中，虚拟网络功能节点集合表示有向加权图SR
f
的源节点，表示有向加权图SR
f
的目的节点，l表示服务功能链请求SFCR
f
所需的网络功能个数，为中间的虚拟网络功能节点；虚拟网络功能节点和虚拟网络功能节点间的虚拟链路组成虚拟链路集合d
f
表示服务功能链请求SFCR
f
占用的服务节点资源和带宽资源的时间为d；虚拟网络功能节点正常运行时所要求的CPU资源为和内存资源需求为每条虚拟链路所需带宽资源为将基层物理网络抽象为带权无向图G＝{N,L}表示，其中，N＝{n1,n2...n
m
}表示物理服务节点n1,n2...n
m
的集合，m为物理服务节点总数，物理链路集合L＝{l
a,b
|a,b≤m}，l
a,b
表示两个物理服务节点n
a
和n
b
之间的物理链路；每个物理服务节点上可部署多种VNFI，物理服务节点n
a
的VNFI集合记为VNFIs
a
＝{VNF
x
,p|p＝0,1}，当p＝0时表明第x个虚拟网络功能VNF未激活；当p＝1时表明第x个VNF处于激活状态，x的取值范围为0～k，k代表虚拟网络功能VNF的种类；物理服务节点n
a
的当前剩余CPU资源为C(n
a
)和内存资源为M(n
a
)，物理服务节点n
a
和n
b
的物理链路l
a,b
的带宽资源为B(l
a,b
)；将请求映射层抽象为无向图G
M
＝(V
f
,N,vE)，无向图G
M
表示SFCR在基层物理网络中的映射拓扑图，其中V
f
是第f个服务功能链请求SFCR
f
的虚拟网络功能点的集合，N是物理网络服务节点集合，表示第f个服务功能链请求SFCR
f
中第i个虚拟网络功能节点和第j个物理服务节点n
j
之间的映射链路。3.根据权利要求2所述的基于深度强化学习的自适应服务功能链映射方法，其特征在于，所述虚拟网络功能节点集合V
f
中，中间虚拟网络功能节点的顺序是SFC网络流或
业务流通过网络功能的顺序。4.根据权利要求1
‑
3中任意一项所述的基于深度强化学习的自适应服务功能链映射方法，其特征在于，所述步骤二中初始化SFCR映射学习神经网络的参数的方法为：对映射学习框架进行初始化：映射拓扑图G
M
置为空，经验回放池初始化为空，随机初始化当前策略网络参数θ
μ
和当前价值网络参数θ
Q
，并分别复制给目标策略网络参数θ
μ
′
和目标价值网络参数θ
Q
′
。5.根据权利要求4所述的基于深度强化学习的自适应服务功能链映射方法，其特征在于，所述步骤二中抽象参数映射至SFCR映射学习神经网络的方法为：状态空间S(t)＝{s1,s2...s
t
}中每个状态s
t
＝{G(t),SRs(t)}包括当前时隙t时的基层物理网络中物理服务节点网络状态G(t)和网络功能服务请求集合SRs(t)，状态s
t
是SFCR映射学习神经网络的输入；根据动作策略函数得到每一状态s
t
下采取的映射动作a
t
＝μ(s
t
|θ
μ
)，构成动作空间A(t)＝{a1,a2...a
t
}，其中，μ()表示动作选取策略，映射动作a
t
＝{a
v
,a
m
,a
s
}，a
v
为虚拟网络功能VNF与物理服务节点的映射动作，a
m
为虚拟链路与物理链路之间的映射，a
s
为虚拟网络功能VNF激活与休眠动作；基于映射拓扑图G
M
的状态和当前映射动作a
t
更新映射拓扑图G
M
←
(G
M
,a
t
)，根据更新的映射拓扑图G
M
对物理服务节点网络状态G(t)及网络服务功能请求集合SRs(t)进行更新，获得下一状态s
t+1
；每一个动作产生一个即时回报r(s
t
,a
t
)，即时回报的奖励值r
t
形成奖励空间R(t)＝{r1,r2...r
t
}。6.根据权利要求5所述的基于深度强化学习的自适应服务功能链映射方法，其特征在于，所述即时回报r(s
t
,a
t
)＝α1Ur(t)+α2avgM(t)，其中，权重α1,α2∈[0,1]，Ur(t)和avgM(t)分别为当前时隙t内的有效服务成本率和平均映射率。7.根据权利要求6所述的基于深度强化学习的自适应服务功能链映射方法，其特征在于，所述有效服务成本率平均映...

【专利技术属性】
技术研发人员：黄万伟，李松，郑向雨，刘科见，梁世林，黄敏，张建伟，袁博，陈明，张焕龙，丁一，王博，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：