一种基于强化学习模型的云租户虚拟网络智能映射方法技术

本发明专利技术公开了一种基于强化学习模型的云租户虚拟网络智能映射方法，其特点是该方法将资源抽象模型Blocking Island和深度强化学习方法Actor

【技术实现步骤摘要】
一种基于强化学习模型的云租户虚拟网络智能映射方法


[0001]本专利技术涉及云边虚拟网络
，尤其是一种用于处理云边虚拟网络请求，高效分配计算资源和带宽资源的基于强化学习模型的云租户虚拟网络智能映射方法。

技术介绍

[0002]云计算数据中心作为高度复用的共享环境，配置了大量的物理服务器和其上运行的虚拟机，以一种即付即用的模式来为多租户提供高可靠性的计算、存储、网络等资源。随着，云服务领域不断地发展，如何优化该技术实现对物理资源更加合理的分配，进而使得收益最大化，是研究人员们一直在思考的问题。该研究的主要挑战是如何有效地动态地将服务器的计算资源和网络的链路带宽资源分配给云租户自定义的虚拟网络(Virtual Network,VN)，提升底层网络的计算和带宽资源的利用率，从而容纳更多的租户资源请求。这被称为虚拟网络映射(Virtual Network Embedding，VNE)问题，该VNE问题主要分成节点映射和链路映射两个阶段。在满足一系列约束和限制条件下，实现将虚拟网络映射到共享的底层物理资源是一个计算复杂度极高的资源分配和调度问题，并已被证明是NP
‑
hard的，求解其最优解的算法都达到了指数阶复杂度。针对上述问题，国内外学者展开了大量的研究工作，致力于找到处理VNE问题的最优解决办法。整体的研究成果可根据映射方案分为：精确式算法映射、启发式算法映射和基于机器学习的智能算法映射三种方法。
[0003]精确式算法是以建立特定的数学模型求解映射问题。例如，利用一些约束条件，对VNE问题实现建模，把网络计算资源映射和网络带宽资源映射整合成整数线性规划模型。然而，精确式算法由于计算量过于庞大，在大型的网络结构中无法在可接受的范围内得到最优解，不能作为可行性方案，具有一定的局限性。因而，许多学者想到用启发式算法来解决问题。例如用贪婪算法映射租户所需的虚拟节点，或者使用了PageRank算法，在映射之前先对底层网络节点和虚拟网络节点进行了排序。有些工作考虑到网络拓扑可能会影响节点映射，并据此展开讨论。但是针对VNE问题的多数启发式算法都有着固定的求解方式，很少充分地利用后验数据来不断优化算法，很容易陷入局部最优解中。
[0004]近年来，很多人也尝试使用基于机器学习的算法来解决复杂的VNE问题。比较典型的是：基于分布式Q
‑
learning的算法，实现动态分配底层网络的计算带宽资源。还有些工作使用了Policy Gradient深度强化学习算法优化模型，通过agent和环境地不断互动，于每个映射回合后计算模型期望reward和实际reward的差值，作为loss值反向传播到模型，以此不断地更新模型参数。这些工作为基于强化学习的VNE问题的研究提供了一个非常好的解决思路。
[0005]现有技术的VNE问题解决办法仍存在着，例如难以模拟真实场景，算法时常陷入局部最优解等一些问题，如何高效的实现虚拟网络映射仍是一个值得研究的热门问题。

技术实现思路

[0006]本专利技术的目的是针对现有技术的不足而设计的一种基于强化学习模型的云租户
虚拟网络智能映射方法，采用Actor
‑
Critic深度强化学习算法和基于虚拟网络的资源需求情况以及底层网络的Blocking Island资源信息，训练出一个可高效映射虚拟网络的算法模型，合理分配底层的计算和网络资源，该映射算法，将资源抽象模型Blocking Island和深度强化学习方法Actor
‑
Critic结合在一起，通过Blocking Island模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，进而高效表示整个网络的资源连通性信息，较好的解决了高效的实现虚拟网络映射，有效提高云数据中心的资源分配效果，方法简便，具有良好和广泛的应用前景。
[0007]实现本专利技术的具体技术方案是：一种基于强化学习模型的云租户虚拟网络智能映射方，其特点是采用映射算法，将资源抽象模型Blocking Island和深度强化学习方法Actor
‑
Critic结合在一起，通过Blocking Island模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，进而高效表示整个网络的资源连通性信息，包括以下具体步骤：
[0008]S1、虚拟网络映射的建模
[0009]S1
‑
1：将云数据中心配备的物理网络建模为有权无向图G
s
＝(N
s
，E
s
)；云租户的虚拟网络建模为带权的无向图G
v
＝(N
v
，E
v
)；其中，N
s
和N
v
代表图中的点集，E
s
和E
v
代表图中的边集。
[0010]S1
‑
2：节点映射，假设虚拟网络有p个节点，每个节点所对应的权重值，其权集为则映射成功的条件为：在中，寻找p个节点使得若有一个节点无法通过映射规则映射到对应的物理节点上，则节点映射失败，若所有节点都能映射到对应的物理节点，则映射成功并结束，上述出现的符号中：N
v
为单个虚拟网络所有虚拟节点的集合；表示该虚拟网络中的第i个虚拟节点；M
v
为单个虚拟网络节点权重的集合；表示第i个虚拟节点的权重；N
s
为物理网络中所有物理节点的集合；表示该物理网络中的第i个物理节点；N
t
为物理网络中被选中的p个物理节点的集合；表示被选中映射的物理节点集合中的第i个物理节点；表示被选中映射的物理节点集合中的第j个物理节点的权重。
[0011]S1
‑
3：在节点映射成功的基础上进行链路映射，假设3：在节点映射成功的基础上进行链路映射，假设3：在节点映射成功的基础上进行链路映射，假设代表连接节点i和节点j的对应虚拟链路边，
[0012]设E
v
为单个虚拟网络中所有虚拟链路的集合，E
t
为被选中的物理节点构成的网络中所有虚拟链路的集合，则对于E
v
中任意单条虚拟链路而言，要成功实现链路映射，则需要在E
t
中寻找一条物理路径，假设该物理路径表示为对于R中的所有物理链路都要满足：成立。其中，表示连接虚拟节点i和虚拟节点j的链路权重；表示连接物理节点u和物理节点v的
链路权重。即所有的虚拟链路都能在物理网络中找到对应的一条物理路径与其映射，链路映射成功并结束，若有一条虚拟链路不能通过映射规则映射到物理网络中，则链路映射失败，并结束虚拟网络的映射。
[0013]S2、计算资源和带宽资源建模
[0014]根据物理网络中计算资源和带宽资源的上下限，对可映射权值分割成steps个范围，将这些范围的上限值生成steps个β值不同的点权Blocking Island模型和边权Blocking Island本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习模型的云租户虚拟网络智能映射方法，其特征在于采用映射虚拟网络的算法模型，将资源抽象模型与深度强化学习结合，通过资源抽象模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，表示整个网络的资源连通性信息，云租户虚拟网络的智能映射具体包括以下步骤：S1、虚拟网络映射的建模S1
‑
1：将云数据中心配备的物理网络建模为有权无向图G
s
＝(N
s
，E
s
)；云租户的虚拟网络建模为带权的无向图G
v
＝(N
v
，E
v
)；其中，N
s
和N
v
代表图中的点集，E
s
和E
v
代表图中的边集；S1
‑
2：节点映射，假设虚拟网络有p个节点，每个节点所对应的权重值，其权集为则映射成功的条件为：在中，寻找p个节点中，寻找p个节点使得若有一个节点无法通过映射规则映射到对应的物理节点上，则节点映射失败，若所有节点都能映射到对应的物理节点，则映射成功并结束；其中，N
v
为单个虚拟网络所有虚拟节点的集合；表示该虚拟网络中的第i个虚拟节点；M
v
为单个虚拟网络节点权重的集合；表示第i个虚拟节点的权重；N
s
为物理网络中所有物理节点的集合；表示该物理网络中的第i个物理节点；N
t
为物理网络中被选中的p个物理节点的集合；表示被选中映射的物理节点集合中的第i个物理节点；表示被选中映射的物理节点集合中的第j个物理节点的权重；S1
‑
3：在节点映射成功的基础上进行链路映射，假设3：在节点映射成功的基础上进行链路映射，假设3：在节点映射成功的基础上进行链路映射，假设代表连接节点i和节点j的对应虚拟链路边，实现链路映射的物理路径对于R中的所有物理链路都要满足：成立；其中，表示连接虚拟节点i和虚拟节点j的链路权重；表示连接物理节点u和物理节点v的链路权重，即所有的虚拟链路都能在物理网络中找到对应的一条物理路径与其映射，链路映射成功并结束，若有一条虚拟链路不能通过映射规则映射到物理网络中，则链路映射失败，并结束虚拟网络的映射；S2、计算资源和带宽资源建模根据物理网络中计算资源和带宽资源的上下限，对可映射权值分割成steps个范围，将这些范围的上限值生成steps个β值不同的点权Blocking Island模型和边权Blocking Island模型，并在每一个Blocking Island模型中，其底层网络的每一个节点都会生成一个计算资源的Blocking Island模型V(β
n
‑
BI)和一个带宽资源的V(β
e
‑
BI)，所述Blocking Island模型V(β
n
‑
BI)的定义是从当前节点出发，沿着链路通过至少包含β个计算资源的目的点的集合，且包含当前节点；S3、构建神经网络从待映射的节点和底层网络G
s
＝(N
s
，E
s
)中选取特征作为神经网络的输入，经神经网络各层参数的处理，得到一组概率输出，选取最大概率的那个物理节点为该虚拟节点的映射对象，通过自定义的计算reward规则，将得到的reward和概率值计算当次映射误差，在反向传播误差的过程中通过链式求导法则，更新模型的参数。
2.根据权利...

【专利技术属性】
技术研发人员：王廷，姚東序，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：