基于强化学习的服务功能链部署方法、系统及装置制造方法及图纸

本发明专利技术公开了一种基于强化学习的服务功能链部署方法、系统及装置，包括，S1、获取时延最短的服务路径；S2、判断时延最短的服务路径是否满足时延约束条件，若满足服务链路由约束条件，则将服务链中的虚拟链路重映射到底层链路中，若重构路径违反资源约束条件，则回溯到次优路径进行判断，直到搜索到满足约束条件的路径；S3、将映射节点选择问题建模成DTMDP模型，利用强化学习算法在服务路径上搜索最优映射节点，直到迭代次数达到上限值或实现算法的全局收敛，则终止强化学习算法；S4、完成服务功能链部署。本发明专利技术可以实现基于强化学习的服务功能链部署。功能链部署。功能链部署。

【技术实现步骤摘要】
基于强化学习的服务功能链部署方法、系统及装置


[0001]本专利技术涉及服务链部署领域，尤其是涉及一种基于强化学习的服务功能链部署方法、系统及装置。

技术介绍

[0002]服务功能链部署框架主要分为基于软件定义网络/Middlebox和基于软件定义网络/网络功能虚拟化。其中Zhang等[1]提出一种基于StEERING的服务功能链部署框架，该框架的主要思想是采用多级流表来引导流量在服务链路上进行转发，并使用metadata来标记业务流量在服务路径上的状态。Ding等[2]提出一种基于OpenSCaaS服务功能链部署框架，该框架的主要思想是将服务功能链上识别策略、转发策略和服务节点的管理，分别放在控制平面的策略控制器、软件定义网络控制器和网络功能虚拟化控制器中实现，然后在控制平面之上定位统一的编排器。根据租户需求分解编排策略，并将分解后的结果分别发放给策略控制器、软件定义网络控制器和网络功能虚拟化控制器，三者的配合实现对服务功能链部署。当前服务功能链部署方法主要分为精确算法和启发式算法这两大类。Moens等[3]提出了一种虚拟网络功能部署模型，该模型采用决策树算法实现对功能模块的映射和编排，所提出的算法仅能得到映射收益的最优解，而无法兼顾时延优化的精确度。Lukovszki等[4]提出了一种基于启发式Greedy算法的服务功能链部署方法，该方法通过穷举所有满足连通性和策略需求的路径，并在其中选择部署开销最小的服务路径，但请求处理时间较长，时延优化精度不高。
[0003][1]Zhang Y,Beheshti N,Beliveau L,et al.StEERING:A software
‑
defined networking for inline service chaining[C]//IEEE International Conference on Network Protocols.IEEE,2014:1
‑
10.
[0004][2]Ding W,Qi W,Wang J,et al.OpenSCaaS:an open service chain as a service platform toward the integration of SDN and NFV[J].IEEE Network,2015,29(3):30
‑
35.
[0005][3]Moens H,Turck F D.VNF
‑
P:A model for efficient placement of virtualized network functions[C]//International Conference on Network and Service Management.IEEE,2014:418
‑
423.
[0006][4]Lukovszki T,Rost M,Schmid S.It's a Match！:Near
‑
Optimal and Incremental Middlebox Deployment[J].ACM SIGCOMM Computer Communication Review,2016,46(1):30
‑
36.

技术实现思路

[0007]本专利技术的目的在于提供一种基于强化学习的服务功能链部署方法、系统及装置，旨在解决服务功能链部署问题。
[0008]本专利技术提供一种基于强化学习的服务功能链部署方法，包括：
[0009]S1、获取时延最短的服务路径；
[0010]S2、判断时延最短的服务路径是否满足时延约束条件，若满足服务链路由约束条件，则将服务链中的虚拟链路重映射到底层链路中，若重构路径违反资源约束条件，则回溯到次优路径进行判断，直到搜索到满足约束条件的路径；
[0011]S3、将映射节点选择问题建模成DTMDP模型，利用强化学习算法在服务路径上搜索最优映射节点，直到迭代次数达到上限值或实现算法的全局收敛，则终止强化学习算法；
[0012]S4、完成服务功能链部署。
[0013]本专利技术还提供一种基于强化学习的服务功能链部署系统，包括：
[0014]获取模块：用于获取时延最短的服务路径；
[0015]判断模块：用于判断时延最短的服务路径是否满足时延约束条件，若满足服务链路由约束条件，则将服务链中的虚拟链路重映射到底层链路中，若重构路径违反资源约束条件，则回溯到次优路径进行判断，直到搜索到满足约束条件的路径；
[0016]建模模块：用于将映射节点选择问题建模成DTMDP模型，利用强化学习算法在服务路径上搜索最优映射节点，直到迭代次数达到上限值或实现算法的全局收敛，则终止强化学习算法；
[0017]完成模块：用于完成服务功能链部署。
[0018]本专利技术实施例还提供一种基于强化学习的服务功能链部署装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。
[0019]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述方法的步骤。
[0020]采用本专利技术实施例，可以实现基于强化学习的服务功能链部署，选择开销最小的服务路径，请求处理时间短，时延优化精度高。
[0021]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0022]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术实施例的一种基于强化学习的服务功能链部署方法的流程图；
[0024]图2是本专利技术实施例的一种基于强化学习的服务功能链部署方法的具体流程图；
[0025]图3是本专利技术实施例的基于强化学习的服务功能链部署系统的示意图；
[0026]图4是本专利技术实施例的基于强化学习的服务功能链部署装置的示意图。
具体实施方式
[0027]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实
施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]方法实施例
[0029]根据本专利技术实施例，提供了一种基于强化学习的服务功能链部署方法，图1是本专利技术实施例的一种基于强化学习的服务功能链部署本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的服务功能链部署方法，其特征在于，包括，S1、获取时延最短的服务路径；S2、判断时延最短的服务路径是否满足时延约束条件，若满足服务链路由约束条件，则将服务链中的虚拟链路重映射到底层链路中，若重构路径违反资源约束条件，则回溯到次优路径进行判断，直到搜索到满足约束条件的路径；S3、将映射节点选择问题建模成DTMDP模型，利用强化学习算法在服务路径上搜索最优映射节点，直到迭代次数达到上限值或实现算法的全局收敛，则终止强化学习算法；S4、完成服务功能链部署。2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：采用K
‑
最短路径算法搜索得到时延最短的服务路径。3.根据权利要求3所述的方法，其特征在于，所述S3具体包括：将VNF映射节点选择问题建模成DTMDP模型，利用Dyna
‑
Q强化学习算法在服务路径上搜索最优映射节点，直到迭代次数达到上限值或实现算法的全局收敛，则终止Dyna
‑
Q算法。4.根据权利要求3所述的方法，其特征在于，所述Dyna
‑
Q算法包括：DRL算法和IRL算法。5.一种基于强化学习的服务功能链部署系统，其特征在于，包括，获取模块：用于获取时延最短的服务路径；判断模块：用于判断时延最短的服务路径是否满足时延约束条件，若满足服务链路由约束条件，则将服务链中的虚拟链路重映射到底层链路中，若重构路径违反...

【专利技术属性】
技术研发人员：刘益岑，赵东昊，董海瑞，马晓琳，卢昱，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：