多业务SDN网络的流量分配方法及装置制造方法及图纸

技术编号:21146068 阅读:18 留言:0更新日期:2019-05-18 06:40
本发明专利技术实施例提供一种多业务SDN网络的流量分配方法及装置,该方法包括:将SDN网络的当前状态信息输入至训练好的强化学习网络模型,输出相应的动作信息;根据所述动作信息,对SDN网络中的流量进行分配;其中,所述状态信息包括每一会话的每一业务的性能指标,所述强化学习网络模型是根据相应状态信息生成样本数据,并根据深度确定性策略梯度算法DDPG进行训练后得到。训练好的强化学习网络能够根据当前状态信息,在短时间内针对不同业务流做出对应的流量分配的决策,实现了网络资源的最优分配和高效分配,从而提高了SDN网络系统的运行效率。

【技术实现步骤摘要】
多业务SDN网络的流量分配方法及装置
本专利技术实施例涉及互联网
,尤其涉及一种多业务SDN网络的流量分配方法及装置。
技术介绍
随着互联网技术的快速发展,互联网模型从最初的端到端模型已经发展到目前用于诸如多租户数据中心等复杂应用场景的模型。用户需求从最初单纯的可达性到现在对服务质量及流量工程等多方面需求。整个网络越来越复杂,但网络架构还是一如既往的缺乏灵活性,从而制约了新技术和新协议的部署与实施。在这一背景下,软件定义网络(SoftwareDefinedNetwork,简称SDN)技术应运而生。SDN采用与传统网络截然不同的控制架构,将网络控制平面分离和转发平面分离,采用集中控制替代原有分布式控制,并通过开放和可编程接口实现“软件定义”。与传统的网络架构相比,SDN通过软硬件分离,实现了网络虚拟化、IT化及软件化,并降低了设备的复杂度,简化了网络运维,提高了网络利用率并加速了网络创新。在SDN技术下,可以灵活编程转发策略,不同的业务流在网络中竞争网络资源,但是目前的流量分配方法效率不高且分配效果不佳。现有的流量分配方法无法根据当前网络状态选择合适的转发路径,实现流量的最优分配和高效分配。
技术实现思路
为了解决上述问题,本专利技术实施例提供一种多业务SDN网络的流量分配方法及装置。第一方面,本专利技术提供一种多业务SDN网络的流量分配方法,包括:将SDN网络的当前状态信息输入至训练好的强化学习网络模型,输出相应的动作信息;根据所述动作信息,对SDN网络中的流量进行分配;其中,所述状态信息包括每一会话的每一业务的性能指标,所述强化学习网络模型是根据相应状态信息生成样本数据,并根据深度确定性策略梯度(DeepDeterministicPolicyGradient,简称DDPG)算法进行训练后得到。第二方面,本专利技术提供一种多业务SDN网络的流量分配装置,包括:处理模块,用于将SDN网络的状态信息输入至训练好的强化学习网络模型,输出相应的动作信息;分配模块,用于根据所述动作信息,对SDN网络中的流量进行分配;其中,所述状态信息包括每一会话的每一业务的性能指标,所述强化学习网络模型是根据相应状态信息生成样本数据,并根据DDPG算法进行训练后得到。第三方面,本专利技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本专利技术第一方面多业务SDN网络的流量分配方法的步骤。第四方面,本专利技术提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本专利技术第一方面多业务SDN网络的流量分配方法的步骤。本专利技术实施例提供的多业务SDN网络的流量分配方法,通过将SDN网络的当前状态信息输入至训练好的强化学习网络模型,输出相应的动作信息并根据该动作信息进行流量分配。训练好的强化学习网络能够根据当前不同业务的状态信息,在短时间内对不同业务流做出对应的流量分配决策,实现了网络资源的最优分配和高效分配,从而提高了SDN网络系统的运行效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的多业务SDN网络的流量分配方法流程图;图2为本专利技术实施例提供的多业务SDN网络的流量分配装置结构图;图3为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。在SDN网络中,可以灵活编程实现转发策略,随着网络情况越来越复杂,不同的业务流在网络中竞争资源,目前的流量分配方法效率不高且分配效果不佳。因此,需要一种能够根据当前网络状态为不同业务流选择合适的转发路径,实现流量合理分配的方法。为解决这一问题,本专利技术实施例提供一种多业务SDN网络的流量分配方法。该方法可应用于上述SDN网络流量分配的场景,也可应用于其它相相似场景中。该方法对应的执行主体可以为SDN网络中的相关模块,如SDN控制器,也可以为独立设置的模块、装置或设备,本专利技术实施例对此不作具体限定。为了便于说明,本专利技术实施例以执行主体为独立设置的流量分配装置为例,对本专利技术实施例提供的多业务SDN网络的流量分配方法进行阐述。图1为本专利技术实施例提供的多业务SDN网络的流量分配方法流程图,如图所示,本专利技术实施例提供一种多业务SDN网络的流量分配方法,包括:101,将SDN网络的当前状态信息输入至训练好的强化学习网络模型,输出相应的动作信息;102,根据动作信息,对SDN网络中的流量进行分配;其中,状态信息包括每一会话的每一业务的性能指标,所述强化学习网络模型是根据相应状态信息生成样本数据,并根据DDPG算法进行训练后得到。状态信息用于表示当前的SDN网络的网络状态,包括SDN网络中每一会话的每一业务的性能指标,性能指标包括如每一业务的时延、带宽、吞吐量以及流量需求等指标中的一个或多个。将SDN网络中每一对网元(路由器,交换机等)之间的通信作为一个OD(Origin-Destination)会话,每个会话均有多种业务的业务流。在一个优选的实施例中,每一业务的性能指标包括每一业务在相应会话中的流量需求,流量需求指的是在源和目的节点之间在某一时间段的需要发送的流量大小,某一类业务在所有节点对之间的流量需求构成该类业务的流量矩阵(Traffic-Matrix),所有业务的流量矩阵即构成了当前的状态。此情况下当前状态信息设置为SDN网络中每一会话的每一业务的流量需求,即不同业务的流量矩阵,以下以此为例进行说明。每一个会话的每一业务的流量分配构成了强化学习网络模型的行为空间,行为空间与SDN网络的状态信息是对应的。强化学习网络模型是根据该行为空间生成的样本数据,根据DDPG算法进行训练后得到。强化学习可以从经验中学习,不再需要人工的给数据进行标注,强化学习的智能体(agent)在没有数据的情况下通过不断的试错来训练样本,学习的目标是让长期奖励最大化。在传统的一些路由算法无法应对日益复杂的网络情况时,强化学习是一个很好的解决方案。强化学习问题一般都可以转换成马尔科夫决策问题,智能体与环境交互,在每个决策时期,获取状态并采取相应的行动得到新的状态。强化学习的目标就是找到一个最优的策略。本专利技术实施例由于行为空间是连续的,如时延和带宽的值变化是连续变化的,由于DDPG算法可以很好解决连续性状态的问题,采用DDPG算法对模型进行训练。在训练的过程中,智能体根据状态空间的当前状态,生成新的状态,同时SDN网络会给出一个回报(奖励值)。如此循环下去,智能体与SDN网络进行不断地交互从而产生诸多样本数据。强化学习算法利用产生的样本数据修改自身的动作策略,再与环境交互,产生新的样本数据,并利用新的样本数据进一步改善自身本文档来自技高网...

【技术保护点】
1.一种多业务SDN网络的流量分配方法,其特征在于,包括:将SDN网络的当前状态信息输入至训练好的强化学习网络模型,输出相应的动作信息;根据所述动作信息,对SDN网络中的流量进行分配;其中,所述状态信息包括每一会话的每一业务的性能指标,所述强化学习网络模型是根据相应状态信息生成样本数据,并根据深度确定性策略梯度算法DDPG进行训练后得到。

【技术特征摘要】
1.一种多业务SDN网络的流量分配方法,其特征在于,包括:将SDN网络的当前状态信息输入至训练好的强化学习网络模型,输出相应的动作信息;根据所述动作信息,对SDN网络中的流量进行分配;其中,所述状态信息包括每一会话的每一业务的性能指标,所述强化学习网络模型是根据相应状态信息生成样本数据,并根据深度确定性策略梯度算法DDPG进行训练后得到。2.根据权利要求1所述的方法,其特征在于,所述每一业务的性能指标包括每一业务的流量需求。3.根据权利要求2所述的方法,其特征在于,所述将SDN网络的当前状态信息输入至训练好的强化学习网络模型之前,还包括:将每一会话的每一业务的流量需求作为状态空间s,将每一会话每一业务的流量分配结果作为行为空间a,设置相应的奖励值函数r;通过强化学习网络中的策略网络,根据状态空间s的状态st生成行为at,通过执行行为at得到奖励值rt和下一时刻的状态st+1,重复生成at并执行得到st+1,以获得多个包含四元组(st,at,rt,st+1)的样本的样本空间,通过所述样本空间中的多个样本对所述强化学习网络模型进行训练。4.根据权利要求3所述的方法,其特征在于,所述将每一会话每一业务的流量分配结果作为行为空间,包括:为每一会话的每一业务以跳数为大小选取L条最短路径;将所有会话中每一会话的每一业务的L条路径的流量分配比作为行为空间。5.根据权利要求3所述的方法,其特...

【专利技术属性】
技术研发人员:滕颖蕾满毅尹良张勇宋梅程超陈郑超贾力闫梅刘薇
申请(专利权)人:北京邮电大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1