一种保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法组成比例

本发明专利技术公开了一种保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法，将每个时间段内待传输的数据传输请求记入集合中；通过软件定义网络控制平面的控制器感知底层网络拓扑，计算各个源网络设备到目的网络设备之间的路径集合；为每个数据传输请求初始化深度强化学习网络，对每个数据传输请求所对应的深度强化学习网络同时执行迭代，评估迭代过程中带宽分配方案所对应的传输收益大小，根据收益大小计算训练actor网络和训练cirtic网络的损失函数，通过调节训练actor网络和训练cirtic网络的参数，使损失函数满足要求，进而得到目标actor网络和目标cirtic网络的最终参数；最后由目标actor网络给出最终的带宽分配方案。方案。方案。

【技术实现步骤摘要】
一种保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法


[0001]本专利技术属于网络通信
，具体涉及一种保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法。

技术介绍

[0002]首先介绍一下本专利技术中涉及的一些专业术语：
[0003]广域网(WideArea Network，WAN)：是连接不同地区局域网或城域网计算机通信的远程网。通常跨接很大的物理范围，所覆盖的范围从几十公里到几千公里，它能连接多个地区、城市和国家，或横跨几个洲并能提供远距离通信，形成国际性的远程网络。
[0004]软件定义广域网(Software Defined Wide Area Networking,SD
‑
WAN)：是将软件定义网络技术应用到广域网场景中所形成的一种服务，专门用于连接广阔地理范围的企业网络、数据中心、互联网应用以及云服务。
[0005]强化学习(Reinforcement Learning,RL)：又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
[0006]深度强化学习(DeepReinforcementLearning,DRL)：是机器学习的一个子领域，它结合了强化学习(RL)和深度学习。深度强化学习将深度学习融入到解决方案中，允许代理根据非结构化输入数据做出决策，而无需手动设计状态空间。深度强化学习算法能够接受非常大的输入并决定执行哪些操作来优化目标。
[0007]Rabin公平性(RabinFairness)：是Matthew Rabin结合了经济学和心理学领域的研究结果，专利技术的一种替代效用公平模型。该公平模型意味着如果参与者j对参与者i不友好，那么参与者i也同样会采取对参与者j不友好的行为。但是，如果参与者j善待参与者i，那么参与者i也会善待参与者j。
[0008]Actor网络：是在每个时间片中为智能体选择一个动作的神经网络。
[0009]Critic网络：是评价Actor网络选择的动作的神经网络。
[0010]人工神经网络(Artificial Neural Networks，ANNs)：也简称为神经网络(NNs)或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
[0011]OpenFlow协议：是软件定义网络中数据平面和控制平面之间的通信协议，控制平面的控制器通过OpenFlow协议定义的规则和动作指示数据平面的交换机如何转发网络数据包。
[0012]流表(FlowTable)：是OpenFlow协议中定义的类似于传统网络路由表的表结构，它由若干流表项构成。流表项由规则和动作集组成，若网络数据包符合流表项定义的规则，该数据包就会被执行相应的动作，如：从某个端口转发或者修改源或目的IP地址等。
[0013]组表(BucketTable)：是OpenFlow协议定义的一种特殊的流表，它由若干组表项构成。每个组表项包括：组表项标识符、组表项类型、组表项计数器和动作桶集构成。组表项类型决定了该组表项的语义，如：all类型的组表项表示该组表项动作桶集中的动作都会被执行，而select类型的组表项表示该组表项动作桶集中的动作只有一个会被执行。动作桶集包含多个动作桶，每个动作桶代表可以对网络数据包进行的一种处理，如：从某个端口转发或者修改数据包某些字段等。
[0014]计量表(MeterTable)：是OpenFlow协议定义的一种特殊的表，用于计量和限速。它由若干计量表项构成。每个计量表项包括：计量表项标识符、计量段、计量表项计数器构成。一个计量表项可以包含一个或者多个计量段，每个计量段定义了速率以及动作，如果报文的速率超过了某些计量段，根据这些计量段中速率最大的那个定义的动作进行处理。计数器可以按队列、计量段和计量表项等方式进行维护。计数器可以帮助控制器收集有关网络的统计信息监控流量规则定义的流量进入率。
[0015]由于广域网带宽资源有限，如何高效的利用稀缺的带宽资源直接关系到网络的性能，因此流量调度是随着计算机网络学科产生以来一直备受关注的问题，现有的流量调度算法主要分为两类：基于标签的流量调度算法和基于带宽分配的流量调度算法。顾名思义，基于标签的流量调度算法就是首先通过对网络数据包打标签等方法为其设置标记，然后再通过交换机上的路由表项或流表项对相应的标签进行匹配，最后由交换机上的队列机制对流量实现调度的方法。这种具有算法简单、易于操控以及可移植性强等优点。通过优先级标识网络中的数据包的发送优先次序，实现了优化网络性能的目的，能够有效的提升网络性能。但是，随着用户对网络服务质量的要求逐渐提升，用户对网络传输有了越来越明确的服务质量需求，例如传输截止期限保证等。但是，由于交换机转发逻辑简单、队列资源有限，如果要实现复杂的、细粒度的调度策略，往往需要交换机额外硬件的支持。因此，基于标签的流量调度方法无法直接提供精确的传输带宽保证，在使用基于标签的流量调度算法时相应的指标会随着网络中的负载的变化而产生明显的波动。
[0016]基于带宽分配的流量调度算法则采用端口限速等方法对流量占用的实际带宽进行控制，从而实现对流量的调度以及流量传输服务质量的保证，例如通过带宽分配的方法保证数据传输的截止期限。然而，网络带宽分配的公平性也同样是广域网流量调度过程中备受瞩目的问题。一旦在流量调度的过程中忽视了带宽分配的公平性，就会带来严重的服务干扰问题，极大降低应用程序性能进而导致用户遭受严重的经济损失，同时也会大大影响品牌的影响力和口碑。然而，一方面由于目前针对网络传输截止期限的流量调度方法往往采用“确定性”的流量调度方法，为了保证传输截止期限将带宽资源集中于某些数据传输请求，导致带宽使用不公平。另一方面，保证公平性的流量调度方法则需要在数据传输请求之间平均分配带宽，导致这些数据传输请求因为没有足够带宽而错过截止期限。这就导致传输截止期限和公平性两个指标难以兼顾，甚至互相矛盾。
[0017]软件定义广域网是一种新兴的广域网连接解决方案，其核心思想是将软件定义网络技术应用到广域网场景中。通过引入软件定义网络技术，软件定义广域网。利用Openflow协议我们可以的灵活的下发、修改复杂的细粒度的流量调度策略到交换层面。同时，随着人工智能技术应用的普及，强化学习以及深度强化学习技术通过将事物抽象为智能体，通过智能体之间与环境的交互来使智能体不断学习并试图通过奖励/惩罚机制来学习到一个最
优策略的方法解决了大量决策问题。因此，基于深度强化学习的算法和软件定义广域网架构是实现既保证传输截止期限和有保证带宽分配公平性的流量调度架构的完美解决方案。

技术实现思路

[0018]本专利技术的目的在于克服现有技术的不足，提供一种保证传输截止期限和Rabin公平性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法，其特征在于：包括以下步骤：步骤1，将每个时间段内待传输的数据传输请求记入集合F中；步骤2，通过软件定义网络控制平面的控制器感知底层网络拓扑，计算各个源网络设备到目的网络设备之间的路径集合P；步骤3，计算集合F中每个数据传输请求f
i
的期望传输速率e
i
；步骤4，为每个数据传输请求初始化深度强化学习网络，其包括训练actor网络、训练cirtic网络和目标actor网络、目标cirtic网络，其中，训练actor网络参数记为训练cirtic网络参数记为目标actor网络参数记为目标cirtic网络参数记为步骤5，对每个数据传输请求所对应的深度强化学习网络同时执行T次迭代，评估迭代过程中带宽分配方案所对应的传输收益大小，根据收益大小计算训练actor网络、训练cirtic网络的损失函数。通过调节训练actor网络和训练cirtic网络的参数，使损失函数满足要求，进而得到目标actor网络、目标cirtic网络的最终参数；步骤6，在T次迭代后由目标actor网络给出最终的带宽分配方案。2.根据权利要求1所述的保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法，其特征在于：集合F中，每个数据传输请求f
i
表示为多元组，f
i
＝{n,m,V
i
,B
i
,D
i
}，其中，n表示该数据传输请求的源网络设备的编号，m表示该数据传输请求的目的网络设备的编号，V
i
表示该数据传输请求的数据总量，B
i
表示该数据传输请求的实际传输时间，D
i
表示该数据传输请求的截止期限。3.根据权利要求2所述的保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法，其特征在于：每个数据传输请求f
i
的期望传输速率4.根据权利要求2所述的保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法，其特征在于：路径集合P中包括各个路径子集P
n,m
，其中，n表示源网络设备的编号，m表示目的网络设备的编号；将数据传输请求f
i
所对应的由源网络设备到目的网络设备之间的所有可达路径记为P
i
，将P
i
中的第j条路径记为则数据传输请求f
i
所对应的P
i
信息可以从路径集合P中对应的路径子集P
n,m
中得到。5.根据权利要求4所述的保证传输截止期限和Rabin公平性的软件定义广域网带宽分配方法，其特征在于：所述步骤5具体包括以下步骤：5.1根据训练actor网络的输出得到数据传输请求f
i

【专利技术属性】
技术研发人员：董晓东，
申请(专利权)人：南开大学，
类型：发明
国别省市：