基于强化学习的多路径传输协议拥塞控制方法技术

本发明专利技术公开了一种基于强化学习的多路径传输协议拥塞控制方法，通过建立马尔可夫决策过程，将拥塞控制形式化表示。用发送端的各个子流的拥塞窗口大小以及各个子流的RTT来表示各个子流当前的网络状态，定义发送端调整拥塞窗口和发送间隔的动作，建立目标方程，以获得最大平均吞吐量和最小平均时延为目的。通过建立网络模型，模拟产生多种网络环境。在不同的网络环境中，通过不断地试错，对当前网络环境做所有的动作，然后从环境给出的反馈中学习并优化动作。经过大量的线下学习，使得发送端可以在某一个状态区域做出相应的调整拥塞窗口大小和发送间隔的动作，以使得目标方程的值最大。

Congestion control method for multipath transmission protocol based on Reinforcement Learning

The invention discloses a congestion control method of multipath transmission protocol based on reinforcement learning, which is formalized by establishing a Markov decision process. For each sub stream at sending end the congestion window size and each sub flow RTT to represent each sub stream the current state of the network, the definition of the sending end adjustment interval congestion window and send action, establish the target equation to obtain the maximum average throughput and minimum average delay for the purpose. Through the establishment of network model, a variety of network environments are simulated. In a different network environment, by trial and error, the current network environment to do all the action, and then from the feedback given by the environment to learn and optimize the action. After a large number of offline learning, the transmitter can adjust the size of the congestion window and the transmission interval in a certain state region to maximize the value of the target equation.

【技术实现步骤摘要】
基于强化学习的多路径传输协议拥塞控制方法
本专利技术涉及拥塞控制领域，具体涉及一种多路径传输协议拥塞控制方法。
技术介绍
传输控制协议(TransmissionControlProtocol，TCP)是一种面向连接的、可靠的、基于字节流的传输层通信协议。网络中有95％的流量来自于TCP连接，TCP连接的两端一般使用一条路径来传输数据。而随着多种接入技术的发展，现如今大多数的主机都配置有多个网络接口，也可以通过USB接口来扩展网络接口。而且智能移动终端越来越普及，它们也往往都同时具有蜂窝网络接口(如3G接口、4G接口)和WiFi两种接口。传统TCP协议只能将每个连接绑定到单个接口，因此不能有效利用现今设备的多个接口，这将会造成大量的资源浪费。近年来，IETF工作组提出了对传统TCP协议的扩展协议，多路径TCP(Multi-pathTCP，MPTCP)。MPTCP将单个TCP的数据分流到多个不同的子流，每一条子流会走不同的路径，从而形成多条链路。这样就可以充分利用设备的多个网络接口，实现最大的吞吐量和鲁棒性。网络中的拥塞现象是由于通信子网中某一部分的分组数量过多，使得该部分的网络来不及处本文档来自技高网...

【技术保护点】
一种基于强化学习的多路径传输控制协议拥塞控制方法，应用于多路径传输控制协议中，其特征在于，包括以下步骤：1)建立拥塞控制的马尔可夫模型，包括设置发送端状态、设置发送端动作以及设置目标方程；2)对网络环境采样，得到马尔可夫模型的状态参数；3)根据状态参数对马尔可夫模型进行迭代训练，得到从状态到动作的映射表；4)在网络中应用状态‑动作映射表。

【技术特征摘要】
1.一种基于强化学习的多路径传输控制协议拥塞控制方法，应用于多路径传输控制协议中，其特征在于，包括以下步骤：1)建立拥塞控制的马尔可夫模型，包括设置发送端状态、设置发送端动作以及设置目标方程；2)对网络环境采样，得到马尔可夫模型的状态参数；3)根据状态参数对马尔可夫模型进行迭代训练，得到从状态到动作的映射表；4)在网络中应用状态-动作映射表。2.根据权利要求1所述的基于强化学习的多路径传输控制协议拥塞控制方法，其特征在于，所述步骤1)中设置发送端状态、设置发送端动作以及设置目标方程具体为：设置作为发送端的状态，其中，cwndi为第i个子流的拥塞窗口，n为子流个数，rtti为第i个子流的往返时间RTT，min{rtt}为所有子流中的最小RTT，ack_ewma为连续收到两个确认的时间间隔的指数加权移动平均；设置{m,b,r}作为发送端的动作，其中，m为对当前拥塞窗口的乘数，b为对当前拥塞窗口的加数，r为发送子流的时间间隔；设置为目标方程，其中，throughputi为第i个子流在指定时间内的吞吐量，delayi为第i个子流从发送端到达接收端的传输时延，δ为时延的权重。3.根据权利要求1所述的基于强化学习的多路径传输控制协议拥塞控制方法，其特征在于，所述步骤3)具体包括以下步骤：31)将状态空间划分为...

【专利技术属性】
技术研发人员：薛超婧，李文中，陆桑璐，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32