一种自适应调节拥塞控制初始窗口的方法和系统技术方案

本发明专利技术提供一种自适应调节拥塞控制初始窗口的方法和系统。该方法包括：构建神经网络决策模型，以历史的流传输状态作为输入，以拥塞控制初始窗口的概率分布作为输出；构建马尔科夫学习过程，通过在线学习获得所述神经网络决策模型的优化参数；利用所优化的神经网络决策模型获得拥塞控制初始窗口值，用于后续的流传输过程。本发明专利技术利用深度神经网络动态设置拥塞控制初始窗口，并能适应网络环境的变化，从而提高了网络传输效率。

A method and system of adaptive adjustment of congestion control initial window

【技术实现步骤摘要】
一种自适应调节拥塞控制初始窗口的方法和系统
本专利技术涉及通信
，尤其涉及一种自适应调节拥塞控制初始窗口的方法和系统。
技术介绍
TCP(传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议，拥塞控制是一种用来调整TCP中拥塞窗口大小的算法，许多应用通过传输控制协议实现互相通信。开始通信时，客户端会与服务器建立一个TCP连接，然后客户端向服务器发送请求，服务器收到请求后，给客户端发送响应。在进行响应数据传输时，客户端将根据拥塞控制算法动态的调整拥塞窗口的大小，拥塞窗口大小的初始值很小，通常设置成2或10。适当提高初始窗口的大小能够减少流传输时间并且提升网络的吞吐量，然而如果一味地增大初始窗口，则可能导致网络拥塞从而增加流传输时间。所以需要设置一个最佳的初始窗口大小，使得网络在不发生额外拥塞的情况下最小化流传输时间。初始窗口的设置可应用于多种场景，例如在边缘计算场景中，大多数应用对网络延迟非常敏感，因此网络拥塞将产生非常严重的影响。因此如何设置适当的初始拥塞窗口，才能使得流传输时间最短并且网络拥塞发生最少是一个至关重要的问题。在现有技术中，一些研究表明，增加初始拥塞窗口能够减少HTTP响应的延迟，例如将TCP的初始拥塞窗口大小增加到10个数据段时，HTTP平均响应时间减少了大约10％，平均的重传率也仅增长了0.5％。然而这种方式不能动态地调整初始窗口值，会对网络传输效率产生严重影响。例如在5G边缘计算场景中，网络带宽有极大的提高，同时网络中会有大量的短流需要传输，导致这些短流往往在“慢启动”阶段就会传输结束，所以动态调整初始窗口大小能够极大的提高网络的传输效率。有研究提出使用UCB(置信区间上界)算法动态地设置初始窗口值，最大化网路吞吐量并且最小化网络延时。然而，这种方法无法适应动态变化的网络环境，无法达到最优的性能。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺陷，提供一种自适应调节拥塞控制初始窗口的方法和系统，通过引入A3C强化学习模型，利用深度神经网络动态设置拥塞控制初始窗口来适用网络环境变化。根据本专利技术的第一方面，提供一种自适应调节拥塞控制初始窗口的方法。该方法包括以下步骤：构建神经网络决策模型，以历史的流传输状态作为输入，以拥塞控制初始窗口的分布作为输出动作；构建马尔科夫学习过程通过在线学习获得所述神经网络决策模型的优化参数，其中，一个决策对应神经网络决策模型中一组参数θ，并且该决策对应一个状态轨迹{s0,a0,s1,a1,...,st,at,...}和流传输性能集合{d0,d1,...,dt,...}，经过多个轮次的迭代更新，找到最佳的决策参数θ，使得期望的流传输性能最优，其中s表示输入的流传输状态，a表示输出动作；利用所优化的神经网络决策模型获得拥塞控制初始窗口值，用于后续的流传输过程。在一个实施例中，使用流完成传输时间、流到达的间隔时间、流结束的间隔时间、流数据量、流吞吐量、流往返时延等六个状态量生成所述神经网络决策模型的输入。具体方式是对每个状态量，利用最新的k个样本构建统计直方图来描述所述神经网络决策模型在一段时间内的流传输状态。上述所述流完成传输时间是衡量流传输性能的指标。在一个实施例中，所述神经网络决策模型包括特征提取器和预测器，所述特征提取器用于从输入数据中提取特征，其包括依次连接的五个卷积层和一个全连接层；所述预测器用于预测拥塞控制窗口值分布，其输入是所述特征提取器提取的特征输出，所述预测器包括两个全连接层和一个输出层，并且输出层通过使用softmax激活函数将输出转换为拥塞控制初始窗口值的概率分布。在一个实施例中，该方法还包括：在所述神经网络决策模型的输入直方图信息的变化达到预设目标的情况下，初始化所述神经神经网络决策模型的最后两层的参数进行重新优化。在一个实施例中，采用以下指标来衡量所述神经网络决策模型的输入直方图信息的变化：其中，s神经网络决策模型的当前输入，s'是神经网络决策模型之前的输入。在一个实施例中，该方法还包括：在获得拥塞控制初始窗口值后，在一段时间内重复使用该值用于流传输；以及当发送方开始传输流时同时启动一个计时器，在计时器到期而流传输尚未完成的情况下，利用估计的流完成传输时间作为样本训练所述神经网络决策模型。在一个实施例中，所述流传输性能是流完成传输时间或吞吐量中一项或多项。在一个实施例中，通过并行架构实现所述在线学习，该架构包括一个中央代理器，多个子代理器和网络环境，其中所述中央代理器负责维护最新的神经网络决策模型的参数，每一个子代理器通过决策函数做出拥塞控制初始窗口的决策并且计算参数更新。根据本专利技术的第二方面，提供一种自适应调节拥塞控制初始窗口的系统。该系统包括：模型构建单元，其用于构建神经网络决策模型，以历史的流传输状态作为输入，以拥塞控制初始窗口的分布作为输出动作；在线学习单元，其用于构建马尔科夫学习过程通过在线学习获得所述神经网络决策模型的优化参数，其中，一个决策对应神经网络决策模型中一组参数θ，并且该决策对应一个状态轨迹{s0,a0,s1,a1,...,st,at,...}和流传输性能集合{d0,d1,...,dt,...}，经过多个轮次的迭代更新，找到最佳的决策参数θ，使得期望的流传输性能最优，其中s表示输入的流传输状态，a表示输出动作；预测单元，其用于利用所优化的神经网络决策模型获得拥塞控制初始窗口值，用于后续的流传输过程。与现有技术相比，本专利技术的优点在于：实现了自主学习，不需要分析无线传输系统和基站系统的内部原理，能够自主调整初始窗口的大小，无需人力进行分析；实现了最优决策，能够获得最优的初始窗口，从而提高了流传输效率；实现了自适应调节，能够根据网络状况动态地调节初始窗口，在变化的网络环境中也能得到最优性能。附图说明以下附图仅对本专利技术作示意性的说明和解释，并不用于限定本专利技术的范围，其中：图1是根据本专利技术一个实施例的自适应调节拥塞控制初始窗口的方法的过程示意；图2是根据本专利技术一个实施例的自适应调节拥塞控制初始窗口的方法的流程图；图3是根据本专利技术一个实施例的神经网络决策模型的结构示意图；图4是根据本专利技术一个实施例的并行训练模型结构的示意图；图5是根据本专利技术一个实施例的仿真结果示意图。具体实施方式为了使本专利技术的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。根据本专利技术的一个实施例，提供一种自适应调节拥塞控制初始窗口的方法，该方法本文档来自技高网...

【技术保护点】
1.一种自适应调节拥塞控制初始窗口的方法，包括以下步骤：/n构建神经网络决策模型，以历史的流传输状态作为输入，以拥塞控制初始窗口的分布作为输出动作；/n构建马尔科夫学习过程通过在线学习获得所述神经网络决策模型的优化参数，其中，一个决策对应神经网络决策模型中一组参数θ，并且该决策对应一个状态轨迹{s

【技术特征摘要】
1.一种自适应调节拥塞控制初始窗口的方法，包括以下步骤：
构建神经网络决策模型，以历史的流传输状态作为输入，以拥塞控制初始窗口的分布作为输出动作；
构建马尔科夫学习过程通过在线学习获得所述神经网络决策模型的优化参数，其中，一个决策对应神经网络决策模型中一组参数θ，并且该决策对应一个状态轨迹{s0,a0,s1,a1,...,st,at,...}和流传输性能集合{d0,d1,...,dt,...}，经过多个轮次的迭代更新，找到最佳的决策参数θ，使得期望的流传输性能最优，其中s表示输入的流传输状态，a表示输出动作；
利用所优化的神经网络决策模型获得拥塞控制初始窗口值，用于后续的流传输过程。


2.根据权利要求1所述的方法，其特征在于，基于流完成传输时间，流到达的间隔时间，流结束的间隔时间，流数据量，流吞吐量，流往返时延的k个样本所构建的统计直方图来描述所述神经网络决策模型在一段时间内的流传输状态，其中所述流完成传输时间是衡量流传输性能的指标。


3.根据权利要求1所述的方法，其特征在于，所述神经网络决策模型包括特征提取器和预测器，所述特征提取器用于从输入数据中提取特征，其包括依次连接的五个卷积层和一个全连接层；所述预测器用于预测拥塞控制窗口值的概率分布，其输入是所述特征提取器提取的特征输出，所述预测器包括两个全连接层和一个输出层，并且输出层通过使用softmax激活函数将输出转换为拥塞控制初始窗口值的概率分布。


4.根据权利要求2所述的方法，其特征在于，该方法还包括：在所述神经网络决策模型的输入直方图信息的变化达到预设目标的情况下，初始化所述神经神经网络决策模型的最后两层的参数进行重新优化。


5.根据权利要求4所述的方法，其特征在于，采用以下指标来衡量所述神经网络决策模型的输入直方图信...

【专利技术属性】
技术研发人员：谢瑞桃，孙文斌，伍楷舜，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44