一种拥塞控制算法的处理方法以及相关装置制造方法及图纸

本申请公开了一种拥塞控制算法的处理方法以及相关装置，用于解决在CC算法过多时，基于手动静态地配置传统的CC算法无法适用于网络状态发生改变的情况，而且在网络状态不断发生变化的情况下，能够实现自适应地切换CC算法，以提升对TCP流进行拥塞控制时的性能。前述的处理方法包括：获取第一网络状态信息，第一网络状态信息反映基于第一拥塞控制CC算法对TCP流进行拥塞控制时的网络状态情况；基于第一网络状态信息，从候选CC算法集合中选取第二CC算法，基于第二CC算法对TCP流进行拥塞控制时的性能高于基于第一CC算法对TCP流进行拥塞控制时的性能；在确定第二CC算法与第一CC算法不相同时，将第一CC算法切换为第二CC算法。将第一CC算法切换为第二CC算法。将第一CC算法切换为第二CC算法。

【技术实现步骤摘要】
一种拥塞控制算法的处理方法以及相关装置


[0001]本申请实施例涉及通信
，具体涉及一种拥塞控制算法的处理方法以及相关装置。

技术介绍

[0002]高效的拥塞控制(congestion control，CC)算法对于数据传输至关重要，特别是对于视频流媒体、大文件下载等业务。随着网络技术和互联网基础设施在不断的快速发展，不同网络条件下、不同时间和/或用户之间可能需要不同的CC算法来确定出拥塞窗口(congestion window，cwnd)值，进而在cwnd值的指示下传输传输控制协议(transmission control protocol，TCP)流中的发包数量，避免发生拥塞以及不浪费带宽。
[0003]为了提升CC算法对TCP流进行拥塞控制时的性能，现有方案中采用深度强化学习方法和传统的拥塞控制方法相结合，即首先手动静态地配置传统的CC算法，并基于该传统的CC算法对每次接收到的TCP报文的应答(acknowledge character，ACK)来调整cwnd值，同时通过强化学习算法(deep reinforcement learning，DRL)在一定周期内监控网络状态信息，并调整该cwnd值，进而直接控制发送窗口的发包数量。
[0004]然而，依旧采用手动静态地配置传统的CC算法来调整cwnd值，进而直接控制发送窗口的发包数量的方式，只能满足在某些特定的网络场景下该静态配置的CC算法的性能达到较优的情况，并不能够适用于在网络状态不断发生改变的情况。

技术实现思路

[0005]本申请实施例提供了一种拥塞控制算法的处理方法以及相关装置，用于解决在CC算法过多时，基于手动静态地配置传统的CC算法无法适用于网络状态发生改变的情况，而且在网络状态不断发生变化的情况下，能够实现自适应地切换CC算法，以提升对TCP流进行拥塞控制时的性能。
[0006]第一方面，本申请实施例提供了一种拥塞控制算法的处理方法，该处理方法可以应用于第一网络设备。在该处理方法中，第一网络设备获取第一网络状态信息，所述第一网络状态信息反映基于第一拥塞控制CC算法对TCP流进行拥塞控制时的网络状态情况。该第一网络设备基于该第一网络状态信息，从候选CC算法集合中选取第二CC算法，基于该第二CC算法对所述TCP流进行拥塞控制时的性能高于基于所述第一CC算法对所述TCP流进行拥塞控制时的性能，并在确定所述第二CC算法与所述第一CC算法不相同时，将该第一CC算法切换为该第二CC算法。
[0007]通过上述方式，由于第一网络状态信息能够反映出第一网络设备基于第一CC算法对TCP流进行拥塞控制时的网络状态情况，因此第一网络设备在获取第一网络状态信息后，能够通过第一网络状态信息从候选CC算法中选取第二CC算法，而且通过该第二CC算法对TCP流进行拥塞控制时的性能高于通过第一CC算法对TCP流进行拥塞控制时的性能。这样，在第一CC算法与第二CC算法不相同时，第一网络设备可以将第一CC算法切换为第二CC算
法，进而通过第二CC算法对该TCP流进行拥塞控制。通过上述方式，不仅解决了在候选CC算法过多时，基于手动静态地配置传统的CC算法无法适用于网络状态发生改变的情况，而且还在网络状态不断发生变化的情况下，能够实现自适应地切换CC算法，有效地提升了对TCP流进行拥塞控制时的性能。
[0008]在一些可选的示例中，第一网络设备基于所述第一网络状态信息，从候选CC算法集合中选取第二CC算法，可以采用如下方式，即：第一网络设备将所述第一网络状态信息作为神经网络模型的输入，以选择所述第二CC算法。所描述的神经网络模型是以选取最优拥塞控制性能的CC算法为训练目标，以当前网络状态信息、基于所述当前网络状态信息从所述候选CC算法集合中所选取的候选CC算法、以及通过所选取的候选CC算法对所述TCP流进行拥塞控制时的奖励函数值作为训练数据对初始模型进行训练后获取的模型。
[0009]通过上述方式，由于神经网络模型是以选取最优拥塞控制性能的CC算法训练目标，以当前网络状态信息、基于当前网络状态信息从所述候选CC算法集合中所选取的候选CC算法、以及通过所选取的候选CC算法对TCP流进行拥塞控制时的奖励函数值作为训练数据对初始模型进行训练后获取的模型。因此，第一网络设备在获取到第一网络状态信息后，直接将该第一网络状态信息作为神经网络模型的输入，可以确定出对TCP流进行拥塞控制时性能更优第二CC算法，实现了能够在众多的候选CC算法集合中，选取并切换至性能更优的CC算法对TCP流进行拥塞控制。需说明，所描述的当前网络状态信息，可以理解成通过候选CC算法集合中的候选CC算法对TCP流进行拥塞控制时的网络状态信息。
[0010]在一些可选的示例中，第一网络设备在所述第二CC算法与所述第一CC算法不相同时，将所述第一CC算法切换为所述第二CC算法。其实现CC算法切换的切换方式可以理解成：第一网络设备在所述第二CC算法与所述第一CC算法不相同时，停止向第二网络设备传输所述TCP流，并重新建立与所述第二网络设备之间的连接。并且，该第一网络设备在重新建立所述连接后，通过所述第二CC算法，对继续传输的所述TCP流进行拥塞控制。
[0011]在一些可选的示例中，在确定所述第二CC算法与所述第一CC算法不相同的过程中，该第一网络设备确定所述第二CC算法的算法名称，以及所述第一CC算法的算法名称。然后，在所述第二CC算法的算法名称与所述第一CC算法的算法名称不相同时，该第一网络设备确定所述第二CC算法与所述第一CC算法不相同；或者，在所述第二CC算法的算法名称与所述第一CC算法的算法名称相同时，该第一网络设备确定所述第二CC算法中的参数和所述第一CC算法中的参数，并且在所述第二CC算法中的参数和所述第一CC算法中的参数不相同时，则确定所述第二CC算法与所述第一CC算法不相同。
[0012]通过上述方式，通过CC算法的算法名称是否相同来判断CC算法是否相同，为后续第一网络设备将第一CC算法切换至第二CC算法提供了切换依据。另外，还可以在CC算法的算法名称相同时，进一步通过CC算法的参数是否相同来判断CC算法是否相同，为切换提供了更为准确的依据。
[0013]在一些可选的示例中，在该处理方法中，该第一网络设备还能够获取第二网络状态信息，所述第二网络状态信息反映基于第二CC算法对所述TCP流进行拥塞控制时的网络状态情况。该第一网络设备通过奖励函数对所述第二网络状态信息进行处理，得到第一奖励函数值，所述第一奖励函数值用于表征所述第二CC算法对于所述神经网络模型的奖励程度。然后，该第一网络设备向网管设备发送所述第二CC算法、所述第一奖励函数值和所述第
一网络状态信息，以指示所述网管设备存储所述第二CC算法、所述第一奖励函数值和所第一网络状态信息，并基于所述第一奖励函数值、所述第二CC算法和所述第一网络状态信息更新所述神经网络模型的模型参数。最后，第一网络设备还接收所述网管设备发送的更新后的神经网络模型。
[0014]通过上述方式，在将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种拥塞控制算法的处理方法，其特征在于，应用于第一网络设备，包括：获取第一网络状态信息，所述第一网络状态信息反映基于第一拥塞控制CC算法对TCP流进行拥塞控制时的网络状态情况；基于所述第一网络状态信息，从候选CC算法集合中选取第二CC算法，基于所述第二CC算法对所述TCP流进行拥塞控制时的性能高于基于所述第一CC算法对所述TCP流进行拥塞控制时的性能；在确定所述第二CC算法与所述第一CC算法不相同时，将所述第一CC算法切换为所述第二CC算法。2.根据权利要求1所述的处理方法，其特征在于，所述基于所述第一网络状态信息，从候选CC算法集合中选取第二CC算法，包括：将所述第一网络状态信息作为神经网络模型的输入，以选择所述第二CC算法，所述神经网络模型是以选取最优拥塞控制性能的CC算法为训练目标，以当前网络状态信息、基于所述当前网络状态信息从所述候选CC算法集合中所选取的候选CC算法、以及通过所选取的候选CC算法对所述TCP流进行拥塞控制时的奖励函数值作为训练数据对初始模型进行训练后获取的模型。3.根据权利要求1或2所述的处理方法，其特征在于，在所述第二CC算法与所述第一CC算法不相同时，将所述第一CC算法切换为所述第二CC算法，包括：在所述第二CC算法与所述第一CC算法不相同时，停止向第二网络设备传输所述TCP流，并重新建立与所述第二网络设备之间的连接；在重新建立所述连接后，通过所述第二CC算法，对继续传输的所述TCP流进行拥塞控制。4.根据权利要求1至3中任一项所述的处理方法，其特征在于，确定所述第二CC算法与所述第一CC算法不相同，包括：确定所述第二CC算法的算法名称，以及所述第一CC算法的算法名称；在所述第二CC算法的算法名称与所述第一CC算法的算法名称不相同时，则确定所述第二CC算法与所述第一CC算法不相同；或，在所述第二CC算法的算法名称与所述第一CC算法的算法名称相同时，确定所述第二CC算法中的参数和所述第一CC算法中的参数；在所述第二CC算法中的参数和所述第一CC算法中的参数不相同时，则确定所述第二CC算法与所述第一CC算法不相同。5.根据权利要求2
‑
4中任一项所述的处理方法，其特征在于，所述处理方法还包括：获取第二网络状态信息，所述第二网络状态信息反映基于第二CC算法对所述TCP流进行拥塞控制时的网络状态情况；通过奖励函数对所述第二网络状态信息进行处理，得到第一奖励函数值，所述第一奖励函数值用于表征所述第二CC算法对于所述神经网络模型的奖励程度；向网管设备发送所述第二CC算法、所述第一奖励函数值和所述第一网络状态信息，以指示所述网管设备存储所述第二CC算法、所述第一奖励函数值和所第一网络状态信息，并基于所述第一奖励函数值、所述第二CC算法和所述第一网络状态信息更新所述神经网络模型的模型参数；
接收所述网管设备发送的更新后的神经网络模型。6.根据权利要求2
‑
4中任一项所述的处理方法，其特征在于，所述处理方法还包括：获取第二网络状态信息，所述第二网络状态信息反映基于第二CC算法对所述TCP流进行拥塞控制时的网络状态情况；通过奖励函数对所述第二网络状态信息进行处理，得到第一奖励函数值，所述第一奖励函数值用于表征所述第二CC算法对于所述神经网络模型的奖励程度；基于所述第一奖励函数值、所述第二CC算法和所述第一网络状态信息更新所述神经网络模型的模型参数。7.根据权利要求5
‑
6中任一项所述的处理方法，其特征在于，所述第二网络状态信息包括吞吐量和时延；所述第一奖励函数值基于所述吞吐量、所述时延得到。8.根据权利要求7所述的处理方法，其特征在于，所述第二网络状态信息还包括丢包率；所述第一奖励函数值基于所述吞吐量、所述时延和所述丢包率得到。9.根据权利要求7或8所述的处理方法，其特征在于，所述吞吐量包括平均吞吐量、最大吞吐量和最小吞吐量中的一个或多个。10.根据权利要求7或8所述的处理方法，其特征在于，所述时延包括平滑时延、最小时延、最大时延中的一个或多个。11.根据权利要求1至10中任一项所述的处理方法，其特征在于，在获取第一网络状态信息之前，所述处理方法还包括：向第二网络设备发送数据报文，所述数据报文携带序列号，所述序列号用于指示获取所述第一网络状态信息；对应地，获取第一网络状态信息，包括：接收所述第二网络设备针对所述数据报文发送的应答报文；根据所述序列号、所述应答报文中的时间戳以及所述数据报文的重传信息获取所述第一网络状态信息。12.根据权利要求1至10中任一项所述的处理方法，其特征在于，在获取第一网络状态信息之前，所述处理方法还包括：向第二网络设备发送数据报文，所述数据报文携带序列号，所述序列号用于指示获取所述第一网络状态信息；对应地，获取第一网络状态信息，包括：接收所述第二网络设备发送的第一网络状态信息，所述第一网络状态信息由所述第二网络设备根据所述序列号和所述数据报文的时间戳得到。13.一种拥塞控制算法的处理方法，其特征在于，应用于网管设备，包括：向第一网络设备发送神经网络模型，以使所述第一网络设备基于所述神经网络模型对第一网络状态信息进行处理，以选择第二CC算法，所述第一网络状态信息反映所述第一网络设备基于第一拥塞控制CC算法对TCP流进行拥塞控制时的网络状态情况，所述神经网络模型是以选取最优拥塞控制性能的CC算法为训练目标，以候选CC算法以及基于所述候选CC算法对TCP流进行拥塞控制时对应的网络状态信息作为训练数据对初始模型进行训练后获
取的模型。14.根据权利要求13所述的处理方法，其特征在于，所述处理方法还包括：接收并存储第一网络设备发送的所述第二CC算法、所述第一网络状态信息和第一奖励函数值，所述第一将奖励函数值由所述第一网络设备通过奖励函数对第二网络状态信息进行处理得到，所述第二网络状态信息反映基于所述第二CC算法对所述TCP流进行拥塞控制时的网络状态情况；基于所述第一奖励函数值、所述第二CC算法和所述第一网络状态信息更新所述神经网络模型的模型参数；向所述第一网络设备发送更新后的神经网络模型。15.一种第一网络设备，其特征在于，包括：获取单元，用于获取第一网络状态信息，所述第一网络状态信息反映基于第一拥塞控制CC算法对TCP流进行拥塞控制时的网络状态情况；处理单元，用于根据所述第一网络状态信息，从候选CC算法集合中选取第二CC算法，基于所述第二CC算法对所述TCP流进行拥塞控制时的性能高于基于所述第一CC算法对所述TCP流进行拥塞控制时的性能；所述处理单元，用于在所述第二CC算法与所述第一CC算法不相同时，将所述第一CC算法切换为所述第二CC算法。16.根据权利要求15所述的第一网络设备，其特征在于，所述处理单元，用于将所述第一网络状态信...

【专利技术属性】
技术研发人员：孙宸，周东明，蔡明杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：