【技术实现步骤摘要】
拥塞控制方法和装置及拥塞控制模型的训练方法和装置
[0001]本公开涉及网络
，尤其涉及一种拥塞控制方法和装置及拥塞控制模型的训练方法和装置。
技术介绍
[0002]网络上的拥塞控制，是一种动态调整发送速率以避免拥塞事件发生，以便在网络上更好地进行数据的传输的方法，已经被提出30多年。现在的基于启发式的拥塞控制方法通常使用丢包率和延迟作为拥塞的信号并动态地控制发送速率或者拥塞窗口，在避免拥塞的同时实现高吞吐量。
[0003]但随着视频直播、虚拟现实、物联网等互联网服务的出现，网络环境日渐复杂，基于启发式的拥塞控制算法很难处理现在多种多样的网络环境，所以拥抱机器学习算法去设计高效的拥塞控制算法是一种有潜力的解决方法。根据这一思想，研究人员已经进行多次尝试，采用深度强化学习来改进拥塞控制算法，使其适用于所有的网络条件，在多种网络条件下达到最好的表现。
[0004]然而，基于深度强化学习的算法通常缺乏基本机制的设计，有一些算法希望通过精心设计的奖励函数使深度强化学习算法学会这些机制，但在拥塞控制问题中，通过奖...
【技术保护点】
【技术特征摘要】
1.一种拥塞控制方法，其特征在于，包括：在每个设定周期的起始时刻，将目标传输网络的拥塞窗口的尺寸缩小至目标尺寸，并经所述拥塞窗口发出目标数据包；确定所述目标数据包的往返时延，作为所述目标传输网络在相应设定周期的最小往返时延；在每个设定周期内，每隔设定时长，获取所述目标传输网络的网络状态信息，并将所述最小往返时延和所述网络状态信息输入拥塞控制模型，得到调整参数；其中，所述调整参数用于调整所述拥塞窗口的尺寸。2.如权利要求1所述的拥塞控制方法，其特征在于，所述目标尺寸是所述拥塞窗口的最小尺寸。3.如权利要求1所述的拥塞控制方法，其特征在于，在所述确定所述目标数据包的往返时延，作为所述目标传输网络在相应设定周期的最小往返时延的步骤之后，所述拥塞控制方法还包括：响应于收到从所述目标传输网络的接收端反馈的所述目标数据包的确认信息，将所述拥塞窗口的尺寸恢复至所述拥塞窗口在当前的所述设定周期的起始时刻缩小前的尺寸。4.如权利要求1到3中的任一权利要求所述的拥塞控制方法，其特征在于，所述网络状态信息包括至少一个历史时刻的网络状态参数，所述网络状态参数包括发送速率统计值、接收速率统计值、排队时延统计值、丢失率、间隔时长、目标排队参数中的至少一个，所述间隔时长是对应时刻与上次调整所述拥塞窗口的尺寸的时刻之间的时长，所述目标排队参数用于表征目标排队时延。5.一种拥塞控制模型的训练方法，其特征在于，包括：确定模拟传输网络；其中，所述模拟传输网络是经模拟得到的传输网络；将所述模拟传输网络作为如权利要求1到4中的任一权利要求所述的拥塞控制方法所针对的目标传输网络，在多个调整时刻执行所述拥塞控制方法，得到所述拥塞控制模型输出的调整参数；基于所述拥塞控制模型输出的调整参数和所述模拟传输网络的运行参数，调整所述拥塞控制模型的参数，得到训练后的拥塞控制模型，以使训练后的拥塞控制模型输出的调整参数适应于所述模拟传输网络的运行参数。6.一种拥塞控制装置，其特征在于，包括...
【专利技术属性】
技术研发人员：孙立峰，周超，黄天驰，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。