高动态网络中面向多样化传输需求的智能拥塞控制方法技术

本发明专利技术公开了一种高动态网络中面向多样化传输需求的智能拥塞控制方法及系统，本发明专利技术的开发主要集中在应用层和传输层中，包括两个模块：一个是信道容量预测模块，本发明专利技术拟基于长短期记忆神经网络对底层网络容量进行预测，来更好的适应信道容量高度动态变化的5G网络；另一个是强化学习模块，本发明专利技术拟基于强化学习，结合应用具体的带宽、时延需求值以及应用在多个需求维度之间的偏好性设计智能拥塞控制算法，从而最大化加权需求满足率，提高用户体验。体验。体验。

【技术实现步骤摘要】
高动态网络中面向多样化传输需求的智能拥塞控制方法


[0001]本专利技术涉及网络通信领域，具体涉及一种高动态网络中面向多样化传输需求的智能拥塞控制方法及系统。

技术介绍

[0002]近年来，随着数字化技术的发展，移动网络架构从2G一直发展到了5G，即第五代通信技术。与2G萌生数据、3G催生数据、4G发展数据不同，5G是跨时代的技术，其提出了“以用户为中心”的概念，旨在为用户提供更高质量的用户体验。5G网络的计算能力和传输带宽推动了车联网、高清视频及无线医疗等多种新型应用高速发展。各类应用在吞吐、时延等多个维度提出了多样化的明晰传输需求，比如，自动驾驶应用要求时延低于10ms，吞吐高于1Gbps；4K/8K高清视频要求低于10ms的时延和高于100Mbps的吞吐等。在数据的传输过程中，网络需要满足多样化应用的明晰传输性能需求值，以保证良好的用户体验。
[0003]为了支撑应用的传输需求，5G使用毫米波技术以提供更大的信道容量和更低的时延。然而，由于使用了更高的频率，毫米波技术在实现更快传输速率和更大系统容量的同时，也引入了严重的传播衰减问题，导致传输质量容易受设备移动和障碍物影响，即在视线传输和非视线传输(非视线是指被障碍物部分遮挡，从而使无线信号难以通过的射频的传播路径)之间频繁切换。在视线传输和非视线传输切换时，信道容量将大幅度地变化，对传输协议的性能带来了严重的损伤。
[0004]为了充分发挥5G网络能力为应用提供高质量的传输服务，传输层的拥塞控制算法需要同时考虑多样化应用的明晰传输需求及高动态的底层网络环境。由于发送端无法准确感知信道容量及其变化情况，拥塞控制算法通常通过调整发送速率或拥塞窗口的形式协调注入网络的数据量。当发送速率过高或拥塞窗口过大时，注入网络的数据量会超出信道容量，导致数据包在中间转发设备堆积，出现较多数据包排队的情况，增加端到端时延。当发送速率过低或拥塞窗口过小时，可能无法满足应用的吞吐需求且信道带宽容量并未完全占满。一个好的拥塞控制算法应该在吞吐和时延之间取得良好的折中，在充分利用信道带宽的同时避免长排队带来的时延。
[0005]现有的拥塞控制算法主要分为基于启发式的传统算法和基于机器学习的智能算法，这些算法都难以在容量高动态变化的毫米波网络下满足多样化应用的明晰传输需求。传统拥塞控制算法通常依据设计者的经验对网络进行了一些简化建模，无法很好的反映网络的真实情况。基于机器学习的拥塞控制算法利用更多维度的网络状态信息进行拥塞控制决策，相较于传统拥塞控制算法更加适应动态网络环境，通过设置目标函数可以获得吞吐和时延之间不同权重偏好的折中效果，在一定程度上为不同应用提供差异化的传输服务。但是，这两类算法在设计过程中均无法感知应用明晰的多维传输需求值，也无法衡量各需求指标的完成情况。此外，5G网络的信道容量高度动态变化会对现有的基于学习的机器学习拥塞控制算法的收敛性造成影响。
[0006]因此，为了能够充分利用底层网络资源为上层应用带来更好的用户体验，本专利技术
拟设计一种高动态网络下面向多样化明晰传输需求的智能拥塞控制算法，面向底层网络信道容量高动态的5G网络，通过智能的拥塞控制满足上层应用在吞吐和时延等多个维度上对传输性能的明晰需求值，向用户提供满意的传输服务。

技术实现思路

[0007]针对现有技术中的上述不足，本专利技术提供了一种高动态网络中面向多样化传输需求的智能拥塞控制方法及控制系统。
[0008]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0009]一种高动态网络中面向多样化传输需求的智能拥塞控制方法，包括如下步骤：
[0010]S1、对毫米波信道容量进行采样，利用采样出的信道容量信息对信道容量预测模型进行预训练；
[0011]S2、预定义API接口，通过预定义的API接口设置需求值和需求权重；
[0012]S3、以设定时间间隔统计网络状态信息和需求完成情况，并将所统计的信息交付拥塞控制算法。其中，信道容量预测模块通过历史信道容量信息计算信道容量预测值；
[0013]S4、强化学习模块根据信道容量预测值、统计的网络状态信息和需求完成情况进行强化学习，输出拥塞窗口调整策略并调整策略调整，同时根据窗口值/平均RTT的形式计算发送间隔；
[0014]S5、重复步骤S3
‑
S4直至传输完成。
[0015]进一步的，所述S2中需求值和需求权重具体为：
[0016]以Mbps为单位的吞吐需求和以ms为单位的时延需求值以及时延需求权重ω
d
和吞吐需求权重ω
b
，且ω
b
+ω
d
＝1。
[0017]进一步的，所述S3中需求完成情况的计算方式为：
[0018][0019]其中，b0为吞吐需求，d0为时延需求，I为单维需求满足度且
[0020]进一步的，所述S3具体包括如下步骤：
[0021]S31、每接到一个ACK数据包时更新统计的RTT、吞吐、丢包数量、估计的信道容量；
[0022]S32、当定时器超出时间间隔时，计算当前时间间隔内的平均吞吐、平均RTT、最小RTT、时延梯度、丢包率、需求完成率、最大网络带宽容量、奖赏值；
[0023]S33、将步骤S32计算得到的数据交付拥塞控制算法。信道容量模块计算信道容量预测值。
[0024]进一步的，所述S33中信道容量预测值的计算方式为：
[0025]S331、将当前时间间隔统计的信道容量信息加入历史信道容量队列，历史信道容量队列始终维护一段固定长度的历史信道容量信息；
[0026]S332、将历史信道容量队列中的信息输入训练好的网络容量预测模型，输出下一个时间间隔的信道容量。
[0027]进一步的，所述信道容量预测模块和强化学习模块设置于传输层，其中，
[0028]所述信道容量预测模块以历史信道容量作为输入，以预测的未来信道容量作为输出，并将其输入到强化学习模块的状态空间中，辅助强化学习模块进行决策；
[0029]所述强化学习模块将未来信道容量信息、当前时刻的网络状态信息和传输需求完成度作为强化学习模块的状态空间的输入，并在每个决策时间段内，学习器根据DDPG算法拟合拥塞控制策略，使用需求完成度作为奖赏函数，输出拥塞窗口调整策略。
[0030]本专利技术具有以下有益效果：
[0031]1.根据多样化应用的明晰传输性能需求值和性能偏好权重进行拥塞控制，能够最大化加权需求满足率，提升用户体验，最终提升性能。
[0032]2.结合当前网络状态信息和预测的未来信道容量进行拥塞控制，能够更好地适应底层网络信道容量高动态变化的5G网络。
附图说明
[0033]图1为高动态网络中面向多样化传输需求的智能拥塞控制系统框架示意图。
[0034]图2为本专利技术实施例基于容量预测和强化学习的智能拥塞控制示意图。
[0035]图3为本专利技术实施例高动态网络中面向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高动态网络中面向多样化传输需求的智能拥塞控制方法，其特征在于，包括如下步骤：S1、对毫米波信道容量进行采样，利用采样出的信道容量信息对信道容量预测模型进行预训练；S2、预定义API接口，通过预定义的API接口设置需求值和需求权重；S3、以设定时间间隔统计网络状态信息和需求完成情况，并将所统计的信息交付拥塞控制算法，其中，信道容量预测模块通过历史信道容量信息计算信道容量预测值；S4、强化学习模块根据信道容量预测值、统计的网络状态信息和需求完成情况进行强化学习，输出拥塞窗口调整策略并调整拥塞窗口，同时根据窗口值/平均RTT的形式计算发送间隔；S5、重复步骤S3
‑
S4直至传输完成。2.根据权利要求1所述的高动态网络中面向多样化传输需求的智能拥塞控制方法，其特征在于，所述S2中需求值和需求权重具体为：以Mbps为单位的吞吐需求和以ms为单位的时延需求值以及时延需求权重ω
d
和吞吐需求权重ω
b
，且ω
b
+ω
d
＝1。3.根据权利要求2所述的高动态网络中面向多样化传输需求的智能拥塞控制方法，其特征在于，所述S3中需求完成情况的计算方式为：其中，为t时刻的需求完成度，b0为吞吐需求，d0为时延需求，b
t
和d
t
表示t时刻的吞吐和时延，ω
b
和ω
d
为吞吐和时延偏好权重值，I为单维需求...

【专利技术属性】
技术研发人员：罗龙，蔡青青，黄雪英，孙罡，虞红芳，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：