【技术实现步骤摘要】
本专利技术属于数据传输控制领域，尤其涉及一种基于令牌桶的自学习显式标记拥塞控制方法及系统。
技术介绍
1、随着云计算、人工智能、大数据、虚拟化等新兴技术的飞速发展，数据中心数据量和带宽成指数级增长，市场规模持续扩大，超大数据中心数量不断增多，这些都驱动数据中心技术的进步。为满足诸如ar/vr沉浸式体验、人工智能等新应用对于数据中心网络服务质量以及数据中心计算效率的不同需求，数据中心网络需要提供高吞吐量和超低延迟以及高效计算的服务。
2、在网络拥塞严重的情况下，由于传统的ecn标记方法太过于单一，仅由队列长度是否超过ecn阈值决定是否进行拥塞标记，容易造成拥塞标记不合理的情况发生，导致带宽资源的浪费。在传统ecn或是dcqcn算法中，无论是队列长度设置为单个阈值还是多个阈值，总是固定的。然而在大型数据中心存储网络中，网络状况始终处于一个实时变化的过程，固定的队列长度阈值显然不能够很好的应对每一种网络状况。acc算法利用多智能体强化学习技术来动态调整每个交换机的标记阈值，但没有对造成拥塞的流进行区分，进而导致“无辜流”被限速。
技术实现思路
1、鉴于以上现有技术的不足，专利技术的目的在于提供一种基于令牌桶的自学习显式标记拥塞控制方法及系统。
2、本专利技术第一方面提供一种基于令牌桶的自学习显式标记拥塞控制方法，包括：
3、s1：采集入端口的数据流，并对所述数据流进行测速，获得测速结果；
4、s2：建立基于dqn模型的强化学习智能体，并通过
5、s3：以所述网络信息为输入，以队列长度及丢包数为奖励函数，通过所述强化学习智能体输出令牌桶大小的配置决策；
6、s4：根据所述配置决策设置令牌桶，通过所述令牌桶根据所述测速结果对所述数据流进行令牌标记，获得令牌标记结果；
7、s5：设定队列长度阈值，根据所述队列长度阈值对所述数据流进行队列长度标记，获得队列标记结果；
8、s6：根据所述令牌标记结果及所述队列标记结果，生成反馈信息包，将所述反馈信息包返回至源端，令源端降低发送速率，以完成拥塞控制。
9、进一步的，步骤s1中，通过可编程数据平面meter测速仪对所述数据流进行测速，所述测速结果还用于维护所述令牌桶的特征参数。
10、进一步的，令牌桶的所述特征参数包括承诺信息速率、承诺突发尺寸、峰值信息速率及峰值突发尺寸。
11、进一步的，步骤s2中的所述网络信息包括当前出端口排队长度、排队时延、丢包数及基础令牌桶大小。
12、进一步的，步骤s3中的所述奖励函数的表达式为：
13、
14、其中，为奖励函数，为第一权重值，为第二权重值，为丢包数,为实验环境参数，为范围内任意正整数，为队列长度。
15、进一步的，步骤s4中设置的所述令牌桶为包括双速率三色令牌桶，所述双速率三色令牌桶中包括第一令牌桶及第二令牌桶，所述第一令牌桶的尺寸小于所述第二令牌桶的尺寸，所述第二令牌桶的存放令牌速率大于所述第一令牌桶的存放令牌速率。
16、进一步的，步骤s4中，通过所述令牌桶根据所述测速结果对所述数据流进行令牌标记的步骤具体包括：
17、当测速结果中的流量突发尺寸小于所述第一令牌桶的尺寸，当前数据流中的数据包由所述第一令牌桶及所述第二令牌桶分别取得令牌，则当前数据包的令牌标记结果为第一颜色；
18、当测速结果中的流量突发尺寸大于或等于所述第一令牌桶的尺寸，且小于所述第二令牌桶的尺寸，当前数据流中的数据包由所述第二令牌桶取得令牌，则当前数据包的令牌标记结果为第二颜色；
19、当测速结果中的流量突发尺寸大于所述第二令牌桶的尺寸，当前数据流中的数据包未取得令牌，则当前数据包的令牌标记结果为第三颜色。
20、进一步的，步骤s5中的所述队列长度阈值包括第一ecn阈值、第二ecn阈值及第三ecn阈值。
21、进一步的，步骤s5具体包括：
22、当数据流队列长度小于所述第一ecn阈值时，队列标记结果为对任何颜色标记的数据包均不进行ecn标记；
23、当数据流队列长度大于或等于所述第一ecn阈值且小于所述第二ecn阈值时，队列标记结果为将令牌标记结果为第三颜色的数据包进行ecn标记；
24、当数据流队列长度大于或等于所述第二ecn阈值且小于所述第三ecn阈值时，队列标记结果为将令牌标记结果为第二颜色及第三颜色的数据包进行ecn标记；
25、当数据流队列长度大于或等于所述第三ecn阈值时，队列标记结果为对任何颜色标记的数据包均进行ecn标记。
26、本专利技术第二方面提供一种基于令牌桶的自学习显式标记拥塞控制系统，用以执行如以上任一项所述的一种基于令牌桶的自学习显式标记拥塞控制方法，包括：
27、采集分析模块：用于采集入端口的数据流，并对所述数据流进行测速，获得测速结果；
28、强化学习智能体：用于收集获得本地交换机端口的网络信息，并以所述网络信息为输入，以队列长度及丢包数为奖励函数，输出令牌桶大小的配置决策；
29、令牌标记模块：用于根据所述配置决策设置令牌桶，通过所述令牌桶根据所述测速结果对所述数据流进行令牌标记，获得令牌标记结果；
30、队列标记模块：用于根据预设的队列长度阈值对所述数据流进行队列长度标记，获得队列标记结果；
31、融合反馈模块：根据所述令牌标记结果及所述队列标记结果，生成反馈信息包，将所述反馈信息包返回至源端，令源端降低发送速率，以完成拥塞控制；
32、所述强化学习智能体基于p4交换机的cpu建立，所述强化学习智能体与数据平面通过p4 api接口进行数据交换。
33、本专利技术有益效果如下：
34、本专利技术提供的一种基于令牌桶的自学习显式标记拥塞控制方法及系统，基于可编程数据平面技术和p4语言实现一种基于令牌桶测速标记的多阈值自学习ecn算法。基于可编程数据平面技术以及p4语言，搭建p4可编程数据平面和控制平面的交互框架，运用p4交换机的软件定义功能，可随时简单地进行网络配置以及基础优化算法的配置；从流量突发情况、队列长度两个维度来判断是否进行拥塞标记，并且对不同流量设置不同的令牌桶机制，实现流量区分服务功能，针对造成拥塞的流进行源端限速，保证流量公平性；同时引入强化学习框架，实现一种自学习型动态令牌桶大小的多阈值ecn算法，并且智能优化算法依靠带有独立cpu芯片和linux操作系统的p4可编程交换机，直接使用交换机进行强化学习动态调整令牌桶大小，以实现对网络状态的自适应调整，使得基于令牌桶测速的ecn标记算法更为准确。
35、本专利技术在网络侧收集网络状态数据并进行强化学习，对网络配置进行动态调整以适应实时变化的网络状况，能够实现流量区分服务，可根据流量突发情况对不同数据包进行标记，提高了拥塞控制的细粒本文档来自技高网...
【技术保护点】
1.一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，包括：
2.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S1中，通过可编程数据平面Meter测速仪对所述数据流进行测速，所述测速结果还用于维护所述令牌桶的特征参数。
3.根据权利要求2所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，令牌桶的所述特征参数包括承诺信息速率、承诺突发尺寸、峰值信息速率及峰值突发尺寸。
4.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S2中的所述网络信息包括当前出端口排队长度、排队时延、丢包数及基础令牌桶大小。
5.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S3中的所述奖励函数的表达式为：
6.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S4中设置的所述令牌桶为包括双速率三色令牌桶，所述双速率三色令牌桶中包括第一令牌桶及第二令牌桶，所述第一令牌桶的尺寸小于所述第二令牌桶的尺寸，所
7.根据权利要求6所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S4中，通过所述令牌桶根据所述测速结果对所述数据流进行令牌标记的步骤具体包括：
8.根据权利要求7所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S5中的所述队列长度阈值包括第一ECN阈值、第二ECN阈值及第三ECN阈值。
9.根据权利要求8所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤S5具体包括：
10.一种基于令牌桶的自学习显式标记拥塞控制系统，用以执行如权利要求1至9任一项所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，包括：
2.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤s1中，通过可编程数据平面meter测速仪对所述数据流进行测速，所述测速结果还用于维护所述令牌桶的特征参数。
3.根据权利要求2所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，令牌桶的所述特征参数包括承诺信息速率、承诺突发尺寸、峰值信息速率及峰值突发尺寸。
4.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤s2中的所述网络信息包括当前出端口排队长度、排队时延、丢包数及基础令牌桶大小。
5.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征在于，步骤s3中的所述奖励函数的表达式为：
6.根据权利要求1所述的一种基于令牌桶的自学习显式标记拥塞控制方法，其特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。