基于多周期CSQF机制和GDRL的路由调度方法技术

本发明专利技术公开了基于多周期CSQF机制和GDRL的路由调度方法，属于路由调度领域，包括以下步骤：S1、初始化设定多周期CSQF的周期索引检测机制、队列映射和队列映射约束；S2、构建DFRLLS模型；S3、基于GDRL网络优化DFRLLS模型；S4、离线训练GDRL模型的学习策略；S5、基于训练后的GDRL模型在线做出决策。本发明专利技术采用上述基于多周期CSQF机制和GDRL的路由调度方法，使用GCN网络提取网络之间的拓扑信息，相比于只使用强化学习的方法能够实现更多的流调度，并且在复杂网络拓扑下的性能同样稳定，而多周期CSQF机制相比于CSQF机制可以实现降低流起点到终点延迟。

【技术实现步骤摘要】

本专利技术涉及路由调度，尤其涉及基于多周期csqf机制和gdrl的路由调度方法。

技术介绍

1、循环排队和转发(cqf)作为一种蠕动成形器被提出，将端口上的两个队列循环交替地打开和关闭。它将时间划分为长度相同的周期t，前一个节点在周期c发送的数据包必须在同一周期内被后续节点收到，然后在c+1周期发送出去。尽管cqf可以很好的控制每一跳的延迟(最多两个周期)，但是这种机制的可扩展性不强，仅适用于小型网络，并且它要求节点之间完全同步。

2、为了提高灵活性和可扩展性，指定周期队列转发(csqf)机制被设计为ietf dn工作组的新兴标准草案，作为cqf机制的演进。csqf机制提出使用更多的队列来延迟数据包，并指定对应的周期来传输数据包。在支持csqf机制的路由器内部，每个输出端口将配备n个队列，在n个队列中有nd(nd≤n)队列保留用于时间关键流量，而剩余的非关键(nc)队列用于尽力而为(be)流量。这n个队列以循环方式传输数据包，即在每个周期中，只有一个队列处于活动状态，用于将数据包发送到物理链路，其他(n-1)个不活动队列被关闭，并将数据包排入队本文档来自技高网...

【技术保护点】

1.基于多周期CSQF机制和GDRL的路由调度方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多周期CSQF机制和GDRL的路由调度方法，其特征在于：在步骤S1所述的周期索引检测机制中，设定检测周期长度为6TH，TH为检测短周期，同时检测短周期TH和长周期TL，并使用短周期TH作为检测粒度，输出周期索引Tid；

3.根据权利要求2所述的基于多周期CSQF机制和GDRL的路由调度方法，其特征在于：在步骤S1中，对多周期CSQF进行扩展，且扩展条件为：

4.根据权利要求1所述的基于多周期CSQF机制和GDRL的路由调度方法，其特征在于：步骤S...

【技术特征摘要】

1.基于多周期csqf机制和gdrl的路由调度方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多周期csqf机制和gdrl的路由调度方法，其特征在于：在步骤s1所述的周期索引检测机制中，设定检测周期长度为6th，th为检测短周期，同时检测短周期th和长周期tl，并使用短周期th作为检测粒度，输出周期索引tid；

3.根据权利要求2所述的基于多周期csqf机制和gdrl的路由调度方法，其特征在于：在步骤s1中，对多周期csqf进行扩展，且扩展条件为：

4.根据权利要求1所述的基于多周期csqf机制和gdrl的路由调度方法，其特征在于：步骤s2具体包括以下步骤：

5.根据权利要求4所述的基于多周期csqf机制和gdrl的路由调度方法，其特征在于：在步骤s3中对构建dfrlls模型强化学习建模，构建mdp模型，mdp模型包括状态空间行动空间和奖励空间

6.根据权利要求5所述的基于多周期csqf机制和gdrl的路由调度方法，其特征在于：步骤s3具体包括以下步骤：

...

【专利技术属性】
技术研发人员：徐伟强，黄烨林，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：