一种基于强化学习的分布式网络配置模型中流预留方法技术

本发明专利技术公开了一种基于强化学习的分布式网络配置模型中流预留方法，在分布式的时间敏感网络配置模型下，本方法首先定义了一个基于资源预留协议RAP(Resource Allocation Protocol)和异步流量整形ATS(Asynchronous Traffic Shaping)的网络配置框架，并在该配置框架中引入了一个延迟配置引擎，该引擎可以监控网络中时间敏感数据流的接收率并以此作为反馈，通过强化学习的方式动态地调整网络中每跳预留的延迟带宽配置。对此，本方法建立了基于异步流量整形的每跳延迟模型，并设计了强化学习代理状态空间、动作空间和奖励函数，在每一次迭代期间，强化学习代理监控网络在当前的每跳延迟配置下数据流的接收率，并对每跳延迟配置做出动态的调整。通过环境与强化学习代理的交互，选出最优的延迟预算的配置，使得网络中数据流的接收率最大化。中数据流的接收率最大化。中数据流的接收率最大化。

【技术实现步骤摘要】
一种基于强化学习的分布式网络配置模型中流预留方法


[0001]本专利技术属于时间敏感网络领域，特别涉及基于强化学习的分布式网络配置模型中流预留方法。

技术介绍

[0002]随着智能制造地高速发展，在工业领域，网络对传输延迟的确定性和可靠性、网络架构的统一性的需求日益迫切。以太网由于其尽力而为的机制限制了确定性传输的能力，而一些工业实时以太网又存在着互不兼容的问题。为此，IEEE时间敏感网络(TSN)工作组制定了一系列的标准，以支持在以太网的基础上提供确定性的传输。这其中一项关键性工作是在控制平面上工作的流预留协议SRP(Stream Reservation Protocol)，主要用于为时间敏感的流量预留带宽资源，提供端到端确定性时延，目前，SRP已通过资源预留协议RAP(Resource Allocation Protocol)进行了改进。
[0003]在实际应用中，RAP等预留算法通常会与各种流量整形算法相结合，在分布式的时间敏感网络模型下，RAP会与异步流量整形ATS(Asynchronous Traffic Shaping)结合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的分布式网络配置模型中流预留方法，具体包括以下步骤：步骤1：根据IEEE 802.1Qcr标准定义的完全分布式配置框架，建立基于强化学习的RAP+ATS的TSN桥接网络框架，定义预留过程中网络配置优化目标和约束条件；步骤2：在网桥的数据面建立ATS每跳延迟模型，模拟ATS在数据面的转发操作并定义时延计算公式；步骤3：代理根据输入流的每跳延迟需求为每一跳网桥的控制面配置一个延迟保证，并通过数据面ATS延迟模型计算当前时延，通过检查是否满足约束条件来决定是否接收该数据流。步骤4：定义网络中强化学习代理的状态空间、动作空间和奖励函数。并通过与环境不断地交互，动态调整延迟保证配置，最终决策出可以使网络中数据流接收率最大化的最佳配置。2.根据权利要求1所述的基于强化学习的分布式网络配置模型中流预留方法，其特征在于：基于强化学习的RAP+ATS的分布式桥接网络配置框架、网络配置问题的优化目标、约束条件的建立步骤如下：步骤1
‑
1：遵照IEEE 802.1Qcc标准，考虑完全分布式的TSN桥接网络，由终端、网桥和物理链路构成。网络/用户配置信息直接通过User Network Interface(UNI)在网桥中传输，网桥数据平面使用IEEE 802.1Qcr标准定义的ATS机制实现数据流的转发，控制平面使用IEEE 802.1Qat标准定义的RAP协议验证网络中是否有足够的资源进行传输并对所需资源进行预留，以此对数据流执行准入控制操作。步骤1
‑
2：在网络中引入一个延迟配置引擎，监控网络中由RAP协议控制准入的数据流的接收率，并对延迟配置做出相应的调整。步骤1
‑
3：确定网络配置问题中的优化目标、约束条件，目标是找到一种延迟保证配置，使得在RAP的约束条件下最大限度地增加预定过程中可接受地TSN流地数量，可以表述为：使得在RAP的约束条件下最大限度地增加预定过程中可接受地TSN流地数量，可以表述为：其中R表示网络中TSN流的接受率，N
deploy
和N
accept
表示网络中部署和接收的流的数目，d
max
(k，f
i
)代表流f
i
在第k跳的延迟界，代表配置的每跳延迟保证。3.根据权利要求1所述的基于强化学习的分布式网络配置模型中流预留方法，其特征在于：建立ATS的每跳延迟模型，模拟ATS在数据面的转发操作步骤如下：步骤2
‑
1：数据流的延迟需求一般以端到端的延迟界限给出，可以计算为沿着流f的路径的每一跳的每跳延迟界限的累计：d
max
(k，f)表示流f在第k跳的延迟界限，由缓冲延迟d
BU，max
(k，f)、媒体延迟d
MD，max
(k)、到达识别延迟d
AT，max
(k)和处理延迟d
PR，max
(k)组成：d
max
(k，f)＝d
BU，max
(k，f)+d
MD，max
(k)+d
AT，max
(k)+d
PR，max
(k)
ꢀꢀꢀꢀ
(4)仅考虑与数据流有关的延迟，因此d
max
(k，f)主要取决于d
BU，max
(k，f)，主要来源于排队
阶段其他数据帧的竞争以及端口的存储转发等操作，在上述条件下，流f在第k跳的最坏情况下的延迟上界可以表示为：步骤2

【专利技术属性】
技术研发人员：徐风友，雷磊，张莉涓，蔡圣所，宋晓勤，沈高青，李志林，朱晓浪，牛凯华，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：