一种时间敏感网络中的数据流调度方法、装置及介质制造方法及图纸

本发明专利技术公开了一种时间敏感网络中的数据流调度方法、装置及介质，其中方法包括：获取多条TSN数据流；对获得的TSN数据流进行序列化处理；为每条TSN数据流生成多条冗余路由；采用强化学习为每条TSN数据流做冗余路由决策；在获得TSN数据流的路由之后，通过早期调度方法获取调度表，并为每条TSN数据流分配时隙；判断当前TSN数据流是否为最后一条待处理的TSN数据流，若是，根据分配结果传输TSN数据流；反之，返回执行采用强化学习为每条TSN数据流做冗余路由决策这一步骤。本发明专利技术先确定冗余路径候选集，然后结合强化学习来从候选中学习多路由流的选择策略，该策略可以动态地了解网络状态，以减少网络瓶颈链路上的负载，可广泛应用于通信流调度技术领域。信流调度技术领域。信流调度技术领域。

【技术实现步骤摘要】
一种时间敏感网络中的数据流调度方法、装置及介质


[0001]本专利技术涉及通信流调度
，尤其涉及一种时间敏感网络中的数据流调度方法、装置及介质。

技术介绍

[0002]传统以太网在最初的规范中没有考虑实时通信问题，仅成功地将端到端操作延迟减少到大约十毫秒。随着5G网络的兴起，越来越多的应用需要超可靠和低延迟(ULL)通信，例如自动驾驶、增强现实和工业系统自动化应用，这些应用要求端到端延迟约为几毫秒。尽管早期已经提出了一些实时以太网通信技术(如PROFINET、EtherCAT、SERCOS III等)，但大多数技术都专用于工业系统，在兼容性和可扩展性方面性能较差。因此，IEEE已经在IEEE802.1工作组(WG)中部署了时间敏感网络(TSN)。如今，TSN已成为实时通信的最先进以太网标准，旨在满足可靠性和实时通信的要求。
[0003]TSN中的路由和调度问题已在许多研究中得到广泛讨论，但由于时间敏感网络中的低延迟和高可靠性要求依旧具有挑战性。为了增强TSN流的可靠性，需要执行额外的流。因为一旦TSN流未能沿给定路径传输，它将对实时服务中大量连续的TSN流产生影响，进而重新传输并超过总延迟。冗余流占用了更多的网络资源，并增加了网络设备中的等待时间。因此，必须平衡路由和调度问题的延迟和可靠性要求。
[0004]现有工作大多根据数据帧、端到端需求和物理链路的特性建立数学模型。然后，他们通过优化方法来解决路由和调度问题，该方法只能满足在低延迟约束下成功到达的流，但不考虑可靠性。一些工作考虑使用启发式方法来解决可靠性问题。当网络结构发生变化时，启发式方法需要不可避免的重新搜索策略。此外，过大的方法空间将带来不可接受的运行时间。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种时间敏感网络中的数据流调度方法、装置及介质。
[0006]本专利技术所采用的技术方案是：
[0007]一种时间敏感网络中的数据流调度方法，包括以下步骤：
[0008]获取多条TSN数据流；
[0009]对获得的TSN数据流进行序列化处理；
[0010]采用冗余候选算法，为每条TSN数据流生成多条冗余路由；
[0011]将TSN网络中的路由和调度问题转换为NP难问题，采用强化学习为每条TSN数据流做冗余路由决策，以满足时间敏感网络的可靠性要求；
[0012]在获得TSN数据流的路由之后，通过早期调度方法获取调度表，并为每条TSN数据流分配时隙；
[0013]判断当前TSN数据流是否为最后一条待处理的TSN数据流，若是，根据分配结果传
输TSN数据流；反之，返回执行采用强化学习为每条TSN数据流做冗余路由决策这一步骤。
[0014]进一步地，所述冗余候选方式算法的工作方式为：
[0015]确定源src
n
、一个流f
n
的目标dst
n
和冗余路径参数M的数量，算法输出R
n
的候选；
[0016]当TSN数据流到达时，TSN数据流的最短路径被计算为候选集的第一条路径；
[0017]将除起点和终点之外的其他节点视为偏离点，并通过Dijkstra算法获取从偏离点到终点的其他路径；
[0018]依次循环所有偏差点，直到满足冗余路径的数量。
[0019]进一步地，所述获取从偏离点到终点的其他路径，包括：
[0020]在寻找其他路径的过程中，对当前偏离点的下一跳有两个限制：
[0021]1)不选择初始最短路径的后继节点，否则将生成相同的路径；
[0022]2)不选择前置节点集合中的节点，否则将生成循环路径。
[0023]进一步地，所述强化学习的工作方式如下：
[0024]将TSN数据流和当前网络的状态作为强化学习模型的输入，强化学习模型的输出为路由组合动作；强化学习模型通过观察TSN数据流和动态网络资源，以确定在线网络环境下的路径组合，并基于奖励更新策略网络参数；
[0025]其中，TSN数据流以批处理模式输入强化学习模型，TSN数据流的行为包括：
[0026]1)确定TSN数据流的流数据大小、传输周期和延迟截止时间，根据流的数据大小进行排序，从大到小对TSN数据流进行路由和调度；
[0027]2)对于单播流的一个路径，选择路径并直接调度；
[0028]3)在路由和调度单播流之后，执行其他单播流，直到执行所有单播流。
[0029]进一步地，所述强化学习模型的状态定义如下：
[0030]状态作为强化学习模型的输入，被定义为：
[0031]s＝[F，N][0032]其中，流侧F包括流的源和目的地、循环频率、传输的数据量、达到的最大容许持续时间以及TSN流的路由候选集；网络侧N包括每个网络链路上的动态负载。
[0033]进一步地，所述强化学习模型的动作定义如下：
[0034]动作作为强化学习模型的输出，输出路由的路径候选集，径候选集包括具有节点和链路重合的最短路径、最长路径和其他路径。
[0035]进一步地，所述强化学习模型的奖励定义如下：
[0036]奖励为强化学习模型执行某个动作后从环境中获得的反馈，奖励包括两部分：
[0037]1)每轮训练中当前网络的平衡程度可以用r1＝
‑
(Umax
‑
Umin)表示；
[0038]2)奖励r2是每个步骤中失败流量比率的惩罚，用于指导模型在早期训练阶段快速探索更好的策略。
[0039]进一步地，所述为每条TSN数据流分配时隙，包括：
[0040]一个TSN数据流在每个步骤采用一组路由操作之后，直接分配时间片，而不是等待所有的流被路由后再分配。
[0041]本专利技术所采用的另一技术方案是：
[0042]一种时间敏感网络中的数据流调度装置，包括：
[0043]至少一个处理器；
[0044]至少一个存储器，用于存储至少一个程序；
[0045]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0046]本专利技术所采用的另一技术方案是：
[0047]一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0048]本专利技术的有益效果是：本专利技术先确定冗余路径候选集，然后结合强化学习来从候选中学习多路由流的选择策略，该策略可以动态地了解网络状态，以减少网络瓶颈链路上的负载。
附图说明
[0049]为了更清楚地说明本专利技术实施例或者现有技术中的技术方案，下面对本专利技术实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本专利技术的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时间敏感网络中的数据流调度方法，其特征在于，包括以下步骤：获取多条TSN数据流；对获得的TSN数据流进行序列化处理；采用冗余候选算法，为每条TSN数据流生成多条冗余路由；将TSN网络中的路由和调度问题转换为NP难问题，采用强化学习为每条TSN数据流做冗余路由决策，以满足时间敏感网络的可靠性要求；在获得TSN数据流的路由之后，通过早期调度方法获取调度表，并为每条TSN数据流分配时隙；判断当前TSN数据流是否为最后一条待处理的TSN数据流，若是，根据分配结果传输TSN数据流；反之，返回执行采用强化学习为每条TSN数据流做冗余路由决策这一步骤。2.根据权利要求1所述的一种时间敏感网络中的数据流调度方法，其特征在于，所述冗余候选方式算法的工作方式为：确定源src
n
、一个流f
n
的目标dst
n
和冗余路径参数M的数量，算法输出R
n
的候选；当TSN数据流到达时，TSN数据流的最短路径被计算为候选集的第一条路径；将除起点和终点之外的其他节点视为偏离点，并通过Dijkstra算法获取从偏离点到终点的其他路径；依次循环所有偏差点，直到满足冗余路径的数量。3.根据权利要求2所述的一种时间敏感网络中的数据流调度方法，其特征在于，所述获取从偏离点到终点的其他路径，包括：在寻找其他路径的过程中，对当前偏离点的下一跳有两个限制：1)不选择初始最短路径的后继节点，否则将生成相同的路径；2)不选择前置节点集合中的节点，否则将生成循环路径。4.根据权利要求1所述的一种时间敏感网络中的数据流调度方法，其特征在于，所述强化学习的工作方式如下：将TSN数据流和当前网络的状态作为强化学习模型的输入，强化学习模型的输出为路由组合动作；强化学习模型通过观察TSN数据流和动态网络资源，以确定在线网络环境下的路径组合，并基于奖励更新策略网络参数；其中，TSN数据流以批处理模式输入强化学习模型，TSN数据流的行为包括：1)确定TSN数据流的...

【专利技术属性】
技术研发人员：杨磊，程昊，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：