一种面向流水线的网络处理工作流调度方法、装置及介质制造方法及图纸

本发明专利技术公开了一种面向流水线的网络处理工作流调度方法、装置及介质，其中方法包括：DAG的生成与全局资源使用文档的生成；网络处理工作流的序列化；网络工作调度模型的训练；网络工作流调度策略的形成。本发明专利技术提出的一种面向流水线的网络处理工作流调度方法可以处理可变长度的网络处理工作流与可变规模的网络处理资源，利用强化学习模型同时实现面向网络处理工作流的智能网络处理资源规划与智能工作调度，从而提升网络处理资源的整体利用率，减少网络处理资源的浪费。本发明专利技术可广泛应用于强化学习、并行计算和工作调度等领域。并行计算和工作调度等领域。并行计算和工作调度等领域。

【技术实现步骤摘要】
一种面向流水线的网络处理工作流调度方法、装置及介质


[0001]本专利技术涉及强化学习、并行计算和工作调度等领域，尤其涉及一种面向流水线的网络处理工作流调度方法、装置及介质。

技术介绍

[0002]随着软件定义网络技术的发展，越来越多的网络处理设施、设备和元件开始向用户开放编程接口。该类设备一般将用户自定义的网络数据处理流程部署到一个处理流水线中，并使用流水线完成用户指定的网络数据包的处理。
[0003]可并行执行的网络处理流程一般可以采用网络处理工作流描述。为了降低层级的配置和部署成本，通过工作流调度方式提高网络处理工作流的资源利用率，减少层级的使用量尤为重要。在传统的工作流调度方法中，以H.Topcuoglu等人在《Performance
‑
Effective and Low
‑
Complexity Task Scheduling for Heterogeneous Computing》中使用的方法为代表的列调度算法被广泛应用于工作流调度中。该类算法往往需要将工作流序列化，而后使用如最早完成时间算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向流水线的网络处理工作流调度方法，其特征在于，包括以下步骤：S1、DAG的生成与全局资源使用文档的生成：基于网络处理工作流描述文档分析网络处理工作流的运行流程和各网络处理工作的全局资源使用情况，形成网络处理工作流的有向无环图DAG文档和全局资源使用文档；S2、网络处理工作流的序列化：对网络处理工作流DAG文档和全局资源使用文档作进一步依赖关系分析和综合，形成综合依赖图，并使用引入重要性的基于拓扑排序的方法对综合后的依赖关系DAG节点序列化，形成待调度的工作序列；S3、网络工作调度模型的训练：以待调度工作序列为初始序列，结合约束条件使用基于策略梯度的强化学习方法训练一个网络处理工作流调度Q网络；S4、网络工作流调度策略的形成：以待调度工作序列为初始序列，使用训练好的网络处理工作流调度Q网络依次得到调度动作，综合后形成最终网络处理工作流调度策略。2.根据权利要求1所述的一种面向流水线的网络处理工作流调度方法，其特征在于，所述步骤S1，包括：S11、分析网络处理工作流描述文档，得到网络处理工作流当中包含的多个工作以及每个工作T
i
的计算资源需求R
i
；S12、分析网络处理工作流描述文档，得到各个工作之间的工作顺序依赖关系；以网络处理工作流中的各工作为节点，各工作的执行顺序为有向边构建网络处理工作流DAG；将网络处理工作流DAG与各节点所代表工作的计算资源需求结合，形成网络处理工作流的DAG文档；S13、分析网络处理工作流描述文档，得到每个工作对特定全局资源的使用需求，形成全局资源使用文档。3.根据权利要求2所述的一种面向流水线的网络处理工作流调度方法，其特征在于，所述DAG文档的每一行由三元组(T
i
,R
i
,B
i
)表示，B
i
为网络处理工作流DAG中由代表工作T
i
的节点出发的边所指向的节点所代表工作构成的集合；所述全局资源使用文档的每一行由二元组(T
i
,G
i
)表示，T
i
为工作，G
i
为工作T
i
所使用全局资源有关信息的集合；G
i
中的每个元素为二元组(X,u)，表示工作T
i
通过方式u使用全局资源X。4.根据权利要求1所述的一种面向流水线的网络处理工作流调度方法，其特征在于，所述步骤S2，包括：S21、分析DAG文档以及全局资源使用文档，依照约束条件对不同类别依赖关系的定义生成不同类别依赖关系的依赖图；其中，依赖图为有向图，其节点为网络处理工作流中的工作，边的终节点所代表的工作依赖于边的始节点所代表的工作，组合所有不同类别依赖关系的依赖图，构成依赖图集合V；S22、合并依赖图集合V中的所有依赖图，生成综合依赖图Z；在合并过程中，将所有的依赖关系转化为工作的先后次序，并根据先后次序合并依赖图；S23、根据DAG文档中各工作的计算资源需求和依赖图集合V，计算每个工作的重要性；S24、基于综合依赖图Z和工作的重要性，生成带重要性排序的拓扑排序A
z
。5.根据权利要求4所述的一种面向流水线的网络处理工作流调度方法，其特征在于，所述步骤S24，包括：
S241、获取综合依赖图Z中所有未作为边的终节点的节点所代表的工作，依照工作重要性对这些工作进行降序排序；S242、将排好序的工作加入拓扑排序列表A中，并将代表这些工作的节点及其相关联的边从综合依赖图Z中删除；S243、重复上述步骤S241
‑
S242，直到获得带重要性排序的拓扑排序A
z
，将其作为待调度工作序列。6.根据权利要求1所述的一种面向流水线的网络处理工作流调度方法，其特征在于，所述步骤S3，包括：S31、以待调度工作序列为初始待调度工作序列、空调度策略为初始策略，完成强化学习模型学习环境的初始化，以及Agent中Q网络参数的初始化；S32、Agent从环境中取出当前待调度工作序列W、当前调度策略S，并从待调度工作序列中获取首个待调度工作T
m
作为当前待调度工作；S33、Agent从DAG文档中获得工作T
m
的计算资源需求R
m
，并结合综合依赖图Z、当前调度策略S计算工作T
m
在当前调度策略S下的特征F
m
；组合R
m
与F
m
，构成当前待调度工作T
m
的静态状态K＝[R
m
,F
m
]；S34、Agent查找当前待调度工作序列W中各工作的计算资源需求，组合形成当前待调度工作序列资源需求序列W
′
；结合约束条件，计算当前调度策略S各层级已用计算资源特征S
′
；S35、Agent构造当前状态H＝(W
′
,S
′
,K)；S36、Agent结合当前状态H中的当前调度策略S、静态状态K、当前待调度工作T
m
、以及调度过程中的约束条件构建掩模M1与M2；S37、Agent将当前状态H输入Q网络，得到两个...

【专利技术属性】
技术研发人员：许皓钧，丁为建，胡智超，胡正阳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：