一种基于图神经网络的任务调度方法技术

本申请公开了一种基于图神经网络的任务调度方法，所述方法确定分布式计算平台内所有作业的图结构，并对图结构的特征进行处理添加出度和入度特征；在经过一个全连接的多层感知网络以及带自注意力机制的图神经网络进行节点的聚合，得到节点的节点特征向量；再将每个作业所有节点的节点特征向量加和得到作业向量；长短时记忆扫描所有作业的作业向量得到全局向量；最后通过强化学习智能体将各节点特征向量、各作业向量以及全局向量作为状态输入，通过一个策略梯度网络做出调度动作，以分配给可运行节点一定数量的空闲执行器，提高了调度效率。

【技术实现步骤摘要】
一种基于图神经网络的任务调度方法
本申请涉及资源调度
，特别涉及一种基于图神经网络的任务调度方法。
技术介绍
近年来，随着互联网、大数据存储以及分布式计算的快速发展，计算规模的日益扩大成了很多互联网行业的严峻挑战，充分利用计算资源是互联网企业实际而又迫切的需求。目前分布式计算平台调度方法主要考虑通用性和实现简单性，而忽略作业结构(即作业内部依赖关系)和作业历史运行记录，从而现有调度方法无法使得各种工作负载均达到很好的调度效率。
技术实现思路
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于图神经网络的任务调度方法。为了解决上述技术问题，本申请实施例第一方面提供了一种基于图神经网络的任务调度方法，所述方法包括：基于分布式计算平台中的各作业数据确定各作业对应的图结构，其中，所述作业数据包括作业信息列表；对于该图结构中的每个节点，基于该节点对应的子节点以及图神经网络，确定该节点对应的节点特征向量；基于该作业对应的所有节点特征向量，确定该作业对应的作业向量；>基于获取到所有作业本文档来自技高网...

【技术保护点】
1.一种基于图神经网络的任务调度方法，其特征在于，所述方法包括：/n基于分布式计算平台中的各作业数据确定各作业对应的图结构，其中，所述作业数据包括作业信息列表；/n对于该图结构中的每个节点，基于该节点对应的子节点以及图神经网络，确定该节点对应的节点特征向量；/n基于该作业对应的所有节点特征向量，确定该作业对应的作业向量；/n基于获取到所有作业向量，确定所述分布式计算平台的全局向量；/n基于各作业中的各节点的节点特征向量，各作业的作业向量以及分布式计算平台的全局向量确定调度动作。/n

【技术特征摘要】
1.一种基于图神经网络的任务调度方法，其特征在于，所述方法包括：
基于分布式计算平台中的各作业数据确定各作业对应的图结构，其中，所述作业数据包括作业信息列表；
对于该图结构中的每个节点，基于该节点对应的子节点以及图神经网络，确定该节点对应的节点特征向量；
基于该作业对应的所有节点特征向量，确定该作业对应的作业向量；
基于获取到所有作业向量，确定所述分布式计算平台的全局向量；
基于各作业中的各节点的节点特征向量，各作业的作业向量以及分布式计算平台的全局向量确定调度动作。


2.根据权利要求1所述基于图神经网络的任务调度方法，其特征在于，所述基于分布式计算平台中的各作业数据确定各作业对应的图结构具体包括：
对于分布式计算平台中的每个作业，获取该作业对应的若干计算阶段；
以若干计算阶段中的每个计算节点作为节点，节点之间的输入输出关系作为边构建该作业对应的图结构。


3.根据权利要求1或2所述基于图神经网络的任务调度方法，其特征在于，所述基于分布式计算平台中的各作业数据确定各作业对应的图结构之后，所述方法还包括：
对于该作业对应的图结构，获取该图结构中的各节点各自对应的出度特征和/或入度特征，将所述出度特征和/或入度特征添加至所述作业信息列表内。


4.根据权利要求1所述基于图神经网络的任务调度方法，其特征在于，所述子节点为该节点对应的图结构中的节点，并且该节点与所述子节点之间具有指向所述子节点的边。


5.根据权利要求4所述基于图神经网络的任务调度方法，其特征在于，所述图神经网络配置有多头自注意力机制；基于该节点对应的子节点以及图神经网络，确定该节点对应的节点特征向量具体包括：
对于该图结构中的每个节点，基于所述作业信息列表确定该节点对应的特征信息，其中，特征信息包括出度特征和/或入...

【专利技术属性】
技术研发人员：李清，郭嘉伟，江勇，刘冀洵，周建二，
申请(专利权)人：鹏城实验室，清华大学深圳国际研究生院，南方科技大学，
类型：发明
国别省市：广东;44