大数据作业调度控制方法、系统和可读存储介质技术方案

本发明专利技术公开的一种大数据作业调度控制方法、系统和可读存储介质，其中方法包括：获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量；利用卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，获取所述任务节点对应的第二特征矩阵；构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制。本发明专利技术使得同一节点部署在不同的执行器上运行的传输开销各不相同，扩充了各个节点的特征维度，更充分地考虑了数据本地性，进一步提升了后续调度操作的有效性。度操作的有效性。度操作的有效性。

【技术实现步骤摘要】
大数据作业调度控制方法、系统和可读存储介质


[0001]本专利技术涉及大数据
，更具体的，涉及一种大数据作业调度控制方法、系统和可读存储介质。

技术介绍

[0002]大数据作业调度是个NP
‑
完全(NP
‑
complete)问题。随着技术的进步，研究人员逐渐发现人工智能算法在解决这类问题上具有不错的效果。人工智能算法开展的基础是将大数据作业向量化，因此如何表达大数据作业逐渐成为研究的重点。传统的表达方法是获取DAG结构作业的节点特征矩阵和邻接矩阵，并以此作为算法的输入部分。但是该操作会割裂节点之间的关联，从而影响后续算法的调度效果。
[0003]公开号为CN112711475A的中国专利公开了一种基于图卷积神经网络的工作流调度方法及系统。其内部使用图卷积神经网络来处理作业，虽然将节点特征矩阵和邻接矩阵进行整合，但是欠缺对于数据本地性的考虑。一旦数据量达到TB、PB级别时，数据传输开销便不可忽略。Sun等人在《Accelerating job completion time with deep reinforcement learning
‑
based coflow scheduling》中提出DeepWeave大数据任务调度算法，该算法使用图卷积神经网络来处理作业，但仅仅获得上述节点级别的特征向量，并没有考虑DAG结构作业的关键路径信息和数据本地性对调度效果的影响。

技术实现思路

[0004]鉴于上述问题，本专利技术的目的是提供一种大数据作业调度控制方法、系统和可读存储介质，使得同一节点部署在不同的执行器上运行的传输开销各不相同，扩充了各个节点的特征维度，更充分地考虑了数据本地性，进一步提升了后续调度操作的有效性。
[0005]本专利技术第一方面提供了一种大数据作业调度控制方法，包括以下步骤：获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量；利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵；基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制。
[0006]本方案中，所述获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量，具体包括：对被调度的所述大数据作业数据中每一个作业构建对应的所述邻接矩阵，其中，所述邻接矩阵为有向图邻接矩阵；对被调度的所述大数据作业数据中每一个作业构建对应的所述第一特征矩阵，其中，所述第一特征矩阵中每个所述任务节点对应的所述特征向量包括：任务节点中每个任
务实例的执行时间；任务节点的总任务实例数；任务节点的剩余任务实例数；任务节点的优先级；任务节点的每个任务实例对于CPU核数的要求以及任务节点的每个任务实例对于内存大小的要求。
[0007]本方案中，所述利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于图卷积神经网络得到第一函数以及第二函数，其中，所述第一函数与所述第二函数均为非线性函数，且包括两个隐藏层；所述第一函数对应的隐藏层的神经元数量为十六个，所述第二函数对应的隐藏层的神经元数量为八个；利用所述第一函数以及所述第二函数对所述大数据作业数据进行处理，得到节点级别特征向量、作业级别特征向量以及全局级别特征向量，进而得到对应的所述第二特征矩阵。
[0008]本方案中，所述基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于所述处理结果得到不同所述任务节点对应的所述第二特征矩阵，其中，基于所述节点级别特征向量作为矩阵行向量得到对应的节点级别特征矩阵；基于所述作业级别特征向量作为矩阵行向量得到对应的作业级别特征矩阵；基于所述全局级别特征向量作为矩阵行向量得到对应的全局级别特征矩阵。
[0009]本方案中，所述节点级别特征向量表示当前节点与其邻接节点的特征信息；所述作业级别特征向量表示作业中所有任务节点之间的全局关系；所述全局级别特征向量表示待调度的作业集合中所有作业之间的全局关系。
[0010]本方案中，所述基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制，具体包括：基于所述节点级别特征向量识别所述任务节点，进而结合对应的所述任务执行器构建所述第三特征矩阵以表示所述任务节点剩余的任务实例在所述任务执行器上执行的所述平均数据传输时间，其中，计算所述任务节点的单个任务实例从父任务节点的某个任务实例所获取的平均数据量；计算任务节点中单个任务实例的传输时间；基于所述平均数据量以及所述传输时间计算乘积之和，进而得到所述任务节点针对所有父任务节点的平均数据传输时间。
[0011]本专利技术第二方面还提供一种大数据作业调度控制系统，包括存储器和处理器，所述存储器中包括大数据作业调度控制方法程序，所述大数据作业调度控制方法程序被所述处理器执行时实现如下步骤：获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量；利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵；
基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制。
[0012]本方案中，所述获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量，具体包括：对被调度的所述大数据作业数据中每一个作业构建对应的所述邻接矩阵，其中，所述邻接矩阵为有向图邻接矩阵；对被调度的所述大数据作业数据中每一个作业构建对应的所述第一特征矩阵，其中，所述第一特征矩阵中每个所述任务节点对应的所述特征向量包括：任务节点中每个任务实例的执行时间；任务节点的总任务实例数；任务节点的剩余任务实例数；任务节点的优先级；任务节点的每个任务实例对于CPU核数的要求以及任务节点的每个任务实例对于内存大小的要求。
[0013]本方案中，所述利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于图卷积神经网络得到第一函数以及第二函数，其中，所述第一函数与所述第二函数均为非线性函数，且包括两个隐藏层；所述第一函数对应的隐藏层的神经元数量为十六个，所述第二函数对应的隐藏层的神经元数量为八个；利用所述第一函数以及所述第二函数对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据作业调度控制方法，其特征在于，包括以下步骤：获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量；利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵；基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制。2.根据权利要求1所述的一种大数据作业调度控制方法，其特征在于，所述获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量，具体包括：对被调度的所述大数据作业数据中每一个作业构建对应的所述邻接矩阵，其中，所述邻接矩阵为有向图邻接矩阵；对被调度的所述大数据作业数据中每一个作业构建对应的所述第一特征矩阵，其中，所述第一特征矩阵中每个所述任务节点对应的所述特征向量包括：任务节点中每个任务实例的执行时间；任务节点的总任务实例数；任务节点的剩余任务实例数；任务节点的优先级；任务节点的每个任务实例对于CPU核数的要求以及任务节点的每个任务实例对于内存大小的要求。3.根据权利要求2所述的一种大数据作业调度控制方法，其特征在于，所述利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于图卷积神经网络得到第一函数以及第二函数，其中，所述第一函数与所述第二函数均为非线性函数，且包括两个隐藏层；所述第一函数对应的隐藏层的神经元数量为十六个，所述第二函数对应的隐藏层的神经元数量为八个；利用所述第一函数以及所述第二函数对所述大数据作业数据进行处理，得到节点级别特征向量、作业级别特征向量以及全局级别特征向量，进而得到对应的所述第二特征矩阵。4.根据权利要求3所述的一种大数据作业调度控制方法，其特征在于，所述基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于所述处理结果得到不同所述任务节点对应的所述第二特征矩阵，其中，基于所述节点级别特征向量作为矩阵行向量得到对应的节点级别特征矩阵；基于所述作业级别特征向量作为矩阵行向量得到对应的作业级别特征矩阵；基于所述全局级别特征向量作为矩阵行向量得到对应的全局级别特征矩阵。5.根据权利要求4所述的一种大数据作业调度控制方法，其特征在于，所述节点级别特征向量表示当前节点与其邻接节点的特征信息；所述作业级别特征向量表示作业中所有任务节点之间的全局关系；所述全局级别特征向量表示待调度的作业集合中所有作业之间的全局关系。6.根据权利要求4所述的一种大数据作业调度控制方法，其特征在于，所述基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对
应的任务实例在任务执行...

【专利技术属性】
技术研发人员：夏莹杰，陈天祥，
申请(专利权)人：杭州远眺科技有限公司，
类型：发明
国别省市：