【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体涉及一种多目标dag调度方法、装置、电子设备及存储介质。
技术介绍
1、随着互联网的广泛普及，近年来云计算产业迅速发展。目前市场上存在许多云计算供应商，例如亚马逊aws、微软azure、阿里云和华为fusionsphere。随着数据中心规模的巨大和扩张，对任务调度的需求也日益增加。有效地处理这些庞大的调度任务是一项充满挑战的任务。提高系统运行效率不仅能为数据中心运营商带来可观的经济效益，还能提升对消费者的服务质量。因此，如何在数据中心中有效地调度计算任务或执行器变得至关重要。
2、现今的数据中心配置趋向于硬件异构化，其中包括不同的安装位置、差异化的气候环境、多种类型的处理器以及不同规格的存储设备和通信能力。为了准确描述在异构环境下工作负载的依赖关系和复杂属性，云计算社区的常见方法是将此类问题构建为dag调度问题。
3、dag调度问题包括单目标dag调度问题和多目标dag调度问题。单目标dag的调度问题大致包含两类：基于启发式的方法和基于学习的方法。基于启发式的方法采用人工准则分配任务，包括列表调度方法、基于簇的任务方法、基于任务复制操作的调度方法，但是这些方法需要先验领域知识才能设计出高效的规则，可能会增加其他从业者的学习成本。另一方面，基于学习的方法利用大量的机器学习算法来解决此类问题。例如，mao等人提出了decima来学习作业的拓扑信息和基于学习的信息匹配任务和执行器，而luo等人提出的学习优化器lachesis能够最小化完成时间。
4、在实际运营中，数据
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种多目标dag调度方法、装置、电子设备及存储介质，以解决数据中心中普遍存在的异构现象，导致数据中心管理效率差的问题。
2、第一方面，本专利技术实施例提供了一种多目标dag调度方法，所述方法包括：
3、利用集成器处理dag图结构的依赖关系并抽取高层次特征，并将所述高层次特征传递至选择器，其中，集成器是基于图卷积神经网络构建的；
4、所述选择器根据学习到的高层次特征确定任务的排队顺序，并将所述排队顺序传递至分发器；
5、所述分发器根据任务排队顺序进行任务和执行器的组合优化，得到任务和执行器之间的最优组合。
6、在本申请实施例中，所述利用集成器处理dag图结构的依赖关系并抽取高层次特征，包括：
7、所述集成器根据具体的调度问题和任务需求确定嵌入类型；
8、根据所述嵌入类型对应的处理策略处理所述dag图结构的依赖关系，并抽取高层次特征。
9、在本申请实施例中，所述根据所述嵌入类型对应的处理策略处理所述dag图结构的依赖关系，包括：
10、若所述嵌入类型为节点嵌入，对于每个节点，集成器首先将其所有子节点的信息聚合为一个组合值，将组合值添加到当前节点的向量，重复执行直到所有节点的特征向量都得到更新，在每一层的节点特征更新过程中，集成器使用两种非线性变换来处理节点的特征向量，得到所述高层次特征。
11、在本申请实施例中，所述根据所述嵌入类型对应的处理策略处理所述dag图结构的依赖关系，包括：
12、若所述嵌入类型为任务嵌入或全局嵌入，对于每个任务，集成器计算其所有节点嵌入的和，在计算任务嵌入和全局嵌入的过程中，集成器采用两个非线性变换来处理嵌入向量，通过聚合所有任务的嵌入向量，得到所述高层次特征。
13、在本申请实施例中，所述通过所述选择器根据学习到的高层次特征确定任务的排队顺序，包括：
14、所述选择器将学习到的高层次特征输入到目标策略网络；
15、通过目标策略网络将高层次嵌入映射到标量值的评估函数，并根据每个节点在调度事件发生时的选择概率，选择器确定下一个节点；
16、利用学习到的高层次特征和神经网络的评估函数，根据目标和系统状态，决定任务的排队顺序。
17、在本申请实施例中，所述目标策略网络的训练过程包括：
18、构建全局网络，并创建多个本地网络，其中，所述全局网络包括一个主模型和多个从模型；
19、每个本地网络独立运行环境，根据当前策略执行动作，并观察环境的状态转移和获得的奖励；
20、计算每个本地网络的奖励向量，其中，所述奖励向量包括完成时间的惩罚，收入以及能量支出。
21、使用异步优势算法，根据每个本地网络的奖励向量和主模型(actor)的输出，更新全局网络中的从模型；
22、重复执行上述步骤直到达到预设的训练迭代次数或达到停止条件。
23、在本申请实施例中，所述通过所述分发器根据任务排队顺序进行任务和执行器的组合优化，得到任务和执行器之间的最优组合包括：
24、分发器在每个任务中评估不同执行器的适应度，并选择使得目标值最小化的执行器与任务进行组合；
25、在每次任务和执行器的组合优化后，分发器根据当前的任务和执行器组合，对组合进行调整和优化；
26、在完成任务和执行器的组合优化后，分发器输出最优的任务和执行器之间的组合。
27、第二方面，本专利技术实施例提供了一种多目标dag调度装置，所述装置包括：
28、提取模块，通过所述集成器处理dag图结构的依赖关系并抽取高层次特征，并将所述高层次特征传递至选择器，其中，集成器是基于图卷积神经网络构建的；
29、确定模块，通过所述选择器根据学习到的高层次特征确定任务的排队顺序，并将所述排队顺序传递至分发器；
30、处理模块，通过所述分发器根据任务排队顺序进行任务和执行器的组合优化，得到任务和执行器之间的最优组合。
31、第三方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的方法。
32、第四方面，本专利技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的方法。
33、本申请实施例提供的方法通过集成器、选择器和分发器的协同工作，能够有效地解决多目标dag调度问题，实现数据中心的有效管理。采用图神经网络提取高层次特征，多目标策略网络确定任务优化次序，多目标演化算法发现最优任务和执行器组合，综合利用了不同组件的优点，为数据中心的调度和资源管理提供了一种全面而高效的解决方案。
本文档来自技高网...【技术保护点】
1.一种多目标DAG调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述利用集成器处理DAG图结构的依赖关系并抽取高层次特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述嵌入类型包括：节点嵌入，任务嵌入以及全局嵌入；根据所述嵌入类型对应的处理策略处理所述DAG图结构的依赖关系，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述嵌入类型对应的处理策略处理所述DAG图结构的依赖关系，包括：
5.根据权利要求1所述的方法，其特征在于，选择器根据学习到的高层次特征确定任务的排队顺序，包括：
6.根据权利要求1所述的方法，其特征在于，所述目标策略网络的训练过程包括：
7.根据权利要求1所述的方法，其特征在于，所述通过所述分发器根据任务排队顺序进行任务和执行器的组合优化，得到任务和执行器之间的最优组合包括：
8.一种多目标DAG调度装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特
...【技术特征摘要】
1.一种多目标dag调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述利用集成器处理dag图结构的依赖关系并抽取高层次特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述嵌入类型包括：节点嵌入，任务嵌入以及全局嵌入；根据所述嵌入类型对应的处理策略处理所述dag图结构的依赖关系，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述嵌入类型对应的处理策略处理所述dag图结构的依赖关系，包括：
5.根据权利要求1所述的方法，其特征在于，选择器根据学习到的高层次...
【专利技术属性】
技术研发人员：赵春亮，巩敦卫，郝媛媛，韩宗辰，高枫轩，张毅芹，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。