任务调度方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种任务调度方法、装置、电子设备及可读存储介质。其中，方法包括：获取与第一数据切片组合对应的第一关系拓扑图；根据第一关系拓扑图，确定与P个数据切片调度序列一一对应的P个第一数据切片调度方式，其中，P个数据切片调度序列均包括m个目标数据切片，在不同数据切片调度序列中，m个目标数据切片的调度顺序不同；第一数据切片调度方式为数据切片调度序列对应的至少两个调度方式中，调度成本最低的数据切片调度方式，调度成本基于至少一个调度成本贡献值确定；根据P个第一数据切片调度方式中的第一目标数据切片调度方式，执行m个目标数据切片的调度。本申请考虑了任务调度的全局影响，从而可以提高全局执行效率。从而可以提高全局执行效率。从而可以提高全局执行效率。

【技术实现步骤摘要】
任务调度方法、装置、电子设备及可读存储介质


[0001]本申请实施例涉及通信
，尤其涉及一种任务调度方法、装置、电子设备及可读存储介质。

技术介绍

[0002]MapReduce任务调度直接影响MapReduce计算作业的执行时间，因此，如何对任务进行调度，对于计算速度的整体提升至关重要。
[0003]在现有技术中，申请任务的任务节点(Tasktracker或Task Tracker)，首先执行“本节点数据切片”，当不存在“本节点数据切片”时，优先执行“本机架数据切片”，当“本机架数据切片”仍然不存在时，随机执行“非本机架数据切片”，即现有技术采用局部最优策略调度方式实现任务的调度，未考虑当前任务执行对于MapReduce系统全局的影响，容易造成全局的执行效率较低。

技术实现思路

[0004]本申请实施例提供一种任务调度方法、装置、电子设备及可读存储介质，以解决因现有技术未考虑各任务节点的任务调度对MapReduce系统全局的影响，造成全局的执行效率较低的问题。
[0005]为解决上述问题，本申请是这样实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，应用于MapReduce系统，所述MapReduce系统包括n个任务节点，n为大于1的整数；所述方法包括：获取与第一数据切片组合对应的第一关系拓扑图，其中，所述第一关系拓扑图为所述第一数据切片组合包括的m个目标数据切片与所述n个任务节点之间的关系拓扑图，在所述第一关系拓扑图中，所述n个任务节点分别与所述m个目标数据切片连接；第i个任务节点与第j个目标数据切片之间的连接线关联有：所述第i个任务节点针对所述第j个目标数据切片的至少一个调度成本贡献值，m为大于1的整数，i为小于或等于n的正整数，j为小于或等于m的正整数；根据所述第一关系拓扑图，确定与P个数据切片调度序列一一对应的P个第一数据切片调度方式，其中，所述P个数据切片调度序列均包括所述m个目标数据切片，在不同数据切片调度序列中，所述m个目标数据切片的调度顺序不同，P为正整数；所述第一数据切片调度方式为数据切片调度序列对应的至少两个调度方式中，调度成本最低的数据切片调度方式，所述调度成本基于所述至少一个调度成本贡献值确定；根据所述P个第一数据切片调度方式中的第一目标数据切片调度方式，执行所述m个目标数据切片的调度。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述MapReduce系统待处理的q个数据块，q为大于m的整数；构建所述q个数据块与m个样本数据切片之间的第一拓扑逻辑关系；根据所述第一拓扑逻辑关系，对所述q个数据块进行切片分组，得到R个数据切片组合，所述R个数据切片组合均包括m个测试数据切片，在不同数据切片组合中，至少存在一个测试数据切片包括的数据块不同，R为正整数；根据所述R个数据切片组合分别对应的关系拓扑图，确定与所述R个数据切片组合一一对应的R个第一目标数据切片调度方式；将所述R个第一目标数据切片调度方式中调度成本最低的第一目标数据切片调度方式，确定为第二目标数据切片调度方式；将目标数据切片组合包括的m个测试数据切片，确定为所述m个目标数据切片，所述目标数据切片组合为所述第二目标数据切片调度方式对应的数据切片组合。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一关系拓扑图，确定与P个数据切片调度序列一一对应的P个第一数据切片调度方式，包括：按照第一数据切片调度序列中所述m个目标数据切片从先到后的调度顺序，根据所述第一关系拓扑图，依次确定所述m个目标数据切片分别对应的第二数据切片调度方式，得到m个第二数据切片调度方式，所述第二数据切片调度方式可以为：目标数据切片对应的至少两个数据切片调度方式中，调度成本最低的数据切片调度方式；将所述m个第二数据切片调度方式的集合，确定为与所述第一数据切片调度序列对应的第一数据切片调度方式；其中，所述第一数据切片调度序列为所述P个数据切片调度序列中的任一个数据切片调度序列。4.根据权利要求3所述的方法，其特征在于，所述按照第一数据切片调度序列中所述m个目标数据切片从先到后的调度顺序，根据所述第一关系拓扑图，依次确定所述m个目标数
据切片分别对应的第二数据切片调度方式，得到m个第二数据切片调度方式，包括：从所述第一关系拓扑图中，获取所述n个任务节点中各任务节点针对第一数据切片的所述至少一个调度成本贡献值，所述第一数据切片为所述第一数据切片调度序列中第一个调度的数据切片；根据各任务节点针对第一数据切片的所述至少一个调度成本贡献值，确定各任务节点针对第一数据切片的第一调度成本，得到n个第一调度成本；将所述第一数据切片调度至第一任务节点的方式，确定为所述第一数据切片对应的第二数据切片调度方式，所述第一任务节点为所述n个第一调度成本中最低调度成本对应的任务节点；根据所述第一任务节点针对所述第一数据切片的任务执行预估时间，更新所述第一任务节点的任务执行等待时间。5.根据权利要求3所述的方法，其特征在于，所述按照第一数据切片调度序列中所述m个目标数据切片从先到后的调度顺序，根据所述第一关系拓扑图，依次确定所述m个目...

【专利技术属性】
技术研发人员：马超，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：