一种任务调度方法和装置制造方法及图纸

本发明专利技术公开了一种任务调度方法和装置，涉及系统资源处理技术领域，解决现有技术中调度算法考虑因素较为单一，很难在资源的调度的同时，满足用户的QoS需求的技术问题。其中，该方法包括：接收到客户端提交的需要完成的作业，并将所述作业划分为多个任务，其中，所述作业中包含用户QoS需求的时间费用参数；针对每个任务，确定完成所述任务的调度方案，其中，该确定调度方案的过程具体包括：根据蚂蚁算法查找满足所述任务的至少一条调度路径；根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径。

【技术实现步骤摘要】

本专利技术涉及系统资源处理
，尤其涉及一种任务调度方法和装置。
技术介绍
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念\Map(映射)\和\Reduce(归约)\，是它们的主要思想，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；每个节点会周期性的返回它所完成的工作和最新的状态。系统接收到一个作业(Job)后，自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。在MapReduce中Jobtracker(作业追踪)节点负责不断地监听Jobclient(作业客户端)，等待提交的Job并将其划分为多个Map Tasks和Reduce Tasks。然后根据调度策略通过调度Tasktrackers(任务追踪器)来执行用户提交的Job。合理的调度策略应能够将Jobclient提交的Job与系统中合适的资源映射，综合考虑多种因素满足用户实际QoS(Quality of Service，服务质量)需求并维持系统较高的资源利用率。但是，现有的调度算法考虑因素较为单一，很难在资源的调度的同时，满足用户的QoS需求。
技术实现思路
本专利技术实施例提供一种任务调度方法和装置，用于解决现有技术中调度算法考虑因素较为单一，很难在资源的调度的同时，满足用户的QoS需求的技术
问题。一种任务调度方法，包括：接收到客户端提交的需要完成的作业，并将所述作业划分为多个任务，其中，所述作业中包含用户QoS需求的时间费用参数；针对每个任务，确定完成所述任务的调度方案，其中，该确定调度方案的过程具体包括：根据蚂蚁算法查找满足所述任务的至少一条调度路径；根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径。可选的，该方法还包括：每查找到一条调度路径均统计所述调度路径中运行所述任务所需要的完成时间和完成费用。其中，所述基于所述时间费用参数的QoS约束函数，具体为：con＝a×con_Time+b×con_Charge其中，a为时间参数，b为费用参数，con_Time为时间约束函数，con_Charge为费用约束函数，a+b＝1。可选的，所述时间约束函数是基于所述统计的所述调度路径中完成时间最小、完成时间最大和运行所述调度任务结束所需的时间而得到的。可选的，所述费用约束函数是基于所述统计的所述调度路径中完成费用最小、完成费用最大和运行所述调度任务结束所需的费用而得到的。本专利技术实施例提供的方法中，通过采用根据蚂蚁算法查找满足所述任务的至少一条调度路径；并根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径的技术手段，可以解决现有技术中调度算法考虑因素较为单一，很难在资源的调度的同时，满足用户的QoS需求的技术问题，实现了不仅将用户对Job运行时间、成本的要求作为考虑因素，而且还能满足其实际QoS需求，并且维持各节点负载相对均衡，提高系统资源利用率的技术效果。基于同样的专利技术构思，本专利技术实施例继续提供一种任务调度装置，包括：接收模块，用于接收到客户端提交的需要完成的作业，并将所述作业划分为多个任务；其中，所述作业中包含用户QoS需求的时间费用参数；查找模块，用于针对每个任务，根据蚂蚁算法查找满足所述调度任务的至少一条调度路径；确定模块，用于根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径。可选的，该装置还包括：统计模块，用于每当查找模块查找到一条调度路径均统计所述调度路径中运行所述任务所需要的完成时间和完成费用。可选的，所述基于所述时间费用参数的QoS约束函数，具体为：con＝a×con_Time+b×con_Charge其中，a为时间参数，b为费用参数，con_Time为时间约束函数，con_Charge为费用约束函数，a+b＝1。可选的，所述时间约束函数是基于所述统计的所述调度路径中完成时间最小、完成时间最大和运行所述调度任务结束所需的时间而得到的。可选的，所述费用约束函数是基于所述统计的所述调度路径中完成费用最小、完成费用最大和运行所述调度任务结束所需的费用而得到的。本专利技术实施例提供的转账中，具有根据蚂蚁算法查找满足所述任务的至少一条调度路径；并根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径的功能，可以解决现有技术中调度算法考虑因素较为单一，很难在资源的调度的同时，满足用户的QoS需求的技术问题，实现了不仅将用户对Job运行时间、成本的要求作为考虑因素，而且还能满足其实际QoS需求，并且维持各节点负载相对均衡，提高系统资源利用率的技术效果。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例一提供的一种任务调度方法的流程图；图2为本专利技术实施例二提供的另一种任务调度方法的流程图；图3为本专利技术实施例三提供的一种任务调度装置的结构示意图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。实施例一参见图1，本专利技术实施例提供的一种任务调度方法，该方法包括：101，接收到客户端提交的需要完成的作业，并将所述作业划分为多个任务，其中，所述作业中包含用户QoS需求的时间费用参数；接收客户端提交的作业和划分作业为多个任务的过程均可按照现有技术来执行，不同的时，作业中包含有用户QoS需求的时间费用参数，该时间费用参数是用于对于完成作业的时间和费用的要求，也可以当做是对于每个任务的要求。时间费用参数即是时间因子和费用因子，表示时间和价钱的偏重比，如时间80％，价钱20％，说明用户的QoS需求是希望任务尽快执行，收费高没关系。针对每个任务，确定完成所述任务的调度方案，其中，该确定调度方案的过程具体包括(需要说明的是：本专利技术实施例中提供的调度方案均是以一个任务为单位描述的如何为完成该任务所选择的资源调度方法)：102，针对每个任务，根据蚂蚁算法查找满足所述任务的至少一条调度路径。具体的，该102的实现方式可参照下述实施例二中的201-206。可选的，在102后该方法还可包括：每查找到一条调度路径均统计所述调
度路径中运行所述任务所需要的完成时间和完成费用。1本文档来自技高网...

【技术保护点】
一种任务调度方法，其特征在于，包括：接收到客户端提交的需要完成的作业，并将所述作业划分为多个任务，其中，所述作业中包含用户QoS需求的时间费用参数；针对每个任务，确定完成所述任务的调度方案，其中，该确定调度方案的过程具体包括：根据蚂蚁算法查找满足所述任务的至少一条调度路径；根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径。

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：接收到客户端提交的需要完成的作业，并将所述作业划分为多个任务，其中，所述作业中包含用户QoS需求的时间费用参数；针对每个任务，确定完成所述任务的调度方案，其中，该确定调度方案的过程具体包括：根据蚂蚁算法查找满足所述任务的至少一条调度路径；根据基于所述时间费用参数的QoS约束函数从所述至少一条调度路径中确定出最佳路径。2.根据权利要求1所述的方法，其特征在于，该方法还包括：每查找到一条调度路径均统计所述调度路径中运行所述任务所需要的完成时间和完成费用。3.根据权利要求2所述的方法，其特征在于，所述基于所述时间费用参数的QoS约束函数，具体为：con＝a×con_Time+b×con_Charge其中，a为时间参数，b为费用参数，con_Time为时间约束函数，con_Charge为费用约束函数，a+b＝1。4.根据权利要求3所述的方法，其特征在于，所述时间约束函数是基于所述统计的所述调度路径中完成时间最小、完成时间最大和运行所述调度任务结束所需的时间而得到的。5.根据权利要求3所述的方法，其特征在于，所述费用约束函数是基于所述统计的所述调度路径中完成费用最小、完成费用最大和运行所述调度任务结束所需的费用而得到的。6.一种任...

【专利技术属性】
技术研发人员：周鸣爱，
申请(专利权)人：天脉聚源北京传媒科技有限公司，
类型：发明
国别省市：北京;11