一种基于数据处理的任务调度方法及相关设备技术

本发明专利技术实施例公开了一种基于数据处理的任务调度方法及相关设备，所述方法应用于数据处理技术领域，包括：当检测到系统时间为目标定时任务对应的执行时间时，获取各个执行服务器的负载排序结果，并确定目标定时任务的任务类型。若任务类型为单机任务，则根据负载排序结果从各个执行服务器中确定出排序第一的第一目标执行服务器，并将目标定时任务调度至第一目标执行服务器；若任务类型为分布式任务，则确定目标定时任务对应的实例数量m，并根据负载排序结果从各个执行服务器中确定出排序前m的第二目标执行服务器，将目标定时任务调度至该第二目标执行服务器。采用本发明专利技术，有利于提高任务的调度效率。

A Task Scheduling Method Based on Data Processing and Related Equipment

【技术实现步骤摘要】
一种基于数据处理的任务调度方法及相关设备
本专利技术涉及数据处理
，尤其涉及一种基于数据处理的任务调度方法及相关设备。
技术介绍
计算机集群是一种计算机系统，其通过多台计算机(又称为节点)连接起来协作完成计算作业。这些节点位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。将计算机集群上的作业任务分配到多个节点上的过程可以称为任务的调度。目前，传统的任务调度引擎一般是根据任务的先来后到顺序执行，单纯的采用资源抢占，先到先得，任务调度效率低。
技术实现思路
本专利技术实施例提供了一种基于数据处理的任务调度方法及相关设备，有利于提高任务的调度效率。第一方面，本专利技术实施例提供了一种基于数据处理的任务调度方法，所述方法应用于调度服务器集群，该方法包括：当检测到系统时间为目标定时任务对应的执行时间时，从存储装置中获取预先存储的各个执行服务器的负载排序结果，所述目标定时任务为预先配置的至少一个定时任务中的任一个，所述负载排序结果是按照所述各个执行服务器的负载率由小到大的顺序进行排序得到，所述负载率是根据所述各个执行服务器的资源占用度信息得到；基于所述目标定时任务的任务信息确定所述目标定时任务的任务类型；若所述任务类型为单机任务，则根据所述负载排序结果从所述各个执行服务器中确定出排序第一的第一目标执行服务器，并将所述目标定时任务调度至所述第一目标执行服务器；若所述任务类型为分布式任务，则确定所述目标定时任务对应的实例数量m，并根据所述负载排序结果从所述各个执行服务器中确定出排序前m的第二目标执行服务器，将所述目标定时任务调度至所述第二目标执行服务器，所述m为大于0的整数。在一个实施例中，还可以按照预设时间间隔获取各个执行服务器通过心跳信息上报的所述各个执行服务器的资源占用度信息，所述资源占用度信息包括以下至少一种：内存信息、CPU利用率和磁盘输入/输出速率；根据预先配置的负载率算法和所述资源占用度信息，确定所述各个执行服务器各自对应的负载率；按照负载率由小到大的顺序对所述各个执行服务器进行排序，得到所述各个执行服务器的负载排序结果，并将所述负载排序结果存储至存储装置中。在一个实施例中，将所述目标定时任务调度至所述第一目标执行服务器之前，还可以向所述第一目标执行服务器发送询问信息；若在预设时间内接收到所述第一目标执行服务器针对所述询问信息的响应信息，则触发执行所述将所述目标定时任务调度至所述第一目标执行服务器的步骤。在一个实施例中，将所述目标定时任务调度至所述第一目标执行服务器之前，还可以获取所述第一目标执行服务器的资源占用度信息，并根据所述负载率算法和所述第一目标执行服务器的资源占用度信息，确定出所述第一目标执行服务器在系统时间下的负载率；当所述在系统时间下的负载率小于预设负载率阈值时，触发执行所述将所述目标定时任务调度至所述第一目标执行服务器的步骤。在一个实施例中，根据所述负载排序结果从所述各个执行服务器中确定出排序第一的第一目标执行服务器之后，还可以检测所述第一目标执行服务器中是否运行有与所述目标定时任务相同的定时任务；其中，所述将所述目标定时任务调度至所述第一目标执行服务器的具体实施方式为：若检测到所述第一目标执行服务器中运行有所述与所述目标定时任务相同的定时任务，则识别所述目标定时任务对应的预设调度策略标识；从至少一个预设调度策略中查找到所述预设调度策略标识对应的目标预设调度策略，并根据所述目标预设调度策略对所述目标定时任务进行调度。在一个实施例中，目标预设调度策略为覆盖策略，所述根据所述目标预设调度策略对所述目标定时任务进行调度的具体实施方式为：删除所述第一目标执行服务器中正在运行的所述与所述目标定时任务相同的定时任务，并将所述目标定时任务调度至所述第一目标执行服务器，以便于所述第一目标执行服务器执行所述目标定时任务。在一个实施例中，目标预设调度策略为排队等待策略，所述根据所述目标预设调度策略对所述目标定时任务进行调度的具体实施方式为：检测所述与所述目标定时任务相同的定时任务是否执行完成；若检测到所述与所述目标定时任务相同的定时任务执行完成，则将所述目标定时任务调度至所述第一目标执行服务器。第二方面，本专利技术实施例提供了一种基于数据处理的任务调度装置，该基于数据处理的任务调度装置包括用于执行上述第一方面的方法的模块。第三方面，本专利技术实施例提供了一种服务器，该服务器包括处理器、网络接口和存储器，所述处理器、网络接口和存储器相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。本专利技术实施例中，当检测到系统时间为目标定时任务对应的执行时间时，获取各个执行服务器的负载排序结果，并确定目标定时任务的任务类型。若任务类型为单机任务，则根据负载排序结果从各个执行服务器中确定出排序第一的第一目标执行服务器，并将目标定时任务调度至第一目标执行服务器；若任务类型为分布式任务，则确定目标定时任务对应的实例数量m，并根据负载排序结果从各个执行服务器中确定出排序前m的第二目标执行服务器，将目标定时任务调度至所述第二目标执行服务器。采用本专利技术，有利于提高任务的调度效率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种任务调度系统的结构示意图；图2是本专利技术实施例提供的一种基于数据处理的任务调度方法的流程示意图；图3是本专利技术实施例提供的另一种基于数据处理的任务调度方法的流程示意图；图4是本专利技术实施例提供的一种基于数据处理的任务调度装置的示意性框图；图5是本专利技术实施例提供的一种服务器的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1，是本专利技术实施例提供的一种基于数据处理的任务调度系统的结构示意图，该任务调度系统用于对任务进行调度。如图1所示，该任务调度系统可包括：调度服务器集群10和至少一个执行服务器11。其中，调度服务器集群10包括至少一个调度服务器，可以用于将定时任务调度至各执行服务器11执行；执行服务器11可以用于执行调度服务器集群调度的定时任务，并按照预设时间间隔通过心跳信息向调度服务器集群10上报自身的资源占用度信息，该资源占用度信息包括以下至少一种：内存信息、CPU利用率和磁盘I/O速率。在一个实施例中，当调度服务器集群10检测到系统时间为目标定时任务对应的执行时间时，从存储装置中获取预先存储的各个执行服务器11的负载排序结果本文档来自技高网...

【技术保护点】
1.一种基于数据处理的任务调度方法，其特征在于，所述方法应用于调度服务器集群，所述方法包括：当检测到系统时间为目标定时任务对应的执行时间时，从存储装置中获取预先存储的各个执行服务器的负载排序结果，所述目标定时任务为预先配置的至少一个定时任务中的任一个，所述负载排序结果是按照所述各个执行服务器的负载率由小到大的顺序进行排序得到，所述负载率是根据所述各个执行服务器的资源占用度信息得到；基于所述目标定时任务的任务信息确定所述目标定时任务的任务类型；若所述任务类型为单机任务，则根据所述负载排序结果从所述各个执行服务器中确定出排序第一的第一目标执行服务器，并将所述目标定时任务调度至所述第一目标执行服务器；若所述任务类型为分布式任务，则确定所述目标定时任务对应的实例数量m，并根据所述负载排序结果从所述各个执行服务器中确定出排序前m的第二目标执行服务器，将所述目标定时任务调度至所述第二目标执行服务器，所述m为大于0的整数。

【技术特征摘要】
1.一种基于数据处理的任务调度方法，其特征在于，所述方法应用于调度服务器集群，所述方法包括：当检测到系统时间为目标定时任务对应的执行时间时，从存储装置中获取预先存储的各个执行服务器的负载排序结果，所述目标定时任务为预先配置的至少一个定时任务中的任一个，所述负载排序结果是按照所述各个执行服务器的负载率由小到大的顺序进行排序得到，所述负载率是根据所述各个执行服务器的资源占用度信息得到；基于所述目标定时任务的任务信息确定所述目标定时任务的任务类型；若所述任务类型为单机任务，则根据所述负载排序结果从所述各个执行服务器中确定出排序第一的第一目标执行服务器，并将所述目标定时任务调度至所述第一目标执行服务器；若所述任务类型为分布式任务，则确定所述目标定时任务对应的实例数量m，并根据所述负载排序结果从所述各个执行服务器中确定出排序前m的第二目标执行服务器，将所述目标定时任务调度至所述第二目标执行服务器，所述m为大于0的整数。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：按照预设时间间隔获取各个执行服务器通过心跳信息上报的所述各个执行服务器的资源占用度信息，所述资源占用度信息包括以下至少一种：内存信息、CPU利用率和磁盘输入/输出速率；根据预先配置的负载率算法和所述资源占用度信息，确定所述各个执行服务器各自对应的负载率；按照负载率由小到大的顺序对所述各个执行服务器进行排序，得到所述各个执行服务器的负载排序结果，并将所述负载排序结果存储至存储装置中。3.根据权利要求1或2所述的方法，其特征在于，所述将所述目标定时任务调度至所述第一目标执行服务器之前，所述方法还包括：向所述第一目标执行服务器发送询问信息；若在预设时间内接收到所述第一目标执行服务器针对所述询问信息的响应信息，则触发执行所述将所述目标定时任务调度至所述第一目标执行服务器的步骤。4.根据权利要求2所述的方法，其特征在于，所述将所述目标定时任务调度至所述第一目标执行服务器之前，所述方法还包括：获取所述第一目标执行服务器的资源占用度信息，并根据所述负载率算法和所述第一目标执行服务器的资源占用度信息，确定出所述第一目标执行服务器在系统时间下的负载率；当所述在系统时间下的负载率小于预设负载率阈值时，触发执行所述将所述目标定时任务调度至所述第一目标执行服务器的步骤。5.根据权利要求1所述的方法，其特征在于，所述根据所述负载排序结果从所述各个执行服务器中确定出排序第一的第一目标执行服务器之后，所述方法还包括：检测所述第一目标执行服务器中是否运行有与所述目标定时任务相同的定时任务；其中，所述将所述目标定时任务调度至所述第一目标执行服务...

【专利技术属性】
技术研发人员：邓彪，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东,44