集群任务分配方法、装置和计算机可读介质制造方法及图纸

本发明专利技术涉及一种集群任务分配方法、装置和计算机可读介质，该方法包括：调度服务器向每一个计算服务器发送状态请求报文，并接收每一个计算服务器反馈的运行数据；根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务；根据所述运行数据确定每一个计算服务器当前的负载状况；根据每一个计算服务器当前的负载状况，将确定的各目标任务重新进行分配。本方案能够保证计算服务器能够及时完成任务，给用户进行结果响应。

【技术实现步骤摘要】
集群任务分配方法、装置和计算机可读介质
本专利技术涉及服务器集群
，尤其涉及一种集群任务分配方法、装置和计算机可读介质。
技术介绍
随着计算机及互联网技术的不断发展，业务流量规模及业务逻辑的复杂度也随之发展，为了适应越来越大的业务流量及越加复杂多样的业务逻辑，往往需要利用集群来实现性能扩展以及避免单点故障。在利用集群针对业务逻辑进行任务计算时，需要考虑集群中各计算服务器的负载均衡，然后通过集群中的调度服务器将任务调度给各计算服务器。但是，由于各计算服务器的性能不同，在将任务调度给各计算服务器之后，无法保证计算服务器能否及时完成任务，给用户进行结果响应。鉴于此，针对以上不足，需要提供一种集群任务分配方法、装置和计算机可读介质，以保证及时完成任务给用户进行结果响应。
技术实现思路
本专利技术要解决的技术问题在于如何保证计算服务器能够及时完成任务，给用户进行结果响应，针对现有技术中的缺陷，提供了一种集群任务分配方法、装置和计算机可读介质。为了解决上述技术问题，本专利技术提供了一种集群任务分配方法，所述集群包括调度服务器和多个计算服务器，所述方法应用于调度服务器；所述方法包括：向每一个计算服务器发送状态请求报文，并接收每一个计算服务器反馈的运行数据；根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务；根据所述运行数据确定每一个计算服务器当前的负载状况；根据每一个计算服务器当前的负载状况，将确定的各目标任务重新进行分配。优选地，所述运行数据包括该计算服务器中当前未处理的任务的生成时间戳；所述确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务，包括：针对每一个计算服务器，均执行：针对该计算服务器中每一个当前未处理的任务对应的生成时间戳，分别计算距离当前时间戳的时长，将计算得到的时长确定为该任务的等待处理时长；将所述等待处理时长不小于所述第一设定阈值的任务，确定为该计算服务器中的目标任务。优选地，所述根据每一个计算服务器当前的负载状况，将各目标任务重新进行分配，包括以下步骤：A1：根据各目标任务分别对应的等待处理时长，按照等待处理时长从大到小的顺序将各目标任务进行分组；其中，每一个分组中目标任务对应的最大等待处理时长和最小等待处理时长的间隔时长不大于第二设定阈值；A2：判断当前是否存在未进行分配关联的分组，如果是，执行步骤A3；否则，执行步骤A5；A3：在当前未进行分配关联的各分组中，确定出等待处理时长均比其他分组中的等待处理时长大的目标分组；A4：将所述目标分组中包括的各目标任务逐个与各计算服务器进行分配关联，并在所述目标分组中不存在未被分配关联的目标任务之后，返回执行步骤A2；A5：根据分配关联结果，生成每一个计算服务器对应的关联关系，并将关联关系发送给对应的计算服务器，以使计算服务器根据接收到的关联关系，将自身包括的目标任务按照该关联关系迁移给对应的计算服务器；所述关联关系中包括需迁移的目标任务的标识以及将该目标任务迁移到的计算服务器的地址。优选地，所述负载状况至少包括计算性能；在步骤A4中，所述将所述目标分组中包括的各目标任务逐个与各计算服务器进行分配关联，包括：B1：将各个计算服务器按照计算性能从大到小的顺序排序；B2：判断所述目标分组中是否存在未被分配关联的目标任务，如果是，执行步骤B3；否则，执行步骤A2；B3：确定上一次分配关联完成的计算服务器的计算性能是否最小，如果是，执行步骤B4；否则，执行步骤B5；B4：将存在的未被分配关联的目标任务中等待处理时长最大的目标任务，分配关联给最大计算性能的计算服务器，并执行步骤B2；B5：将存在的未被分配关联的目标任务中等待处理时长最大的目标任务，分配关联给比上一次分配关联完成的计算服务器的计算性能小且与该计算服务器相邻的计算服务器，并执行步骤B2。优选地，所述计算服务器根据接收到的关联关系，将自身包括的目标任务按照该关联关系迁移给对应的计算服务器，包括：在计算服务器根据所述关联关系，确定出自身需要迁移的各目标任务；判断需要迁移的各目标任务中是否存在已处理完成的任务，如果存在，将该已处理完成的任务滤除，将该自身需要迁移的各目标任务中滤除后剩余的目标任务按照所述关联关系迁移给对应的计算服务器。优选地，在所述将确定的各目标任务重新进行分配之后，进一步包括：重新确定每一个计算服务器的负载状况；根据重新确定的每一个计算服务器的负载状况，进行负载均衡调配。优选地，所述负载状况至少包括未处理任务的任务量；所述根据重新确定的每一个计算服务器的负载状况，进行负载均衡调配，包括：C1：确定当前是否存在未进行负载均衡调配的至少两个计算服务器，如果存在，执行步骤C2；否则，执行步骤C4；C2：在当前未进行负载均衡调配的至少两个计算服务器中，确定任务量最大的计算服务器和任务量最小的服务器；C3：将任务量最大的计算服务器向任务量最小的服务器进行任务迁移，并将该任务量最大的计算服务器和该任务量最小的服务器均确定为已进行负载均衡调配的计算服务器，并返回C1；C4：结束负载均衡调配。本专利技术实施例还提供了一种集群任务分配装置，所述集群包括调度服务器和多个计算服务器，所述集群任务分配装置位于所述调度服务器中；包括：通信单元，用于向每一个计算服务器发送状态请求报文，并接收每一个计算服务器反馈的运行数据；目标任务确定单元，用于根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务；负载状况确定单元，用于根据所述运行数据确定每一个计算服务器当前的负载状况；任务重分配单元，用于根据每一个计算服务器当前的负载状况，将确定的各目标任务重新进行分配。本专利技术还提供了一种集群任务分配装置，包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行上述第一方面或第一方面的任一可能的实现方式所提供的集群任务分配方法。本专利技术还提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面或第一方面的任一可能的实现方式所提供的集群任务分配方法。本专利技术实施例所提供的一种集群任务分配方法、装置和计算机可读介质，调度服务器通过向每一个计算服务器发送状态请求报文，以接收每一个计算服务器反馈的运行数据，根据运行数据可以确定出每一个计算服务器中等待处理时长达到一个设定阈值的目标任务，该目标任务即为分配给计算服务器但尚未被处理，且等待处理时长较长的任务，因此，可以根据运行数据确定每一个计算服务器当前的负载状况，以对各目标任务重新进行分配。本方案能够保证计算服务器能够及时完成任务，给用户进行结果响应。附本文档来自技高网...

【技术保护点】
1.一种集群任务分配方法，其特征在于，所述集群包括调度服务器和多个计算服务器，所述方法应用于调度服务器；所述方法包括：/n向每一个计算服务器发送状态请求报文，并接收每一个计算服务器反馈的运行数据；/n根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务；/n根据所述运行数据确定每一个计算服务器当前的负载状况；/n根据每一个计算服务器当前的负载状况，将确定的各目标任务重新进行分配。/n

【技术特征摘要】
1.一种集群任务分配方法，其特征在于，所述集群包括调度服务器和多个计算服务器，所述方法应用于调度服务器；所述方法包括：
向每一个计算服务器发送状态请求报文，并接收每一个计算服务器反馈的运行数据；
根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务；
根据所述运行数据确定每一个计算服务器当前的负载状况；
根据每一个计算服务器当前的负载状况，将确定的各目标任务重新进行分配。


2.根据权利要求1所述的方法，其特征在于，所述运行数据包括该计算服务器中当前未处理的任务的生成时间戳；
所述确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务，包括：
针对每一个计算服务器，均执行：
针对该计算服务器中每一个当前未处理的任务对应的生成时间戳，分别计算距离当前时间戳的时长，将计算得到的时长确定为该任务的等待处理时长；
将所述等待处理时长不小于所述第一设定阈值的任务，确定为该计算服务器中的目标任务。


3.根据权利要求1所述的方法，其特征在于，所述根据每一个计算服务器当前的负载状况，将各目标任务重新进行分配，包括以下步骤：
A1：根据各目标任务分别对应的等待处理时长，按照等待处理时长从大到小的顺序将各目标任务进行分组；其中，每一个分组中目标任务对应的最大等待处理时长和最小等待处理时长的间隔时长不大于第二设定阈值；
A2：判断当前是否存在未进行分配关联的分组，如果是，执行步骤A3；否则，执行步骤A5；
A3：在当前未进行分配关联的各分组中，确定出等待处理时长均比其他分组中的等待处理时长大的目标分组；
A4：将所述目标分组中包括的各目标任务逐个与各计算服务器进行分配关联，并在所述目标分组中不存在未被分配关联的目标任务之后，返回执行步骤A2；
A5：根据分配关联结果，生成每一个计算服务器对应的关联关系，并将关联关系发送给对应的计算服务器，以使计算服务器根据接收到的关联关系，将自身包括的目标任务按照该关联关系迁移给对应的计算服务器；所述关联关系中包括需迁移的目标任务的标识以及将该目标任务迁移到的计算服务器的地址。


4.根据权利要求3所述的方法，其特征在于，
所述负载状况至少包括计算性能；
在步骤A4中，所述将所述目标分组中包括的各目标任务逐个与各计算服务器进行分配关联，包括：
B1：将各个计算服务器按照计算性能从大到小的顺序排序；
B2：判断所述目标分组中是否存在未被分配关联的目标任务，如果是，执行步骤B3；否则，执行步骤A2；
B3：确定上一次分配关联完成的计算服务器的计算性能是否最小，如果是，执行步骤B4；否则，执行步骤B5；
B4：将存在的未被分配关联的目标任务中等待处理时长最大的目标任务，分配关联给最大计算性能的...

【专利技术属性】
技术研发人员：王嘉诚，张少仲，
申请(专利权)人：神威超算北京科技有限公司，
类型：发明
国别省市：北京;11