一种基于分区的任务调度方法、装置、服务器及介质制造方法及图纸

本申请提供了一种基于分区的任务调度方法、装置、服务器及介质，可应用于分布式领域或金融领域，该方法包括：获取待处理数据；根据目标分区类型，对待处理数据进行分区，获得多个任务单元，其中，任务单元包括多条待处理数据，目标分区类型为多种候选分区类型中的一种；将多个任务单元分别分配至多个节点，以使多个节点分别处理多个任务单元中的待处理数据。该方法能够实现任务、节点的双层调度，提升任务调度的灵活性。度的灵活性。度的灵活性。

【技术实现步骤摘要】
一种基于分区的任务调度方法、装置、服务器及介质


[0001]本申请涉及分布式领域，尤其涉及一种基于分区的任务调度方法、装置、服务器及介质。

技术介绍

[0002]任务调度是指系统为了自动完成特定任务，在约定的特定时刻去执行任务的过程。任务调度可以应用于多种场景，例如，任务调度可以应用于电商系统在每天上午10点发放优惠券、银行系统在用户信用卡还款日的前三天进行短信提醒、财务系统在每天0点10分结算财务数据等不同的场景。
[0003]通常情况下，可以采用单节点或多节点处理任务，从而实现任务调度。然而，采用单节点处理任务难以具备高可用特性，采用多节点处理任务仅能实现单层调度，即任务调度或节点调度。
[0004]业界亟需一种支持同时对节点、任务进行调度，从而使得任务调度更为灵活的方法。

技术实现思路

[0005]本申请提供了一种基于分区的任务调度方法，该方法能够实现节点和任务的双层调度，提升任务调度的灵活性。本申请还提供了上述方法对应的装置、服务器及介质。
[0006]第一方面，本申请提供了一种基于分区的任务调度方法。所述方法包括：
[0007]获取待处理数据；
[0008]根据目标分区类型，对所述待处理数据进行分区，获得多个任务单元，所述任务单元包括多条待处理数据，所述目标分区类型为多种候选分区类型中的一种；
[0009]将所述多个任务单元分别分配至多个节点，以使所述多个节点分别处理所述多个任务单元中的待处理数据。
[0010]在一些可能的实现方式中，所述根据目标分区类型，对所述待处理数据进行分区，获得多个任务单元，包括：
[0011]根据目标分区类型，确定分区规则，所述分区规则与所述目标分区类型对应；
[0012]根据所述分区规则，对所述待处理数据进行分区，获得多个任务单元。
[0013]在一些可能的实现方式中，所述方法还包括：
[0014]以设定的时间间隔，获取所述多个节点的已处理数据；
[0015]根据所述多个节点的已处理数据和所述多个任务单元包括的多条待处理数据，确定所述多个节点的任务处理进度；
[0016]当所述任务处理进度满足设定条件，将所述满足设定条件的节点处理的任务单元进行重新分区。
[0017]在一些可能的实现方式中，所述将所述多个任务单元分别分配至多个节点，以使所述多个节点分别处理所述多个任务单元中的待处理数据，包括：
[0018]查询节点列表，获取多个空闲节点；
[0019]根据设定的调度策略，将所述多个任务单元分别分配至所述多个空闲节点，以使所述多个空闲节点分别处理所述多个任务单元中的待处理数据。
[0020]在一些可能的实现方式中，所述方法还包括：
[0021]响应于节点上线和/或节点下线，更新所述节点列表。
[0022]在一些可能的实现方式中，所述获取待处理数据，包括：
[0023]从多个业务系统中获取业务数据；
[0024]将所述业务数据确定为待处理数据。
[0025]在一些可能的实现方式中，所述候选分区类型包括：哈希分区、列表分区和范围分区中的一种或多种。
[0026]第二方面，本申请提供了一种基于分区的任务调度装置。所述装置包括：
[0027]获取模块，用于获取待处理数据；
[0028]分区模块，用于根据目标分区类型，对所述待处理数据进行分区，获得多个任务单元，所述任务单元包括多条待处理数据，所述目标分区类型为多种候选分区类型中的一种；
[0029]调度模块，用于将所述多个任务单元分别分配至多个节点，以使所述多个节点分别处理所述多个任务单元中的待处理数据。
[0030]在一些可能的实现方式中，所述分区模块具体用于：
[0031]根据目标分区类型，确定分区规则，所述分区规则与所述目标分区类型对应；
[0032]根据所述分区规则，对所述待处理数据进行分区，获得多个任务单元。
[0033]在一些可能的实现方式中，所述装置还包括：重新分区模块，所述重新分区模块，用于：
[0034]以设定的时间间隔，获取所述多个节点的已处理数据；
[0035]根据所述多个节点的已处理数据和所述多个任务单元包括的多条待处理数据，确定所述多个节点的任务处理进度；
[0036]当所述任务处理进度满足设定条件，将所述满足设定条件的节点处理的任务单元进行重新分区。
[0037]在一些可能的实现方式中，所述调度模块具体用于：
[0038]查询节点列表，获取多个空闲节点；
[0039]根据设定的调度策略，将所述多个任务单元分别分配至所述多个空闲节点，以使所述多个空闲节点分别处理所述多个任务单元中的待处理数据。
[0040]在一些可能的实现方式中，所述装置还包括：更新模块，所述更新模块，用于：
[0041]响应于节点上线和/或节点下线，更新所述节点列表。
[0042]在一些可能的实现方式中，所述获取模块具体用于：
[0043]从多个业务系统中获取业务数据；
[0044]将所述业务数据确定为待处理数据。
[0045]在一些可能的实现方式中，所述候选分区类型包括：哈希分区、列表分区和范围分区中的一种或多种。
[0046]第三方面，本申请提供了一种服务器。所述服务器包括处理器和存储器，所述存储器中存储有指令，所述处理器执行所述指令，以使所述服务器执行如本申请第一方面或第
一方面的任一种实现方式所述的方法。
[0047]第四方面，本申请提供了一种计算机可读存储介质。所述计算机可读存储介质中存储有指令，当其在服务器上运行时，使得服务器执行上述第一方面或第一方面的任一种实现方式所述的方法。
[0048]本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
[0049]基于上述内容描述，可知本申请的技术方案具有如下有益效果：
[0050]具体地，该方法首先获取待处理数据，根据目标分区类型，对待处理数据进行分区，获得多个任务单元，其中，任务单元包括多条待处理数据，目标分区类型为多种候选分区类型中的一种，接着将多个任务单元分别分配至多个节点，以使多个节点分别处理多个任务单元中的待处理数据。
[0051]该方法支持多种分区类型，能够根据待处理数据的业务逻辑进行分区，通过将待处理数据进行分区，以分区后获得的任务单元为单位进行任务调度，如此，实现任务、节点的双层调度，提升任务调度的灵活性。
附图说明
[0052]结合附图并参考以下具体实施方式，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0053]图1为本申请实施例提供的一种任务调度装置的架构示意图；
[0054]图2为本申请实施例提供的一种基于分区的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分区的任务调度方法，其特征在于，所述方法包括：获取待处理数据；根据目标分区类型，对所述待处理数据进行分区，获得多个任务单元，所述任务单元包括多条待处理数据，所述目标分区类型为多种候选分区类型中的一种；将所述多个任务单元分别分配至多个节点，以使所述多个节点分别处理所述多个任务单元中的待处理数据。2.根据权利要求1所述的方法，其特征在于，所述根据目标分区类型，对所述待处理数据进行分区，获得多个任务单元，包括：根据目标分区类型，确定分区规则，所述分区规则与所述目标分区类型对应；根据所述分区规则，对所述待处理数据进行分区，获得多个任务单元。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：以设定的时间间隔，获取所述多个节点的已处理数据；根据所述多个节点的已处理数据和所述多个任务单元包括的多条待处理数据，确定所述多个节点的任务处理进度；当所述任务处理进度满足设定条件，将所述满足设定条件的节点处理的任务单元进行重新分区。4.根据权利要求1所述的方法，其特征在于，所述将所述多个任务单元分别分配至多个节点，以使所述多个节点分别处理所述多个任务单元中的待处理数据，包括：查询节点列表，获取多个空闲节点；根据设定的调度策略，将所述多个任务单元分别分配至所述多个空闲节点，以...

【专利技术属性】
技术研发人员：熊茜，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：