一种任务调度方法、系统、计算设备和存储介质技术方案

本发明专利技术公开了一种任务调度方法、系统、计算设备和存储介质，该方法包括：多个任务处理节点向调度节点发送注册请求；调度节点查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；调度节点获取待执行任务对应的待处理数据，根据待处理数据的数量和节点注册信息拆分待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。本发明专利技术通过调度节点将待执行任务动态调度多个任务处理节点，通过多个任务处理节点并发处理数据，避免多个任务处理节点之间竞争处理任务或重复处理任务的情况发生，从而大大提高数据处理的效率，提高大批量数据处理的效率和健壮性。提高大批量数据处理的效率和健壮性。提高大批量数据处理的效率和健壮性。

【技术实现步骤摘要】
一种任务调度方法、系统、计算设备和存储介质


[0001]本专利技术涉及数据处理
，具体涉及一种任务调度方法、系统、计算设备和存储介质。

技术介绍

[0002]在云运维平台建设过程中，需要对各种云资源、进程、服务等组件实例进行实时的采集和监控，随着云平台资源规模、技术服务数量以及客户规模越来越庞大，需要采集和监控的数据规模也呈指数级增长。现有技术中对于大规模数据进行采集时，采用定时任务的方式进行数据同步和比对，常用的方法一般有两种：第一种是定时任务部署在单个节点上，逐条对数据进行处理；第二种是定时任务部署在多个节点上，处理完一条数据后打上相应的标识，采用第二种方法每次处理数据前，需判断数据是否已被处理过。
[0003]然而，针对第一种方法，当待处理数据量比较大时，速度会比较慢，效率较低，同时处理过程中存在单节点故障风险，不具备高可用性；针对第二种方法，每次处理数据前，都需要先校验数据是否已被处理，而且存在多个节点同时查询一条未处理的数据的情况，有可能导致一条数据被多个节点同时处理的情况。

技术实现思路
r/>[0004]鉴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：多个任务处理节点向调度节点发送注册请求；所述调度节点根据所述注册请求查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；所述调度节点获取所述待执行任务对应的待处理数据，根据所述待处理数据的数量和所述节点注册信息拆分所述待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。2.根据权利要求1所述的方法，其特征在于，所述多个任务处理节点向调度节点发送注册请求进一步包括：多个任务处理节点按照预设执行周期进行唤醒，并随机地生成对应的节点识别码；针对每个任务处理节点，判断该任务处理节点对应的节点识别码是否有效；若无效，则重新生成对应的节点识别码；若有效，则向调度节点发送携带有所述节点识别码的注册请求。3.根据权利要求1所述的方法，其特征在于，在对多个任务处理节点进行注册之后，所述方法还包括：所述调度节点将所述待执行任务的任务标识写入至任务处理信息表中。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：多个任务处理节点获取所述调度节点所分配的待处理数据，对所述待处理数据进行处理，并实时更新所述待处理数据的处理状态。5.根据权利要求4所述的方法，其特征在于，所述多个任务处理节点获取所述调度节点所分配的待处理数据，对所述待处理数据进行处理，并实时更新所述待处理数据的处理状态进一步包括：多个任务处理节点从目标数据表中获取所述调度节点所分配的待处理数据，并逐条处理所述待处理数据；实时记录并更新所述待处理数据的处理时间和处理结果，并在处理完所有的待处理数据之后，将所述处理结果上报至所述调度节点，以供所述调度节点根据所述处理结果更新任务处理信息表中的任务处理状态。6.根据权利要求1-5任一项中所述的方法，其特...

【专利技术属性】
技术研发人员：李志勇，陈挺，顾黎斌，丁强，赵华锋，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：