数据跑批系统、方法、电子设备和存储介质技术方案

本申请涉及一种数据跑批系统、方法、电子设备和存储介质，应用于数据处理技术领域，其中，系统包括：调度中心集群，用于在跑批任务被触发后，从存储层获取跑批任务对应的任务数据，将任务数据拆分为多个任务分片，并将任务分片保存至消息队列；消息队列，用于存放任务分片；工作节点集群包括至少一个工作节点，各工作节点用于拉取消息队列中的任务分片，并调用预设的业务接口执行任务分片。解决现有技术中，大批量任务执行时采用单线程执行，导致任务执行速度较慢，任务执行时间较长、效率低；并且，若节点发生故障，会影响该节点下所有任务的执行，该节点上所执行的任务也会全部失败，造成了系统资源浪费的问题。

【技术实现步骤摘要】
数据跑批系统、方法、电子设备和存储介质
本申请涉及数据处理
，尤其涉及一种数据跑批系统、方法、电子设备和存储介质。
技术介绍
目前，涉及大批量数据处理时，主要采用单机部署处理的方式。随着业务的发展，数据规模的增大，单机部署的跑批方案存在以下问题：大批量任务执行时采用单线程执行，导致任务执行速度较慢，任务执行时间较长、效率低；并且，若节点发生故障，会影响该节点下所有任务的执行，该节点上所执行的任务也会全部失败，造成了系统资源的浪费。
技术实现思路
本申请提供了一种数据跑批系统、方法、电子设备和存储介质，用以解决现有技术中，大批量任务执行时采用单线程执行，导致任务执行速度较慢，任务执行时间较长、效率低；并且，若节点发生故障，会影响该节点下所有任务的执行，该节点上所执行的任务也会全部失败，造成了系统资源浪费的问题。第一方面，本申请实施例提供了一种数据跑批系统，包括：存储层、调度中心集群、消息队列和工作节点集群；所述调度中心集群，用于在跑批任务被触发后，从所述存储层获取所述跑批任务对应的任务数据，将所述本文档来自技高网...

【技术保护点】
1.一种数据跑批系统，其特征在于，包括：存储层、调度中心集群、消息队列和工作节点集群；/n所述调度中心集群，用于在跑批任务被触发后，从所述存储层获取所述跑批任务对应的任务数据，将所述任务数据拆分为多个任务分片，并将所述任务分片保存至所述消息队列；/n所述消息队列，用于存放所述任务分片；/n所述工作节点集群包括至少一个工作节点，各所述工作节点用于拉取所述消息队列中的所述任务分片，并调用预设的业务接口执行所述任务分片。/n

【技术特征摘要】
1.一种数据跑批系统，其特征在于，包括：存储层、调度中心集群、消息队列和工作节点集群；
所述调度中心集群，用于在跑批任务被触发后，从所述存储层获取所述跑批任务对应的任务数据，将所述任务数据拆分为多个任务分片，并将所述任务分片保存至所述消息队列；
所述消息队列，用于存放所述任务分片；
所述工作节点集群包括至少一个工作节点，各所述工作节点用于拉取所述消息队列中的所述任务分片，并调用预设的业务接口执行所述任务分片。


2.根据权利要求1所述的数据跑批系统，其特征在于，所述工作节点，还用于：
在所述调用预设的业务接口执行所述任务分片之前，检测所述任务分片的执行是否超时或中断；
若是，终止对所述任务分片的执行。


3.根据权利要求2所述的数据跑批系统，其特征在于，所述工作节点，还用于：
终止对所述任务分片的执行之后，记录所述任务分片的执行状态数据，并将所述执行状态数据保存至所述存储层。


4.根据权利要求3所述的数据跑批系统，其特征在于，所述存储层包括第一存储器和第二存储器；
所述第一存储器用于存储所述任务数据；
所述第二存储器用于存储所述执行状态数据。


5.根据权利要求3或4所述的数据跑批系统，其特征在于，所述执行状态数据包括执行失败信息和执行成功信息；
所述调度中心集群，还用于从所述存储层获取重试任务分片，并将所述重试任务分片重新发送至所述消息队列，所述重试任务分片为所述执行失败信息对应的任务分片；
所述工作节点，还用于从所述消息队列中，拉取所述重试任务分片，并调用所述预设的业务接口执行所述重试任务分片。


6.根据权利要求5所述的数据跑批系统，其特征在于，所述任务数据包括所述任务数据的主键信息；
所述工作节点，用于根据所述主键信息，判断所述重试任务分片中的任务数据是否需要重试，得到判断结果；
若所述判断结果为否，调用所述预设的业务接口执行所述主键信息...

【专利技术属性】
技术研发人员：王伟，贾晶晶，王贝贝，孙春龙，丛琳，
申请(专利权)人：京东数字科技控股股份有限公司，
类型：发明
国别省市：北京;11