【技术实现步骤摘要】
任务处理方法及任务处理系统
[0001]本申请属于数据处理
,尤其涉及一种任务处理方法及任务处理系统。
技术介绍
[0002]金融机构中广泛存在批量任务(也就是批处理任务)。例如:金融机构在每次切日后的封账期间,需要针对海量的用户执行息费计算、息费结息、生成账单等批量任务。目前,主要采用单机部署的方式处理批量任务,该方式存在处理速度较慢、执行时间较长的问题,也就是说,针对批量任务存在处理效率较低的问题。
技术实现思路
[0003]有鉴于此,本申请的目的在于提供一种任务处理方法及任务处理系统,以提高针对批量任务的处理效率。
[0004]为实现上述目的,本申请提供如下技术方案:第一方面,本申请提供一种任务处理方法,任务处理系统包括任务调度主机和多个任务执行机,所述任务处理方法包括:在满足预设条件的情况下,所述任务调度主机启动针对目标批量任务的任务调度服务,其中,所述目标批量任务由多个子任务构成;所述任务调度主机确定出执行所述目标批量任务的多个目标任务执行机;所述任务调度主机向所述多个目标任务执行机发送调度任务;所述多个目标任务执行机响应所述调度任务,并行执行:获取目标子任务对应的第一数据标识集合,基于所述第一数据标识集合生成第二数据标识集合,其中,将所述多个子任务中的各个子任务依次作为目标子任务,所述第二数据标识集合中的数据标识为所述第一数据标识集合中的数据标识的一部分,所述第一数据标识集合中任意一个数据标识仅属于一个所述第二数据标识集合;将所述目标子任务划分为多个任务分片,基于所述第二数据 ...
【技术保护点】
【技术特征摘要】
1.一种任务处理方法,其特征在于,任务处理系统包括任务调度主机和多个任务执行机,所述任务处理方法包括:在满足预设条件的情况下,所述任务调度主机启动针对目标批量任务的任务调度服务,其中,所述目标批量任务由多个子任务构成;所述任务调度主机确定出执行所述目标批量任务的多个目标任务执行机;所述任务调度主机向所述多个目标任务执行机发送调度任务;所述多个目标任务执行机响应所述调度任务,并行执行:获取目标子任务对应的第一数据标识集合,基于所述第一数据标识集合生成第二数据标识集合,其中,将所述多个子任务中的各个子任务依次作为目标子任务,所述第二数据标识集合中的数据标识为所述第一数据标识集合中的数据标识的一部分,所述第一数据标识集合中任意一个数据标识仅属于一个所述第二数据标识集合;将所述目标子任务划分为多个任务分片,基于所述第二数据标识集合生成每个任务分片的第三数据标识集合,所述第三数据标识集合中的数据标识为所述第二数据标识集合中的数据标识的一部分,所述第二数据标识集合中任意一个数据标识仅属于一个所述任务分片的第三数据标识集合;基于多线程机制执行所述多个任务分片,其中,在执行任意一个任务分片的过程中,基于所述任务分片的第三数据标识集合获取业务数据,针对每条业务数据进行处理,生成执行结果;在所述多个任务分片完成执行后,对所述执行结果进行合并。2.根据权利要求1所述的任务处理方法,其特征在于,所述任务处理系统中的任务执行机配置有执行组名称,并且所述任务调度主机存储有所述任务执行机的执行组名称;所述任务调度主机确定出执行所述目标批量任务的多个目标任务执行机,包括:所述任务调度主机获得所述目标批量任务的调度配置信息,所述调度配置信息包括目标执行组名称;所述任务调度主机将具有所述目标执行组名称的任务执行机确定为备选任务执行机;所述任务调度主机确定所述备选任务执行机的状态,将处于存活状态的备选任务执行机确定为目标任务执行机。3.根据权利要求2所述的任务处理方法,其特征在于,还包括:所述任务执行机向所述任务调度主机发送注册请求,所述注册请求包括所述任务执行机的执行组名称和网际互连协议地址;所述任务调度主机保存所述任务执行机的执行组名称和网际互连协议地址。4.根据权利要求3所述的任务处理方法,其特征在于,所述任务调度主机保存所述任务执行机的执行组名称和网际互连协议地址,包括:所述任务调度主机将具有相同执行组名称的任务执行机的网际互连协议地址保存于同一个地址集合中,且以所述执行组名称作为所述地址集合的标识。5.根据权利要求1所述的任务处理方法,其特征在于,所述基于所述第一数据标识集合生成第二数据标识集合,包括:确定出所述第一数据标识集合中每个数据标识的取模序号,其中,所述数据标识的取模序号为:所述数据标识的哈希值与所述目标任务执行机的数量的取模运算的结果;基于所述目标任务执行机的机器序号和所述第一数据标识集合中各个数据标识的取模序号,生成所述目标任务执行机的第二数据标识集合,其中,所述目标任务执行机的第二数据标识集合包含的数据标识的取模序号均为所述目标任务执行机的机器序...
【专利技术属性】
技术研发人员:王亚威,吕红豆,郭赛,
申请(专利权)人:中信消费金融有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。