System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及信用卡管理,具体而言,涉及一种信用卡分布式调度平台及调度方法。
技术介绍
1、在企业生产中,需要处理海量的业务数据,例如,银行业务经常需要进行批量作业,如进行银行的日终跑批、年终决算等批量作业。对于海量的业务处理,冗余设计则为系统的稳定性以及业务的连续性提供一定的支撑。
2、现有调度系统实现方法通常包括集中式调度或者基于zookeeper集群实现的调度。
3、集中式调度系统是一个大型的中央系统,其终端是客户机,所有的调度任务都由该大型的中央系统完成,终端只是用来输入和输出。然而,专利技术人在实现本专利技术的过程中发现,集中式调度的缺陷在于,一方面,数据处理任务调度信息集中汇总到中央系统这一管理节点上,导致信息流拥挤;另一方面,管理节点发生故障会影响整个调度系统的正常工作。
4、而对于基于zookeeper集群实现的调度,通常需要针对每个调度任务设置分布式锁,zookeeper集群中的调度节点需要竞争分布式锁,竞争到分布式锁的调度中心负责执行对应的调度任务,其可有是调度节点的高可用,但是,对于调度任务处理性能受到分布式锁的限制,任务处理效率低。
技术实现思路
1、本申请实施例的目的在于提供一种信用卡分布式调度平台及调度方法,用以缓解现有技术中可用性和效率不高的情况。
2、第一方面,本专利技术提供一种基于信用卡分布式调度平台的调度方法,所述信用卡分布式调度平台包括至少一个调度中心以及至少一个执行域;其中,所示,每个所述调度中心包
3、通过主调度节点确定待执行的一级任务,所述一级任务包括至少一个二级任务,所述一级任务用于控制所述二级任务按序执行,至少一个所述二级任务可以包括普通二级任务和特殊二级任务,所述特殊二级任务包括多个二级子任务;
4、通过主调度节点基于当前从调度节点的任务负载情况等信息,进行决策,确定目标从调度节点;将所述待执行的一级任务发送至所述目标从调度节点进行执行;
5、通过所述目标从调度节点接收所述待执行的一级任务,在待执行的至少一个二级任务,确定当前二级任务;其中,调度节点维护有二级任务与执行域的第一对应关系,以及执行域与主执行器的第二对应关系;
6、通过目标从调度节点基于所述第一对应关系,确定所述当前二级任务对应的目标执行域,并基于第二对应关系,确定所述目标执行域对应的目标主执行器;将所述当前二级任务发送至所述目标主执行器;
7、通过所述目标主执行器接收所述当前二级任务,基于当前执行域中执行器的任务负载情况等信息,进行决策,确定第一目标执行器;将所述当前二级任务发送至所述第一目标执行器进行执行。
8、当所述当前二级任务为特殊二级任务时,通过所述第一目标执行器在所述当前二级任务对应的多个二级子任务确定目标二级子任务,基于所述第一对应关系,确定所述目标二级子任务对应的第二目标执行器;
9、通过所述第二目标执行器执行所述目标二级子任务,并将任务的执行情况更新在执行域数据库中。
10、在可选的实施方式中,还包括:
11、当所述当前二级任务为普通二级任务时,通过所述第一目标执行器直接执行该当前二级任务,并将任务的执行情况更新在执行域数据库中。
12、在可选的实施方式中,还包括:
13、通过目标从调度节点基于所述待执行的一级任务对二级任务进行分发以及任务执行状态的维护,直至所述待执行的一级任务执行完成。
14、在可选的实施方式中,还包括:
15、通过所述目标主执行器周期性的读取执行域数据库的任务执行情况,将所述任务执行情况发送至对应的从调度节点。
16、在可选的实施方式中,还包括:
17、所述调度中心执行raft算法,在多个调度节点中选择出一个主调度节点,以及一个或多个从调度节点;所述执行域执行raft算法,在多个执行器中选择出一个主执行器,以及一个或多个从执行器;主执行器将其对应的执行域的域信息注册到所述调度中心,所述域信息包括主执行器的信息。
18、在可选的实施方式中,每个所述调度中心包括的调度节点的数量为奇数个;每个所述执行域包括的执行器为奇数个。
19、在可选的实施方式中,当系统启动时所述调度中心执行raft算法以及所述执行域执行raft算法;或者,到达预设的触发时机,所述调度中心执行raft算法或所述执行域执行raft算法;其中,所述触发时机包括周期性的触发、随机触发或者通过节点异常触发。
20、第二方面,本专利技术提供一种信用卡分布式调度平台,所述信用卡分布式调度平台包括至少一个调度中心以及至少一个执行域;其中,所示,每个所述调度中心包括多个调度节点包括主调度节点和从调度节点,多个所述调度节点包括每个所述执行域包括多个执行器,多个所述执行器包括主执行器和从执行器;
21、所述主调度节点,用于确定待执行的一级任务,所述一级任务包括至少一个二级任务,所述一级任务用于控制所述二级任务按序执行,至少一个所述二级任务可以包括普通二级任务和特殊二级任务,所述特殊二级任务包括多个二级子任务;基于当前从调度节点的任务负载情况等信息,进行决策,确定目标从调度节点;将所述待执行的一级任务发送至所述目标从调度节点进行执行;
22、所述目标从调度节点,用于通过接收所述待执行的一级任务,在待执行的至少一个二级任务,确定当前二级任务;其中,调度节点维护有二级任务与执行域的第一对应关系,以及执行域与主执行器的第二对应关系;基于所述第一对应关系,确定所述当前二级任务对应的目标执行域,并基于第二对应关系,确定所述目标执行域对应的目标主执行器;将所述当前二级任务发送至所述目标主执行器;
23、所述目标主执行器,用于接收所述当前二级任务,基于当前执行域中执行器的任务负载情况等信息,进行决策,确定第一目标执行器;将所述当前二级任务发送至所述第一目标执行器进行执行。
24、所述第一目标执行器,用于当所述当前二级任务为特殊二级任务时,在所述当前二级任务对应的多个二级子任务确定目标二级子任务,基于所述第一对应关系,确定所述目标二级子任务对应的第二目标执行器;
25、所述第二目标执行器,用于执行所述目标二级子任务,并将任务的执行情况更新在执行域数据库中。
26、在可选的实施方式中,还包括:
27、所述第一目标执行器,用于当所述当前二级任务为普通二级任务时,直接执行该当前二级任务,并将任务的执行情况更新在执行域数据库中。
28、在可选的实施方式中,还包括:
29、目标从调度节点,用于基于所述待执行的一级任务对二级任务进行分发以及任务执行状态的维护,直至所述待执行的一级任务执行完成。
30、在可选的实施方式中,还包括:
3本文档来自技高网...
【技术保护点】
1.一种基于信用卡分布式调度平台的调度方法,其特征在于,所述信用卡分布式调度平台包括至少一个调度中心以及至少一个执行域;其中,所示,每个所述调度中心包括多个调度节点包括主调度节点和从调度节点,多个所述调度节点包括每个所述执行域包括多个执行器,多个所述执行器包括主执行器和从执行器;所述方法包括:
2.根据权利要求1所述的方法,其特征在于,还包括:
3.根据权利要求1所述的方法,其特征在于,还包括:
4.根据权利要求3所述的方法,其特征在于,还包括:
5.根据权利要求1-4任意一项所述的方法,其特征在于,还包括:
6.根据权利要求1-4任意一项所述的方法,其特征在于,每个所述调度中心包括的调度节点的数量为奇数个;每个所述执行域包括的执行器为奇数个。
7.根据权利要求5所述的方法,其特征在于,当系统启动时所述调度中心执行raft算法以及所述执行域执行raft算法;
8.一种信用卡分布式调度平台,其特征在于,所述信用卡分布式调度平台包括至少一个调度中心以及至少一个执行域;其中,所示,每个所述调度中心包括多
9.一种服务器,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种基于信用卡分布式调度平台的调度方法,其特征在于,所述信用卡分布式调度平台包括至少一个调度中心以及至少一个执行域;其中,所示,每个所述调度中心包括多个调度节点包括主调度节点和从调度节点,多个所述调度节点包括每个所述执行域包括多个执行器,多个所述执行器包括主执行器和从执行器;所述方法包括:
2.根据权利要求1所述的方法,其特征在于,还包括:
3.根据权利要求1所述的方法,其特征在于,还包括:
4.根据权利要求3所述的方法,其特征在于,还包括:
5.根据权利要求1-4任意一项所述的方法,其特征在于,还包括:
6.根据权利要求1-4任意一项所述的方法,其特征在于,每个所述调度中心包括的调度节点的数量为奇数个;每个所述执行域包括的执行器为奇数个。
7.根据权利要求5所述的方法,其特征...
【专利技术属性】
技术研发人员:王鹏,周成鹏,赵鑫,李辉辉,毛晓峰,崔广超,高振南,韦双双,赵怡彬,张俊阳,陈玉杰,王翔,
申请(专利权)人:上海晨钦信息科技服务有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。