【技术实现步骤摘要】
本申请涉及分布式数据处理领域,具体而言,涉及一种作业执行方法、装置、系统、电子设备及程序产品。
技术介绍
1、传统场景下,批量作业设定固定时间定时执行,比如每天凌晨1点定时执行,但因种种因素可能会导致作业执行较慢。例如,作业存在前后项依赖,后项作业晚启动。例如,a作业是前项,设置1点执行,b作业是后项,设置2点执行。b作业需要在a作业执行完成后才能执行。如果a作业在1点半执行结束,但是b作业两点才开始执行,a作业和b作业之间相差半小时,浪费了半小时的等待时间。
2、现有技术可能存在以下问题:机器资源利用不充分,例如机器有10个cpu核心,100gb内存,但作业程序仅使用了1个核心,和10gb内存,剩余的90%的机器资源都是空闲的状态;机器资源不够利用,例如机器有10个cpu核心,100gb内存,作业程序使用了10个核心,和100gb内存,资源全部占满,执行耗时长。
3、针对相关技术中按照固定时刻执行批量作业,导致批量作业执行效率较低的问题,目前尚未提出有效的解决方案。
技术实现思路
1本文档来自技高网...
【技术保护点】
1.一种作业执行方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,确定所述目标作业的前置依赖作业,得到第一作业,包括:
3.根据权利要求1所述的方法,其特征在于,对所述目标作业进行分片,得到所述目标作业的作业分片集合,包括:
4.根据权利要求1所述的方法,其特征在于,对所述目标作业进行分片,得到所述目标作业的作业分片集合,包括:
5.根据权利要求1所述的方法,其特征在于,通过分布式系统的至少一个计算节点对所述至少一个作业分片进行处理,以完成所述目标作业,包括:
6.根据权利要求1所述的方法,
...【技术特征摘要】
1.一种作业执行方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,确定所述目标作业的前置依赖作业,得到第一作业,包括:
3.根据权利要求1所述的方法,其特征在于,对所述目标作业进行分片,得到所述目标作业的作业分片集合,包括:
4.根据权利要求1所述的方法,其特征在于,对所述目标作业进行分片,得到所述目标作业的作业分片集合,包括:
5.根据权利要求1所述的方法,其特征在于,通过分布式系统的至少一个计算节点对所述至少一个...
【专利技术属性】
技术研发人员:曹铭洋,戚海荣,吴逸,高雁翔,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。