【技术实现步骤摘要】
作业状态的获取方法、装置、处理器及电子设备
[0001]本申请涉及大数据领域，具体而言，涉及一种作业状态的获取方法、装置、处理器及电子设备。
技术介绍
[0002]随着大数据技术的不断发展，互联网领域基于大数据技术的服务能力逐渐提升，大数据批量计算能力逐渐成为各行各业批量数据传输的主流技术框架，相对于传统批量框架，大数据批量服务作业粒度更细，作业间依赖关系性更强，为了实现大数据批量作业间的实时运行，保持业务人员有良好的数据分析体验能力，使用多角度触发优化大数据作业调起方法。
[0003]批量程序是以作业为单元，各作业之间通过配置排程方式确定依赖调度关系，作业组内作业执行状态通过大数据基础服务层数据库来存储。
[0004]对于大数据灵活调度作业的发起机制中，对于具有较强依赖关系的作业，无法获取统一调度贴源数据作业上下游的作业状态，查询作业状态成本高，如果上游大数据批量作业发生异常，影响后续作业运行，上下游耦合性较强。
[0005]针对相关技术中无法根据作业之间的依赖关系进行作业状态查询的问题，目前尚未提...
【技术保护点】
【技术特征摘要】
1.一种作业状态的获取方法，其特征在于，包括：获取预设作业状态表，其中，所述预设作业状态表为按照预设时间间隔周期性获取的至少一个预设作业在各个时间节点的作业状态，所述预设作业至少包括第一作业；在所述预设作业状态表中查询所述第一作业在预设时间节点的作业状态；在所述第一作业的作业状态在所述预设时间节点为完成状态的情况下，将第二作业对应的计算任务下发至集群设备中，获取所述第二作业的作业状态，其中，所述第二作业依赖所述第一作业。2.根据权利要求1所述的方法，其特征在于，获取预设作业状态表包括：按照定时器设定的预设时间间隔周期性发送第一请求协议至大数据基础服务层的第一接口，其中，所述第一请求协议用于指示获取至少一个预设作业在指定时间节点的作业状态；基于所述第一接口访问所述大数据基础服务层的管理器，其中，所述管理器中存有批量作业调度表，所述批量作业调度表用于记录至少一个所述预设作业在各个时间节点的作业状态；响应所述第一请求协议，基于所述批量作业调度表确定所述预设作业状态表。3.根据权利要求2所述的方法，其特征在于，响应所述第一请求协议，基于所述批量作业调度表确定所述预设作业状态表包括：识别所述第一请求协议中携带的预设统一作业调度表，其中，所述预设统一作业调度表包括：至少一个预设作业的标识信息，和需要获取作业状态的指定时间节点；在所述批量作业调度表中查询与所述预设统一作业调度表中的标识信息对应的至少一个预设作业作为待查询作业；在所述批量作业调度表中查询所述待查询作业在所述指定时间节点的作业状态；将所述待查询作业在指定时间节点的作业状态填入所述预设作业状态表。4.根据权利要求1所述的方法，其特征在于，在所述第一作业的作业状态在所述预设时间节点为完成状态的情况下，将所述第二作业对应的计算任务下发至集群设备中，获取第二作业的作业状态包括：向大数据基础服务层的第二接口发送第二请求协议，其中，所述第二请求协议用于指示获取第二作业在当前时间节点的作业状态，所述大数据基础服务层包括集群设备；基于所述第二接口访问所述大数据基础服务层的数仓库，其中，所述数仓库用于存储贴源数据，所述贴源数据为作业执行过程中的数据；响应所述第二请求协...
【专利技术属性】
技术研发人员：吴一哲，曾文华，陈莹，赵培，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。