调度任务执行信息获取方法及装置制造方法及图纸

技术编号:44745647 阅读:16 留言:0更新日期:2025-03-26 12:34
本发明专利技术公开了一种调度任务执行信息获取方法及装置,涉及计算机技术领域,其中该方法包括:获取海豚调度日志;根据海豚调度日志,生成第一表格,所述第一表格存储海豚调度第一任务的第一标识和任务计算系统中第二任务的第二标识的对应关系;获取任务计算系统中多个第二任务的执行信息;所述执行信息包括任务计算系统中第二任务的第二标识;根据任务计算系统中多个第二任务的执行信息,生成第二表格;所述第二表格存储多个第二任务的第二标识与对应的第二任务的执行信息;根据第一表格、第二表格,确定海豚调度第一任务对应的任务计算系统中第二任务的执行信息。本发明专利技术可以提升调度任务信息的查找准确率、效率和全面性。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及调度任务执行信息获取方法及装置


技术介绍

1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、现有技术中,在通过调度服务提交hive、sqoop、spark、flink等调度任务后,这些调度任务会在任务计算系统中执行,任务计算系统例如yarn,通常调度任务执行结束后,我们需要查看调度服务提交的具体调度任务在任务计算系统中具体的执行信息,例如yarn任务资源使用情况、yarn任务运行状态等详细信息,以便评估调度任务执行的资源消耗量,为优化调度任务脚本提供数据,合理安排任务调度时间。

3、现有技术中,为了获取具体某一调度服务中任务在任务计算系统中具体执行信息,需要从任务计算系统的大量任务执行日志中查找信息,例如对于yarn,需要登录到yarn的web控制台页面,挨个查找yarn任务的日志,从日志中提取关键字与调度任务对比,找到两者之间的对应关系,从而获取到具体调度任务的执行信息。但是,这样通过人工手动查找的方式效率较低,通过关键词从大量本文档来自技高网...

【技术保护点】

1.一种调度任务执行信息获取方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据海豚调度日志,生成第一表格,包括:

3.如权利要求1所述的方法,其特征在于,获取任务计算系统中多个第二任务的执行信息,包括:

4.如权利要求1所述的方法,其特征在于,根据第一表格、第二表格,确定海豚调度第一任务对应的任务计算系统中第二任务的执行信息,包括:

5.如权利要求1所述的方法,其特征在于,所述执行信息包括如下之一或任意组合:

6.如权利要求1所述的方法,其特征在于,根据任务计算系统中多个第二任务的执行信息,生成第二表格后,还...

【技术特征摘要】

1.一种调度任务执行信息获取方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据海豚调度日志,生成第一表格,包括:

3.如权利要求1所述的方法,其特征在于,获取任务计算系统中多个第二任务的执行信息,包括:

4.如权利要求1所述的方法,其特征在于,根据第一表格、第二表格,确定海豚调度第一任务对应的任务计算系统中第二任务的执行信息,包括:

5.如权利要求1所述的方法,其特征在于,所述执行信息包括如下之一或任意组合:

6.如权利要求1所述的方法,其特征在于,根据任务计算系统中多个第二任务的执行信息,生成第二表格后,还包括:

7.一种调度任务执行信息获取装置,其特征在于,包括:

8.如权利要求7所述的装置,其特征在于,第一表格生成模块具体用于:

9.如权利要求7...

【专利技术属性】
技术研发人员:朱学通
申请(专利权)人:内蒙古伊利实业集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1