【技术实现步骤摘要】
本专利技术涉及计算机,尤其涉及调度任务执行信息获取方法及装置。
技术介绍
1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、现有技术中,在通过调度服务提交hive、sqoop、spark、flink等调度任务后,这些调度任务会在任务计算系统中执行,任务计算系统例如yarn,通常调度任务执行结束后,我们需要查看调度服务提交的具体调度任务在任务计算系统中具体的执行信息,例如yarn任务资源使用情况、yarn任务运行状态等详细信息,以便评估调度任务执行的资源消耗量,为优化调度任务脚本提供数据,合理安排任务调度时间。
3、现有技术中,为了获取具体某一调度服务中任务在任务计算系统中具体执行信息,需要从任务计算系统的大量任务执行日志中查找信息,例如对于yarn,需要登录到yarn的web控制台页面,挨个查找yarn任务的日志,从日志中提取关键字与调度任务对比,找到两者之间的对应关系,从而获取到具体调度任务的执行信息。但是,这样通过人工手动查找的方式效率较
...【技术保护点】
1.一种调度任务执行信息获取方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据海豚调度日志,生成第一表格,包括:
3.如权利要求1所述的方法,其特征在于,获取任务计算系统中多个第二任务的执行信息,包括:
4.如权利要求1所述的方法,其特征在于,根据第一表格、第二表格,确定海豚调度第一任务对应的任务计算系统中第二任务的执行信息,包括:
5.如权利要求1所述的方法,其特征在于,所述执行信息包括如下之一或任意组合:
6.如权利要求1所述的方法,其特征在于,根据任务计算系统中多个第二任务的执行信息
...【技术特征摘要】
1.一种调度任务执行信息获取方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据海豚调度日志,生成第一表格,包括:
3.如权利要求1所述的方法,其特征在于,获取任务计算系统中多个第二任务的执行信息,包括:
4.如权利要求1所述的方法,其特征在于,根据第一表格、第二表格,确定海豚调度第一任务对应的任务计算系统中第二任务的执行信息,包括:
5.如权利要求1所述的方法,其特征在于,所述执行信息包括如下之一或任意组合:
6.如权利要求1所述的方法,其特征在于,根据任务计算系统中多个第二任务的执行信息,生成第二表格后,还包括:
7.一种调度任务执行信息获取装置,其特征在于,包括:
8.如权利要求7所述的装置,其特征在于,第一表格生成模块具体用于:
9.如权利要求7...
【专利技术属性】
技术研发人员:朱学通,
申请(专利权)人:内蒙古伊利实业集团股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。