一种作业的运行日志的采集方法及装置制造方法及图纸

本发明专利技术提供一种作业的运行日志的采集方法及装置，涉及大数据技术领域。所述方法包括：接收第一终端发送的运行日志获取请求；根据作业标识和对应的作业集群标识以及作业应用关系表，获得应用标识，并根据作业标识对应的作业集群标识，查询获得路径信息和集群类型标识；根据应用标识、路径信息和集群类型标识，获得分布式系统临时路径；根据分布式系统临时路径，下载作业标识对应的作业在作业集群下的运行日志，并将所述作业标识对应的作业在作业集群下的运行日志发送给所述第一终端。所述装置用于执行上述方法。本发明专利技术实施例提供的作业的运行日志的采集方法及装置，提高了作业的运行日志的采集效率。

【技术实现步骤摘要】
一种作业的运行日志的采集方法及装置
本专利技术涉及大数据
，具体涉及一种作业的运行日志的采集方法及装置。
技术介绍
Hadoop是一个由Apache基金会所开发的分布式生态系统基础架构，集群规模视不同应用场景有数十节点至几千节点不等，应用者可以利用其多节点、分布式的特点进行存储与计算。基于Hadoop的集群进行业务逻辑作业加工时，由于其分布式的特点，作业是分散在不同节点上通过spark引擎或Mareduce引擎运行计算的，作业的运行日志也会分布在各个不同的节点上。作业的运行日志可以用于对作业性能容量的评测和报错作业诊断工作。在实际的运维使用过程中，尚无集群作业运行日志采集工具来采集作业的运行日志。因此，如何提供一种作业的运行日志的采集方法，成为本领域需要解决的重要课题。
技术实现思路
针对现有技术中的问题，本专利技术实施例提供一种作业的运行日志的采集方法及装置，能够至少部分地解决现有技术中存在的问题。一方面，本专利技术提出一种作业的运行日志的采集方法，包括：接收第一终端发送的运行日志获取请求，所本文档来自技高网...

【技术保护点】
1.一种作业的运行日志的采集方法，其特征在于，包括：/n接收第一终端发送的运行日志获取请求，所述运行日志获取请求包括作业标识和所述作业标识对应的作业集群标识；/n根据所述作业标识和对应的作业集群标识以及作业应用关系表，获得所述作业标识与作业集群标识对应的应用标识，并根据所述作业标识对应的作业集群标识，查询获得所述作业集群标识对应的路径信息和集群类型标识；其中，所述作业集群标识对应的路径信息和集群类型标识是预设的；/n根据所述应用标识、所述作业集群标识对应的路径信息和集群类型标识，获得所述作业标识在作业集群下对应的分布式系统临时路径；/n根据所述作业标识在作业集群下对应的分布式系统临时路径，下载...

【技术特征摘要】
1.一种作业的运行日志的采集方法，其特征在于，包括：
接收第一终端发送的运行日志获取请求，所述运行日志获取请求包括作业标识和所述作业标识对应的作业集群标识；
根据所述作业标识和对应的作业集群标识以及作业应用关系表，获得所述作业标识与作业集群标识对应的应用标识，并根据所述作业标识对应的作业集群标识，查询获得所述作业集群标识对应的路径信息和集群类型标识；其中，所述作业集群标识对应的路径信息和集群类型标识是预设的；
根据所述应用标识、所述作业集群标识对应的路径信息和集群类型标识，获得所述作业标识在作业集群下对应的分布式系统临时路径；
根据所述作业标识在作业集群下对应的分布式系统临时路径，下载所述作业标识对应的作业在作业集群下的运行日志，并将所述作业标识对应的作业在作业集群下的运行日志发送给所述第一终端。


2.根据权利要求1所述的方法，其特征在于，所述根据所述作业标识和对应的作业集群标识以及作业应用关系表，获得所述作业标识与作业集群标识对应的应用标识包括：
从数据库中获取所述作业应用关系表，并根据所述作业标识和对应的作业集群标识从所述作业应用关系表中查询获得所述作业标识与作业集群标识对应的应用标识；其中，所述作业应用关系表是预先存储到所述数据库中的。


3.根据权利要求2所述的方法，其特征在于，所述作业应用关系表存储到所述数据库的步骤包括：
接收第二终端定时发送的应用报告信息获取请求；
获取每个作业集群的应用报告信息，每个作业集群的应用报告信息包括所述作业标识和对应的应用标识；
向所述第二终端返回每个作业集群的应用报告信息，以使得所述第二终端基于每个作业集群的应用报告信息包括的作业标识和对应的应用标识建立所述作业应用关系表并存储到所述数据库中。


4.根据权利要求1所述的方法，其特征在于，所述将所述作业标识对应的作业在作业集群下的运行日志发送给所述第一终端包括：
对所述作业标识对应的作业在作业集群下的运行日志进行压缩，并将压缩后的运行日志发送给所述第一终端。

【专利技术属性】
技术研发人员：刘旺森，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11