一种日志采集分析方法、装置以及系统制造方法及图纸

本发明专利技术提供了一种日志采集分析方法、装置以及系统，该方法包括：确定至少一个待采集日志业务系统以及每一个所述待采集日志业务系统对应的日志类型；根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件；对所获取的每一个所述日志文件进行解析；将解析后的每一个所述日志文件归档到外部的存储设备；对归档后的每一个所述日志文件进行分析。因此，本发明专利技术提供的方案可以提高业务系统运维的效率。

A log collection analysis method, device and system

The present invention provides a log collection analysis method, device and system, the method includes determining at least one pending acquisition log service system and each of the business acquisition system corresponding to the log log type; according to the determined each of the acquisition business system corresponding to the log log type, access each of the collected log service system log file; analyze the each of the log file; after parsing each of the log files to an external storage device; after filing on each of the log file analysis. Therefore, the scheme provided by the invention can improve the efficiency of operation and maintenance of the business system.

【技术实现步骤摘要】
一种日志采集分析方法、装置以及系统
本专利技术涉及计算机
，特别涉及一种日志采集分析方法、装置以及系统。
技术介绍
业务系统的日常运行中，会产生大量的包括业务系统大部分业务环节运行情况的日志。日志采集分析对于诊断系统业务异常或故障起到了至关重要的作用。目前，日志采集分析的方法通常为：技术人员通过人工采集的方式从各个业务系统中采集日志，然后技术人员再对采集的各个日志进行查询及分析，以诊断系统业务是否出现异常或故障。但是，业务系统中的业务环节越来越复杂，产生的业务日志成海量的增加，以致日志的分析工作更为繁琐。因此，现有的方式，业务系统运维的效率较低。
技术实现思路
本专利技术实施例提供了一种日志采集分析方法、装置以及系统，可以提高业务系统运维的效率。第一方面，本专利技术实施例提供了一种日志采集分析方法，该方法包括：确定至少一个待采集日志业务系统以及每一个所述待采集日志业务系统对应的日志类型；根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件；对所获取的每一个所述日志文件进行解析；将解析后的每一个所述日志文件归档到外部的存储设备；对归档后的每一个所述日志文件进行分析。优选地，任意一个第一待采集日志业务系统对应的日志类型为中间件监控日志类型时，所述根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件，包括：根据所确定的第一待采集日志业务系统对应的中间件监控日志类型，与所述第一待采集日志业务系统通过基于超文本传输协议HTTP的JSON格式的通信协议建立连接；判断所述第一待采集日志业务系统对应的待采集日志文件的状态参数是否达到预设的状态值，如果是，通过所述基于HTTP的JSON格式的通信协议从所述待采集日志文件中获取所述第一待采集日志业务系统的日志文件；其中，所述状态参数包括累计写入时间或累计写入数据量；当所述状态参数为累计写入时间时，所述状态值为时间阈值；当所述状态参数为累计写入数据量时，所述状态值为数据量阈值。优选地，任意一个第二待采集日志业务系统对应的日志类型为非结构化日志类型时，所述根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件，包括：根据所确定的第二待采集日志业务系统对应的非结构化日志类型，与所述第二待采集日志业务系统通过文件传输协议ftp通信协议或安全文件传送协议sftp通信协议建立连接；判断所述第二待采集日志业务系统对应的待采集日志文件的数量是否达到预设的数量阈值，如果是，通过所述ftp通信协议或sftp通信协议从所述待采集日志文件中获取所述第二待采集日志业务系统的日志文件。优选地，任意一个第三待采集日志业务系统对应的日志类型为结构化日志时，所述根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件，包括：根据所确定的第三待采集日志业务系统对应的结构化日志类型，确定日志文件提取规则，其中，所述日志文件提取规则包括设定文件格式、设定时间、设定数据量、设定字符长度、设定字符名称中的至少一种或多种；根据所述日志文件提取规则从所述第三待采集日志业务系统对应的待采集日志文件中获取所述第三待采集日志业务系统的日志文件。优选地，所述对所获取的每一个所述日志文件进行解析，包括：预先设定至少一个关键字；将所获取的每一个所述日志文件解析为字符串格式的日志文件；根据所述至少一个关键字，为所解析的字符串格式的日志文件添加至少一个目标关键字。优选地，所述对归档后的每一个所述日志文件进行分析，包括：判断归档后的每一个所述日志文件是否符合预先设定的分析规则，如果否，生成报警信息；所述分析规则包括：不包括预先设定的报错字符串、关键字对应的内容不为空值、生成时间是预先设定的时间、数据量为预先设定的数据量中的至少一种或多种。优选地，所述报警信息包括：短信报警信息、邮件报警信息以及界面报警信息中的任意一种或多种。第二方面，本专利技术实施例提供了一种日志采集分析装置，该装置包括：确定单元，用于确定至少一个待采集日志业务系统以及每一个所述待采集日志业务系统对应的日志类型；获取单元，用于根据所述确定单元所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件；解析单元，用于对所述获取单元所获取的每一个所述日志文件进行解析；归档单元，用于将所述解析单元解析后的每一个所述日志文件归档到外部的存储设备；分析单元，用于对所述归档单元归档后的每一个所述日志文件进行分析。优选地，任意一个第一待采集日志业务系统对应的日志类型为中间件监控日志类型时，所述获取单元，包括：第一建立子单元以及第一判断子单元；所述第一建立子单元，用于根据所确定的第一待采集日志业务系统对应的中间件监控日志类型，与所述第一待采集日志业务系统通过基于超文本传输协议HTTP的JSON格式的通信协议建立连接；所述第一判断子单元，用于判断所述第一待采集日志业务系统对应的待采集日志文件的状态参数是否达到预设的状态值，如果是，通过所述基于HTTP的JSON格式的通信协议从所述待采集日志文件中获取所述第一待采集日志业务系统的日志文件；其中，所述状态参数包括累计写入时间或累计写入数据量；当所述状态参数为累计写入时间时，所述状态值为时间阈值；当所述状态参数为累计写入数据量时，所述状态值为数据量阈值。优选地，任意一个第二待采集日志业务系统对应的日志类型为非结构化日志类型时，所述获取单元，包括：第二建立子单元以及第二判断子单元；所述第二建立子单元，用于根据所确定的第二待采集日志业务系统对应的非结构化日志类型，与所述第二待采集日志业务系统通过文件传输协议ftp通信协议或安全文件传送协议sftp通信协议建立连接；所述第二判断子单元，用于判断所述第二待采集日志业务系统对应的待采集日志文件的数量是否达到预设的数量阈值，如果是，通过所述ftp通信协议或sftp通信协议从所述待采集日志文件中获取所述第二待采集日志业务系统的日志文件。优选地，任意一个第三待采集日志业务系统对应的日志类型为结构化日志时，所述获取单元，包括：确定子单元以及提取子单元；所述确定子单元，用于根据所确定的第三待采集日志业务系统对应的结构化日志类型，确定日志文件提取规则，其中，所述日志文件提取规则包括设定文件格式、设定时间、设定数据量、设定字符长度、设定字符名称中的至少一种或多种；所述提取子单元，用于根据所述日志文件提取规则从所述第三待采集日志业务系统对应的待采集日志文件中获取所述第三待采集日志业务系统的日志文件。优选地，所述解析单元，包括：解析子单元和添加子单元；所述设定子单元，用于预先设定至少一个关键字；将所获取的每一个所述日志文件解析为字符串格式的日志文件；所述添加子单元，用于根据所述至少一个关键字，为所解析的字符串格式的日志文件添加至少一个目标关键字。优选地，所述分析单元，用于判断归档后的每一个所述日志文件是否符合预先设定的分析规则，如果否，生成报警信息；其中，所述分析规则包括：不包括预先设定的报错字符串、关键字对应的内容不为空值、生成时间是预先设定的时间、数据量为预先设定的数据量中的至少一种或多种。第三方面，本专利技术实本文档来自技高网...

【技术保护点】
一种日志采集分析方法，其特征在于，包括：确定至少一个待采集日志业务系统以及每一个所述待采集日志业务系统对应的日志类型；根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件；对所获取的每一个所述日志文件进行解析；将解析后的每一个所述日志文件归档到外部的存储设备；对归档后的每一个所述日志文件进行分析。

【技术特征摘要】
1.一种日志采集分析方法，其特征在于，包括：确定至少一个待采集日志业务系统以及每一个所述待采集日志业务系统对应的日志类型；根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件；对所获取的每一个所述日志文件进行解析；将解析后的每一个所述日志文件归档到外部的存储设备；对归档后的每一个所述日志文件进行分析。2.根据权利要求1所述的方法，其特征在于，任意一个第一待采集日志业务系统对应的日志类型为中间件监控日志类型时，所述根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件，包括：根据所确定的第一待采集日志业务系统对应的中间件监控日志类型，与所述第一待采集日志业务系统通过基于超文本传输协议HTTP的JSON格式的通信协议建立连接；判断所述第一待采集日志业务系统对应的待采集日志文件的状态参数是否达到预设的状态值，如果是，通过所述基于HTTP的JSON格式的通信协议从所述待采集日志文件中获取所述第一待采集日志业务系统的日志文件；其中，所述状态参数包括累计写入时间或累计写入数据量；当所述状态参数为累计写入时间时，所述状态值为时间阈值；当所述状态参数为累计写入数据量时，所述状态值为数据量阈值；和/或，任意一个第二待采集日志业务系统对应的日志类型为非结构化日志类型时，所述根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件，包括：根据所确定的第二待采集日志业务系统对应的非结构化日志类型，与所述第二待采集日志业务系统通过文件传输协议ftp通信协议或安全文件传送协议sftp通信协议建立连接；判断所述第二待采集日志业务系统对应的待采集日志文件的数量是否达到预设的数量阈值，如果是，通过所述ftp通信协议或sftp通信协议从所述待采集日志文件中获取所述第二待采集日志业务系统的日志文件；和/或，任意一个第三待采集日志业务系统对应的日志类型为结构化日志时，所述根据所确定的每一个所述待采集日志业务系统对应的日志类型，获取每一个所述待采集日志业务系统的日志文件，包括：根据所确定的第三待采集日志业务系统对应的结构化日志类型，确定日志文件提取规则，其中，所述日志文件提取规则包括设定文件格式、设定时间、设定数据量、设定字符长度、设定字符名称中的至少一种或多种；根据所述日志文件提取规则从所述第三待采集日志业务系统对应的待采集日志文件中获取所述第三待采集日志业务系统的日志文件。3.根据权利要求1所述的方法，其特征在于，所述对所获取的每一个所述日志文件进行解析，包括：预先设定至少一个关键字；将所获取的每一个所述日志文件解析为字符串格式的日志文件；根据所述至少一个关键字，为所解析的字符串格式的日志文件添加至少一个目标关键字。4.根据权利要求1所述的方法，其特征在于，所述对归档后的每一个所述日志文件进行分析，包括：判断归档后的每一个所述日志文件是否符合预先设定的分析规则，如果否，生成报警信息；所述分析规则包括：不包括预先设定的报错字符串、关键字对应的内容不为空值、生成时间是预先设定的时间、数据量为预先设定的数据量中的至少一种或多种。5.根据权利要求4所述的方法，其特征在于，所述报警信息包括：短信报警信息、邮件报警信息以及界面报警信息中的任意一种或多种。6.一种日志采集分析装置，其特征在于，包括：确定单元，用于确定至少一个待采集日志业务系统以及每一个所述待采集日志业务系统对应的日志类型；...

【专利技术属性】
技术研发人员：王洪添，杨宏林，朱斌，刘瑞慧，周立轲，李兴凯，王岗，
申请(专利权)人：山东浪潮云服务信息科技有限公司，
类型：发明
国别省市：山东,37