【技术实现步骤摘要】
本专利技术涉及日志处理，尤其涉及一种日志格式标准化处理方法、装置、设备及存储介质。
技术介绍
1、日志(log)是一种记录或记载事件、行动或过程的文本文件或系统。在计算机领域，它通常用来记录软件程序的运行情况、错误信息以及用户交互等，标准化(standardization)指的是根据特定的规范或标准进行统一、规范和规则化的过程。通过标准化，可以提高各种活动的效率，并确保不同产品、服务或系统之间的兼容性和互操作性。日志标准化(log standardization)可以理解为将日志信息按照某种标准或规范进行整理和管理的过程，通过标准化日志，可以便于后续的数据分析、故障排查、安全审计等工作。
2、然而，现有的日志存储系统面临日志格式混杂、解析复杂的问题，由于日志来源系统种类繁多，格式各异，不同系统的日志数据无法直接互联互通，需要人工逐一解析才能确定与问题相关的日志信息，导致日志分析和系统诊断效率低下，无法实现自动化以及简单快速的关联分析。
3、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于解决现有系统日志格式复杂，语义定义各异，无法直接互联互通，需要人工逐一解析才能确定与问题相关的日志信息，导致日志分析和系统诊断效率低下，无法实现自动化的问题。
2、本专利技术第一方面提供了一种日志格式标准化处理方法，包括：采集多源系统的日志数据，从所述日志数据中提取关键字段；定义标准日志格式，并根据所述标准日志格式将所述日志数据进行转
3、可选的，在本专利技术第一方面的第一种实现方式中，所述采集多源系统的日志数据，从所述日志数据中提取关键字段的步骤包括：配置日志采集器，并在所述日志采集器中配置日志源和解析规则，所述日志源用于指定采集日志数据的范围；通过所述日志采集器采集日志数据，并根据所述解析规则从所述日志数据中提取关键字段。
4、可选的，在本专利技术第一方面的第二种实现方式中，所述根据所述解析规则从所述日志数据中提取关键字段的步骤包括：通过正则表达式算法筛选有效的日志数据，并根据所述有效的日志数据进行匹配得到关键日志数据；通过分隔符算法将所述关键日志数据进行分割，得到多个关键字段。
5、可选的，在本专利技术第一方面的第三种实现方式中，所述定义标准日志格式，并根据所述标准日志格式将所述日志数据进行转换，得到标准化日志数据的步骤包括：定义标准日志格式，根据所述标准日志格式构建转换配置器；通过所述转换配置器，将所述关键字段映射到所述标准日志格式中执行转换处理，得到标准化日志数据。
6、可选的，在本专利技术第一方面的第四种实现方式中，所述对所述标准化日志数据进行分布式存储的步骤包括：将所述标准化日志以json格式输出，并上传至kafka队列；通过kafkadivider算法将所述kafka队列中的标准化日志分发至多个elastic节点，并通过bulkapi将所述标准化日志存储在elasticsearch中。
7、可选的，在本专利技术第一方面的第五种实现方式中，所述根据所述关键字段进行关联分析，得到分析结果的步骤包括：接收指定的关键字段名称和操作符构建lucene查询，对所述标准化日志进行查询，得到查询结果；根据所述查询结果设计逻辑条件，并根据所述逻辑条件进行关联分析，得到分析结果。
8、可选的，在本专利技术第一方面的第六种实现方式中，所述将所述分析结果进行可视化展示的步骤包括：根据所述分析结果统计所述日志数据的运行指标；对所述运行指标进行可视化处理并展示。
9、本专利技术第二方面提供了一种日志格式标准化处理装置，包括：采集模块，用于采集多源系统的日志数据，从所述日志数据中提取关键字段；标准化模块，用于定义标准日志格式，并根据所述标准日志格式将所述日志数据进行转换，得到标准化日志数据；分析模块，用于对所述标准化日志数据进行分布式存储，并根据所述关键字段进行关联分析，得到分析结果，并将所述分析结果进行可视化展示。
10、可选的，在本专利技术第二方面的第一种实现方式中，所述采集模块包括：配置单元，用于配置日志采集器，并在所述日志采集器中配置日志源和解析规则，所述日志源用于指定采集日志数据的范围；提取单元，用于通过所述日志采集器采集日志数据，并根据所述解析规则从所述日志数据中提取关键字段。
11、可选的，在本专利技术第二方面的第二种实现方式中，所述提取单元包括：筛选子单元，用于通过正则表达式算法筛选有效的日志数据，并对所述有效的日志数据进行匹配得到关键日志数据；分割子单元，用于通过分隔符算法将所述关键日志数据进行分割，得到多个关键字段。
12、可选的，在本专利技术第二方面的第三种实现方式中，所述标准化模块包括：定义单元，用于定义标准日志格式，根据所述标准日志格式构建转换配置器；转换单元，用于通过所述转换配置器，将所述关键字段映射到所述标准日志格式中执行转换处理，得到标准化日志数据。
13、可选的，在本专利技术第二方面的第四种实现方式中，所述分析模块包括：输出单元，用于将所述标准化日志以json格式输出，并上传至kafka队列；存储单元，用于通过kafkadivider算法将所述kafka队列中的标准化日志分发至多个elastic节点，并通过bulkapi将所述标准化日志存储在elasticsearch中。
14、可选的，在本专利技术第二方面的第五种实现方式中，所述分析模块还包括：查询单元，用于接收指定的关键字段名称和操作符构建lucene查询，对所述标准化日志进行查询，得到查询结果；逻辑处理单元，用于根据所述查询结果设计逻辑条件，并根据所述逻辑条件进行关联分析，得到分析结果。
15、可选的，在本专利技术第二方面的第六种实现方式中，所述分析模块还包括：统计单元，用于根据所述分析结果统计所述日志数据的运行指标；展示单元，用于对所述运行指标进行可视化处理并展示。
16、本专利技术第三方面提供了一种日志格式标准化处理设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机可读指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以使得所述日志格式标准化处理设备执行如上所述日志格式标准化处理方法的各个步骤。
17、本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当其在计算机上运行时，使得计算机执行如上所述日志格式标准化处理方法的各个步骤。
18、有益效果：本专利技术的技术方案中，采集多源系统的日志数据，从所述日志数据中提取关键字段；定义标准日志格式，并根据所述标准日志格式将所述日志数据进行转换，得到标准化日志数据；对所述标准化日志数据进行分布式存储，并根据所述关键字段进行关联分析，得到分析结果，并将所述分析结果进行可视化展示。本专利技术提本文档来自技高网...
【技术保护点】
1.一种日志格式标准化处理方法，其特征在于，所述日志格式标准化处理方法包括：
2.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述采集多源系统的日志数据，从所述日志数据中提取关键字段的步骤包括：
3.根据权利要求2所述日志格式标准化处理方法，其特征在于，所述根据所述解析规则从所述日志数据中提取关键字段的步骤包括：
4.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述定义标准日志格式，并根据所述标准日志格式将所述日志数据进行转换，得到标准化日志数据的步骤包括：
5.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述对所述标准化日志数据进行分布式存储的步骤包括：
6.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述根据所述关键字段进行关联分析，得到分析结果的步骤包括：
7.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述将所述分析结果进行可视化展示的步骤包括：
8.一种日志格式标准化处理装置，其特征在于，包括：
9.一种日志格式标准化处理设备
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述日志格式标准化处理方法的各个步骤。
...【技术特征摘要】
1.一种日志格式标准化处理方法，其特征在于，所述日志格式标准化处理方法包括：
2.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述采集多源系统的日志数据，从所述日志数据中提取关键字段的步骤包括：
3.根据权利要求2所述日志格式标准化处理方法，其特征在于，所述根据所述解析规则从所述日志数据中提取关键字段的步骤包括：
4.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述定义标准日志格式，并根据所述标准日志格式将所述日志数据进行转换，得到标准化日志数据的步骤包括：
5.根据权利要求1所述日志格式标准化处理方法，其特征在于，所述对所述标准化日志数据进行分布式存储的步骤包...
【专利技术属性】
技术研发人员：钱忠杰，姚广，赵严，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。