日志实时收集处理方法及设备技术

本申请涉及日志获取技术领域，尤其涉及一种日志实时收集处理方法及设备，方法包括：通过日志实现的抽象层接入日志框架；继承日志组件的输出源实时获取指定的日志数据；对日志数据进行整理，将整理完成的日志数据推送到缓存队列；在达到设定条件时，将缓存队列中的日志数据发送到搜索引擎中进行存储，并提供下载接口。本技术方案不需要单独部署额外的服务，减少服务器资源占用，维护方便。本技术方案继承日志组件的输出源获取指定的日志数据，使用时和主流日志记录的方式保持一致，不需要额外的学习成本。日志数据实时获取实时下载，没有延时。时。时。

【技术实现步骤摘要】
日志实时收集处理方法及设备


[0001]本申请涉及日志获取
，尤其涉及一种日志实时收集处理方法及设备。

技术介绍

[0002]日志作为生产运维过程中解决和记录问题的重要载体，需要记录简单，查询方便，导出方便。
[0003]容器化，私有化，集群化部署的服务在查看日志的时候，需要满足使用方便，查询有针对性，方便导出的要求。现有日志数据收集的技术方案，需要单独部署对应的服务，占用服务器资源，维护不方便；且只记录某一类的日志需要单独配置，增加了使用成本。

技术实现思路

[0004]为至少在一定程度上克服相关技术中日志数据收集的技术方案，需要单独部署对应的服务，占用服务器资源，维护不方便；且只记录某一类的日志需要单独配置，增加了使用成本的问题，本申请提供一种日志实时收集处理方法及设备。
[0005]本申请的方案如下：根据本申请实施例的第一方面，提供一种日志实时收集处理方法，包括：通过日志实现的抽象层接入日志框架；继承日志组件的输出源实时获取指定的日志数据；对所述日志数据进行整理，将整理完成的日志数据推送到缓存队列；在达到设定条件时，将缓存队列中的日志数据发送到搜索引擎中进行存储，并提供下载接口。
[0006]优选地，所述方法还包括：通过MDC增强日志记录参数。
[0007]优选地，所述方法还包括：在启动类中获取配置文件，加载配置文件，创建日志信息结构化模板。
[0008]优选地，对所述日志数据进行整理，包括：对所述日志数据进行过滤，删除所述日志数据中的无用数据和无关报错数据；基于所述日志信息结构化模板将过滤后的日志数据封装为结构化数据。
[0009]优选地，所述设定条件包括：到达预设执行线程定时，和/或，缓存队列达到存储量阈值。
[0010]优选地，所述搜索引擎提供多种查询功能。
[0011]优选地，所述搜索引擎将日志数据进行分类存储。
[0012]优选地，所述搜索引擎提供多种下载途径，并支持多种数据格式的日志数据下载。
[0013]根据本申请实施例的第二方面，提供一种日志实时收集处理设备，包括：处理器和存储器；所述处理器与存储器通过通信总线相连接：
其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序至少用于执行如以上任一项所述的一种日志实时收集处理方法。
[0014]本申请提供的技术方案可以包括以下有益效果：本申请中的日志实时收集处理方法，包括：通过日志实现的抽象层接入日志框架；继承日志组件的输出源实时获取指定的日志数据；对日志数据进行整理，将整理完成的日志数据推送到缓存队列；在达到设定条件时，将缓存队列中的日志数据发送到搜索引擎中进行存储，并提供下载接口。本技术方案不需要单独部署额外的服务，减少服务器资源占用，维护方便。本技术方案继承日志组件的输出源获取指定的日志数据，使用时和主流日志记录的方式保持一致，不需要额外的学习成本。日志数据实时获取实时下载，没有延时。
[0015]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0017]图1是本申请一个实施例提供的一种日志实时收集处理方法的流程示意图；图2是本申请一个实施例提供的一种日志实时收集处理设备的结构示意图。
[0018]附图标记：处理器
‑
21；存储器
‑
22。
具体实施方式
[0019]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0020]实施例一图1是本申请一个实施例提供的一种日志实时收集处理方法的流程示意图，参照图1，一种日志实时收集处理方法，包括：S11：通过日志实现的抽象层接入日志框架；S12：继承日志组件的输出源实时获取指定的日志数据；S13：对日志数据进行整理，将整理完成的日志数据推送到缓存队列；S14：在达到设定条件时，将缓存队列中的日志数据发送到搜索引擎中进行存储，并提供下载接口。
[0021]需要说明的是，本实施例中的技术方案涉及日志获取
，具体可应用于容器化，私有化，集群化部署的服务对日志数据的需求。
[0022]需要说明的是，日志框架分为日志门面（抽象层）和日志实现。
[0023]日志门面：是日志实现的抽象层。日志实现：具体的日志功能的实现。
[0024]因为日志实现，可能会有一些代码的优化和改动，避免影响用户在项目中的使用，使用日志门面这些统一的接口，假设在实现层代码做了更改，用户在项目中使用日志而调
用的接口等等都是不会受影响的。
[0025]在具体实践中，本实施例中日志实现的抽象层可以为SLF4J。SLF4J，即Simple Logging Facade for Java，它不是一个真正的日志实现，而是一个抽象层，允许在后台使用任何日志实现。这意味着可以在运行时将日志框架从一个切换到另一个，只需要更改jar包即可。SLF4J主要是为了给Java日志访问提供一个标准、规范的API框架，其主要意义在于提供接口，具体的实现可以交由其他日志框架，例如log4j和logback等。对于一般的Java项目而言，日志框架会选择SLF4J作为门面，配上具体的实现框架（log4j、logback等），中间使用桥接器完成桥接。
[0026]进一步的，本实施例中通过MDC增强日志记录参数。MDC，即Mapped Diagnostic Context，是一种用于区分日志输出的数据元素。它是一种将特定数据插入到每个日志请求中的方式，这样每个日志请求就可以有特定的上下文。例如，可以使用MDC来插入一个用户ID，这样就可以在日志中看到每个用户的活动。
[0027]需要说明的是，日志信息的添加分为两种方式，一种是自动异常信息的捕获，另一种在程序中自定义的添加。两种方式记录的日志都是通过日志组件记录，本技术通过继承日志组件的输出源实时获取指定的日志数据。
[0028]可以理解的是，本技术方案使用简便，由于和主流日志记录的方式保持一致，一行代码就可以完成记录。
[0029]需要说明的是，从日志组件中获取的数据，是非可视化的数据，所以需要将其整理为可视化的结构化数据。基于此，方法还包括：在启动类中获取配置文件，加载配置文件，创建日志信息结构化模板。
[0030]进一步的，对日志数据进行整理，包括：对日志数据进行过滤，删除日志数据中的无用数据和无关报错数据；基于日志信息结构化模板将过滤后的日志数据封装为结构化数据。
[0031]本实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志实时收集处理方法，其特征在于，包括：通过日志实现的抽象层接入日志框架；继承日志组件的输出源实时获取指定的日志数据；对所述日志数据进行整理，将整理完成的日志数据推送到缓存队列；在达到设定条件时，将缓存队列中的日志数据发送到搜索引擎中进行存储，并提供下载接口。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过MDC增强日志记录参数。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在启动类中获取配置文件，加载配置文件，创建日志信息结构化模板。4.根据权利要求3所述的方法，其特征在于，对所述日志数据进行整理，包括：对所述日志数据进行过滤，删除所述日志数据中的无用数据和无关报错数据；基于所述日志信息结构化模板将过滤后的日志数据封装为结构化数...

【专利技术属性】
技术研发人员：刁志伟，冯晋阳，韩锡锐，蒋林雪，
申请(专利权)人：北京德塔精要信息技术有限公司，
类型：发明
国别省市：