一种持久化集群日志处理方法、系统、介质及设备技术方案

本公开提供了一种持久化集群日志处理方法、系统、介质及设备，涉及日志处理技术领域，包括获取待处理的集群日志数据，配置过滤规则；通过所述的过滤规则对集群日志进行抓取，再将抓取到的日志传递给elasticsearch进行本地保存；配置与数据库的同步策略，将传递的日志进行持久化保存；阶段性的抓取数据库中的日志进行二次清洗，清洗完毕后进行数据库中的日志更新。日志经过清洗，体量变小而且提高了可用度；对外展示更明确，更容易找到集群日志的关键信息。关键信息。关键信息。

【技术实现步骤摘要】
一种持久化集群日志处理方法、系统、介质及设备


[0001]本公开涉及日志处理
，具体涉及一种持久化集群日志处理方法、系统、介质及设备。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前行业内对集群日志的处理办法，一般是通过elasticsearch进行收集并保存，没有经过中间处理，也没有进行持久化。但是其中有些日志是不需要长期保存的，有些日志是需要长期保存的，所以需要对集群日志进行过滤清洗，但是目前并没有对需要长期保存和不需要长期保存的日志进行筛选过滤并完成持久化的方法。

技术实现思路

[0004]本公开为了解决上述问题，提出了一种持久化集群日志处理方法、系统、介质及设备，该方法可以实现日志的过滤清洗以及持久化。
[0005]根据一些实施例，本公开采用如下技术方案：
[0006]一种持久化集群日志处理方法，包括：
[0007]获取待处理的集群日志数据，配置过滤规则；
[0008]通过所述的过滤规则对集群日志进行抓取，再将抓取到的日志传递给elasticsearch进行本地保存；
[0009]配置与数据库的同步策略，将传递的日志进行持久化保存；
[0010]实时的抓取数据库中的日志进行二次清洗，清洗完毕后进行数据库中的日志更新。
[0011]根据一些实施例，本公开采用如下技术方案：
[0012]一种持久化集群日志处理系统，包括：
[0013]预处理模块，用于获取待处理的集群日志数据，配置过滤规则；
[0014]一次清洗模块，用于通过所述的过滤规则对集群日志进行抓取，再将抓取到的日志传递给elasticsearch进行本地保存；配置与数据库的同步策略，将传递的日志进行持久化保存；
[0015]二次清洗模块，用于实时的抓取数据库中的日志进行二次清洗，清洗完毕后进行数据库中的日志更新。
[0016]根据一些实施例，本公开采用如下技术方案：
[0017]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种持久化集群日志处理方法。
[0018]根据一些实施例，本公开采用如下技术方案：
[0019]一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算
机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种持久化集群日志处理方法。
[0020]与现有技术相比，本公开的有益效果为：
[0021]本公开的方法相比传统的集群作业日志收集，本公开的日志收集多了日志清洗以及持久化操作，有以下优点：第一，日志经过清洗，体量变小了而且可用度提高了；第二，对外展示更明确，更容易找到集群日志的关键信息。第三，作业日志持久化对计费校对、用户查阅其以往作业信息日志提供了保障。
附图说明
[0022]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0023]图1为本公开实施例中逻辑与实际关联示意图；
[0024]图2为本公开实施例中流程图。
具体实施方式
[0025]下面结合附图与实施例对本公开作进一步说明。
[0026]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0027]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0028]实施例1
[0029]本公开的一种实施例中提供了一种持久化集群日志处理方法，如图2所示，包括以下步骤：
[0030]步骤一：获取待处理的集群日志数据，配置过滤规则；
[0031]步骤二：通过所述的过滤规则对集群日志进行抓取，再将抓取到的日志传递给elasticsearch进行本地保存；抓取方式为读取文件内容，再将抓取到的日志传递给elasticsearch进行本地保存；
[0032]步骤三：配置与数据库的同步策略，将传递的日志进行持久化保存；
[0033]在logstash的配置文件中，添加数据库相关配置，将数据传递给elasticsearch的同时也保存到数据库中，将日志进行数据库持久化保存。
[0034]步骤四：实时的抓取数据库中的日志进行二次清洗，清洗完毕后进行数据库中的日志更新。
[0035]在步骤一中，配置过滤规则为根据自己的需要，在logstash的配置文件中配置过滤规则，比如根据日志名称、日志内容、日志时间等进行过滤，logstash就会根据该规则抓取日志；使用日志抓取工具，配置过滤规则，通过规则抓取相应的日志。将抓取到的日志传递给elasticsearch，日志可以在elasticsearch中可以进行本地保存。并且配置与数据库
的同步策略，将传递过来的日志同步到数据库中，实现日志持久化保存，elasticsearch中的日志则进行一段时间的保留，在elasticsearch中设置过期时间，来判断是否过期，过期的则删除，以保证elasticsearch的日志实时展示，并且不降低工作效率。编写清洗程序，通过程序阶段性的抓取数据库中同步过来的日志，清洗过程为：程序通过定时任务的方式实时的抓取数据库中同步过来的日志，根据对日志的要求，比如需要日志时间、人员名称，不需要日志的备注，就可以根据此规则保留或者删除相关字段，完成二次清洗集群作业日志，清洗完毕更新到数据库中。经过一次清洗的日志，也就是elasticsearch中的日志通过可视化工具进行对外展示，以保证实时监管日志情况；经过二次清洗的日志，也就是数据库中清洗后的日志为集群计费工作作相应的校对，并做长期保存以供用户随时查询。
[0036]校对方式就是在不确定某人费用时，我们根据数据库中某人日志中费用字段，计算出某人的费用详情，比较是否和实际费用一样，并做长期保存以供用户随时查询。
[0037]实施例2
[0038]本公开的一种实施例中提供了一种持久化集群日志处理系统，包括：
[0039]预处理模块，用于获取待处理的集群日志数据，配置过滤规则；
[0040]一次清洗模块，用于通过所述的过滤规则对集群日志进行抓取，再将抓取到的日志传递给elasticsearch进行本地保存；配置与数据库的同步策略，将传递的日志进行持久化保存；
[0041]二次清洗模块，用于实时的抓取数据库中的日志进行二次清洗，清洗完毕后进行数据库中的日志更新。
[0042]实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种持久化集群日志处理方法，其特征在于，包括：获取待处理的集群日志数据，配置过滤规则；通过所述的过滤规则对集群日志进行抓取，再将抓取到的日志传递给elasticsearch进行本地保存；配置与数据库的同步策略，将传递的日志进行持久化保存；实时的抓取数据库中的日志进行二次清洗，清洗完毕后进行数据库中的日志更新。2.如权利要求1所述的一种持久化集群日志处理方法，其特征在于，利用日志抓取工具配置过滤规则，通过规则抓取集群日志。3.如权利要求1所述的一种持久化集群日志处理方法，其特征在于，所述配置与数据库的同步策略是将传递过来的日志同步到数据库中，实现日志的持久化保存。4.如权利要求1所述的一种持久化集群日志处理方法，其特征在于，阶段性的抓取数据库中的日志进行二次清洗的步骤为编写清洗程序，通过程序阶段性的抓取数据库中同步的日志。5.如权利要求1所述的一种持久化集群日志处理方法，其特征在于，所述elasticsearch中的日志进行一段时间的保留，过期的则删除。6.如权利要求1所述的一种持久化集群日志处理方法，其特征在于，elasticsearch中的日志通过...

【专利技术属性】
技术研发人员：涂阳，刘辉，边卓，李国庆，
申请(专利权)人：济南超级计算中心有限公司，
类型：发明
国别省市：