日志信息收集方法及装置制造方法及图纸

本发明专利技术公开了一种日志信息收集方法及装置

【技术实现步骤摘要】
日志信息收集方法及装置、存储介质、终端


[0001]本专利技术涉及应用运维
，特别是涉及一种日志信息收集方法及装置
、
存储介质
、
终端
。

技术介绍

[0002]应用系统的日志信息对生产运维至关重要，在日常运维过程中无论是业务日志
、
接口日志还是异常日志的报错信息都能够为问题和事件的判断提供重要依据
。
随着业务和系统规模的扩大，需要进行日志收集的应用程序
、
以及具体需要收集的日志内容也在不断的更新
、
变化
。
[0003]现有的日志主要利用
flume、filebeat、logstash
等开源或商业日志工具进行收集，其中，采集所针对的目标应用程序
、
以及需要采集的日志内容均是开发人员预先在日志工具上配置完成的，仅能对固定的对象及内容进行收集，导致日志收集的灵活性较低，无法满足不断变化的日志收集需求
。

技术实现思路

[0004]有鉴于此，本专利技术提供一种日志信息收集方法及装置
、
存储介质
、
终端，主要目的在于解决现有日志收集的灵活性较低的问题
。
[0005]依据本专利技术一个方面，提供了一种日志信息收集方法，包括：
[0006]从配置信息存储组件中获取目标配置信息，所述目标配置信息包括采集路径信息
、
存储路径信息，所述配置信息存储组件为分布式存储组件，存储有至少一个日志收集组件的配置信息；
[0007]基于所述采集路径信息进行日志采集，得到初始日志信息；
[0008]基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息，所述目标日志信息包含日志索引
。
[0009]进一步地，所述配置信息存储组件中配置信息的更新过程包括：
[0010]接收配置信息更新指令，所述配置信息更新指令携带有至少一个待更新日志采集组件的属性信息
、
及对应更新内容；
[0011]从所述配置信息存储组件中识别出与所述属性信息匹配的待更新配置信息；
[0012]基于所述更新内容对所述待更新配置信息进行更新
。
[0013]进一步地，所述存储路径信息包括消息队列名称，所述基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息包括：
[0014]按照所述消息队列名称对所述初始日志信息进行存储，得到索引信息；
[0015]基于所述日志输出策略对所述初始日志信息进行切分处理，得到切分处理到后的日志信息；
[0016]基于所述索引信息及所述切分处理到后的日志信息生成日志索引模型；
[0017]将所述日志索引模型关联至搜索引擎，得到目标日志信息
。
[0018]进一步地，所述基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息之后，所述方法还包括：
[0019]按照预设时间间隔，基于异常日志关键词对所述目标日志信息进行搜索，所述异常日志关键词基于历史日志报错信息提取；
[0020]基于搜索结果计算得到所述预设时间间隔内的异常日志数量；
[0021]若所述异常日志数量大于异常数量阈值，则生成与所述异常日志关键词对应的告警信息，并将所述告警信息发送至目标终端
。
[0022]进一步地，所述采集路径信息包括目标端口信息
、
以及与所述目标端口信息对应的日志路径，所述基于所述采集路径信息进行日志采集，得到初始日志信息包括：
[0023]基于所述目标端口信息确定至少一个目标采集对像；
[0024]基于所述日志路径确定所述目标采集对象的待采集日志信息；
[0025]按照预设协程数量对所述待采集日志信息进行逐行并发采集，得到初始日志信息
。
[0026]进一步地，所述基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息之前，所述方法还包括：
[0027]获取日志采集对象的业务类别；
[0028]根据所述业务类别确定日志输出内容
、
日志输出格式；
[0029]基于所述日志输出内容
、
所述日志输出格式对日志打印组件进行风格转换类重置，得到日志输出策略
。
[0030]进一步地，所述日志输出内容至少包括：日志输出时间
、
日志级别
、
线程属性信息
、
日志采集对象的地址信息
、
日志打印类名
、
日志信息内容中的至少一个
。
[0031]依据本专利技术另一个方面，提供了一种日志数据收集装置，包括：
[0032]获取模块，用于从配置信息存储组件中获取目标配置信息，所述目标配置信息包括采集路径信息
、
存储路径信息，所述配置信息存储组件为分布式存储组件，存储有至少一个日志收集组件的配置信息；
[0033]采集模块，用于基于所述采集路径信息进行日志采集，得到初始日志信息；
[0034]存储模块，用于基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息，所述目标日志信息包含日志索引
。
[0035]进一步地，在具体应用场景中，所述配置信息存储组件中配置信息的更新过程包括：
[0036]接收配置信息更新指令，所述配置信息更新指令携带有至少一个待更新日志采集组件的属性信息
、
及对应更新内容；
[0037]从所述配置信息存储组件中识别出与所述属性信息匹配的待更新配置信息；
[0038]基于所述更新内容对所述待更新配置信息进行更新
。
[0039]进一步地，所述存储模块包括：
[0040]存储单元，用于按照所述消息队列名称对所述初始日志信息进行存储，得到索引信息；
[0041]处理单元，用于基于所述日志输出策略对所述初始日志信息进行切分处理，得到切分处理到后的日志信息；
[0042]生成单元，用于基于所述索引信息及所述切分处理到后的日志信息生成日志索引模型；
[0043]关联单元，用于将所述日志索引模型关联至搜索引擎，得到目标日志信息
。
[0044]进一步地，所述装置还包括：
[0045]搜索模块，用于按照预设时间间隔，基于异常日志关键词对所述目标日志信息进行搜索，所述异常日志关键词基于历史日志报错信息提取；
[0046]计算模块，用于基于搜索结果计算得到所述预设时间间隔内的异常日志数量；
[0047]生成模块，用于若所述异常日志数量大于异常数量阈值，则生成与所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种日志信息收集方法，其特征在于，包括：从配置信息存储组件中获取目标配置信息，所述目标配置信息包括采集路径信息
、
存储路径信息，所述配置信息存储组件为分布式存储组件，存储有至少一个日志收集组件的配置信息；基于所述采集路径信息进行日志采集，得到初始日志信息；基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息，所述目标日志信息包含日志索引
。2.
根据权利要求1所述的方法，其特征在于，所述配置信息存储组件中配置信息的更新过程包括：接收配置信息更新指令，所述配置信息更新指令携带有至少一个待更新日志采集组件的属性信息
、
及对应更新内容；从所述配置信息存储组件中识别出与所述属性信息匹配的待更新配置信息；基于所述更新内容对所述待更新配置信息进行更新
。3.
根据权利要求1所述的方法，其特征在于，所述存储路径信息包括消息队列名称，所述基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息包括：按照所述消息队列名称对所述初始日志信息进行存储，得到索引信息；基于所述日志输出策略对所述初始日志信息进行切分处理，得到切分处理到后的日志信息；基于所述索引信息及所述切分处理到后的日志信息生成日志索引模型；将所述日志索引模型关联至搜索引擎，得到目标日志信息
。4.
根据权利要求1所述的方法，其特征在于，所述基于所述存储路径信息
、
日志输出策略对所述初始日志信息进行存储，得到目标日志信息之后，所述方法还包括：按照预设时间间隔，基于异常日志关键词对所述目标日志信息进行搜索，所述异常日志关键词基于历史日志报错信息提取；基于搜索结果计算得到所述预设时间间隔内的异常日志数量；若所述异常日志数量大于异常数量阈值，则生成与所述异常日志关键词对应的告警信息，并将所述告警信息发送至目标终端
。5.
根据权利要求1所述的方法，其特征在于，所述采集路径信息包括目标端口信息
、
以及与所述目标端口信息对应的日志路径，所述基于所述采集路径信息进行日志采集，得到初始日志信息包括：基于所述目标端口信...

【专利技术属性】
技术研发人员：王吉玲，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：