一种基于可视化配置的日志处理方法技术

本公开的实施例提供了一种基于可视化配置的日志处理方法、装置、设备和计算机可读存储介质。所述方法包括基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置；根据预先配置的采集参数，采集日志数据；根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段；根据预先配置的输出参数，对所述标准字段进行存储和/或转发。以此方式，实现了以可视化配置的方式配置解析规则，降低了日志解析的难度。降低了日志解析的难度。降低了日志解析的难度。

【技术实现步骤摘要】
一种基于可视化配置的日志处理方法


[0001]本公开的实施例一般涉及数据处理领域，并且更具体地，涉及一种基于可视化配置的日志处理方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]日志文件是用于记录系统操作事件的记录文件或文件集合，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在计算机系统中，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志记录，包括跟踪和分析，是任何监控、分析基础设置中的一个基本过程。大部分系统或程序输出的日志有不同的特性，没有统一预定的格式，只是一段自由格式的文本。
[0003]当前，对日志文件进行解析的方案大多是通过代码的方式实现的，如通过shell脚本语言等编程语言利用正则表达式解析日志。还有就是利用第三方开源的日志采集组件如logstash，在logstash的配置文件中写相应的解析脚本。
[0004]但是，不管是通过shell脚本语言等编程语言利用正则表达式解析日志，还是采用第三方开源的日志采集组件如logstash等。都没有可视化的配置界面，缺乏测试功能，只本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可视化配置的日志处理方法，其特征在于，基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置；根据预先配置的采集参数，采集日志数据；根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段；根据预先配置的输出参数，对所述标准字段进行存储和/或转发。2.根据权利要求1所述的方法，其特征在于，所述基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置包括：分别调用与所述采集、解析和输出参数相匹配的插件，对所述采集、解析和输出参数进行检测。3.根据权利要求2所述的方法，其特征在于，所述根据预先配置的采集参数，采集日志数据包括：根据预先配置的ip地址和端口参数，调用syslog插件，采集syslog形式的日志数据存入解析队列；和/或根据预先配置的数据库链接及数据表的采集频率参数，调用JDBC插件，采集JDBC形式的日志数据存入解析队列；和/或根据预先配置的kafka地址和队列名称参数，调用kafka插件，采集消息形式的日志数据存入解析队列。4.根据权利要求3所述的方法，其特征在于，所述根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段包括：从所述解析队列中提取所述日志数据；对所述日志数据进行解析，得到初步解析结果；若所述初步解析结果包含预设数据信息，则根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的标准字段。5.根据权利要求4所述的方法，其特征在于，所述根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的标准字段...

【专利技术属性】
技术研发人员：解建华，刘玉权，陈刚，高霞，梁群，
申请(专利权)人：中通服创发科技有限责任公司，
类型：发明
国别省市：