一种基于Logstash的日志管理方法及系统技术方案

本发明专利技术公开了一种基于Logstash的日志管理方法及系统，通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理；通过修改日志管理工具Logstash配置文件将日志原始数据保存至数据存储服务器。通过页面配置实现Logstash配置文件内容配置，无需手动修改Logstash配置文件，新增日志处理更加便捷，原始数据保存至数据存储服务器Elastcisearch，对原始数据查看更加方便快捷和清晰。和清晰。和清晰。

【技术实现步骤摘要】
一种基于Logstash的日志管理方法及系统


[0001]本专利技术涉及数据处理
，具体涉及一种基于Logstash的日志管理方法及系统。

技术介绍

[0002]Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到用户设置的“存储库”中。现有技术中每次新增日志来源及输出目标通过手动修改Logstash配置文件，每次手动修改配置文件收集及转发日志，操作繁琐，并且没有对原始数据进行存储，元数据查看只能通过查看原始日志文件，元数据查看也较为繁琐。

技术实现思路

[0003]为此，本专利技术提供一种基于Logstash的日志管理方法及系统，以解决现有技术中每次需手动修改配置文件、元数据查看只能通过查看原始日志文件存在的操作繁琐问题。
[0004]为了实现上述目的，本专利技术提供如下技术方案：
[0005]根据本专利技术实施例的第一方面，提出了一种基于Logstash的日志管理方法，所述方法包括：
[0006]通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理；
[0007]通过修改日志管理工具Logstash配置文件将日志原始数据保存至数据存储服务器。
[0008]进一步地，所述数据存储服务器采用Elasticsearch服务器，实现原始数据的结构化存储和查询。
[0009]进一步地，通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理，具体包括：
[0010]通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；
[0011]通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
[0012]通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
[0013]进一步地，所述原始数据配置内容包括原始数据列表以及数据字段，所述目标数据配置包括目标数据列表以及数据字段，所述日志配置内容包括数据源、数据输出，所述数据源的配置内容包括数据源ID、字段替换、值转义以及时间格式转换，所述数据输出的配置内容包括输出类型、IP、端口以及主题。
[0014]进一步地，通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日
志的收集和处理，具体还包括：
[0015]由页面配置Logstash配置文件内容，用来进行日志字段和值的处理并转发到分布式发布订阅消息系统Kafka。
[0016]根据本专利技术实施例的第二方面，提出了一种基于Logstash的日志管理系统，所述系统包括：
[0017]页面配置模块，用于通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理；
[0018]原始数据存储模块，用于通过修改日志管理工具Logstash配置文件将日志原始数据保存至数据存储服务器。
[0019]进一步地，所述页面配置模块，具体用于：
[0020]通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；
[0021]通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
[0022]通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
[0023]根据本专利技术实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于Logstash的日志管理系统执行如上任一项所述的方法。
[0024]本专利技术具有如下优点：
[0025]本专利技术提出的一种基于Logstash的日志管理方法及系统，通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理；通过修改日志管理工具Logstash配置文件将日志原始数据保存至数据存储服务器。通过页面配置实现Logstash配置文件内容配置，无需手动修改Logstash配置文件，新增日志处理更加便捷，原始数据保存至数据存储服务器Elastcisearch，对原始数据查看更加方便快捷和清晰。
附图说明
[0026]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0027]图1为本专利技术实施例1提供的一种基于Logstash的日志管理方法的流程示意图；
[0028]图2为本专利技术实施例1提供的一种基于Logstash的日志管理方法的整体实施例流程示意图；
[0029]图3为本专利技术实施例1提供的一种基于Logstash的日志管理方法中原始数据配置页面示意图；
[0030]图4为本专利技术实施例1提供的一种基于Logstash的日志管理方法中目标数据配置页面示意图；
[0031]图5为本专利技术实施例1提供的一种基于Logstash的日志管理方法中日志配置页面
示意图。
具体实施方式
[0032]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]实施例1
[0034]如图1和图2所示，本实施例提出了一种基于Logstash的日志管理方法，所述方法包括：
[0035]S100、通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理。
[0036]如图3、图4和图5所示，通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；
[0037]通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
[0038]通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
[0039]所述原始数据配置内容包括原始数据列表以及数据字段，所述目标数据配置包括目标数据列表以及数据字段，所述日志配置内容包括数据源、数据输出，所述数据源的配置内容包括数据源ID、字段替换、值转义以及时间格式转换，所述数据输出的配置内容包括输出类型、IP、端口以及主题。
[0040]由页面配置Logstash配置文件内容，用来进行日志字段和值的处理并转发到分布式发布订阅消息系统Kafka。
[0041]S200、通过修改日志管理工具Logstash配置文件将日志原始数据保存至数据存储服务器。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Logstash的日志管理方法，其特征在于，所述方法包括：通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理；通过修改日志管理工具Logstash配置文件将日志原始数据保存至数据存储服务器。2.根据权利要求1所述的一种基于Logstash的日志管理方法，其特征在于，所述数据存储服务器采用Elasticsearch服务器，实现原始数据的结构化存储和查询。3.根据权利要求1所述的一种基于Logstash的日志管理方法，其特征在于，通过页面参数配置完成日志管理工具Logstash配置文件内容，实现日志的收集和处理，具体包括：通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。4.根据权利要求3所述的一种基于Logstash的日志管理方法，其特征在于，所述原始数据配置内容包括原始数据列表以及数据字段，所述目标数据配置包括目标数据列表以及数据字段，所述日志配置内容包括数据源、数据输出，所述数据源的配置内容包括数据源ID、字段替换、值转义以及时间格式转换，所述数据输出的配置内容包括输出类型、IP、端口...

【专利技术属性】
技术研发人员：李雪爽，丁子彪，
申请(专利权)人：北京鼎普科技股份有限公司，
类型：发明
国别省市：