一种基于轻量级的logstash系统技术方案

本发明专利技术公开了一种基于轻量级的logstash系统，涉及互联网技术领域，包括input模块、filter模块以及output模块，使用配置文件yaml格式展示三个模块的基本信息，并使用嵌套字段的模式为变量赋值，input模块阶段主要是由标准输入、Kafka以及本地io操作实现，其中标准输入是指启动服务后由命令行直接输入日志，方便用来测试。该种发明专利技术，为降低对硬件成本的要求，提出全新的系统架构：在input阶段针对相同数据源的信息使用相同的线程进行采集，但在filter与output阶段是在同一管道中进行。为兼顾异构系统之间的日志格式差异，进一步减低开发难度，对相似度计量公式提出新的计算方法，使用字符串动态规划的编辑距离来代替相同索引位置字段值的对比。引位置字段值的对比。引位置字段值的对比。

【技术实现步骤摘要】
一种基于轻量级的logstash系统


[0001]本专利技术涉及互联网
，尤其涉及一种基于轻量级的logstash系统。

技术介绍

[0002]随着互联网行业的快速发展，系统在运行过程中产生的日志呈指数增长。而日志记录着系统的执行路径轨迹，是数据分析的重要来源之一。分布式技术的应用，使得系统的业务逻辑复杂度增加，同时系统集群化和Docker容器化部署等技术的不断发展，导致日志的海量增涨，为后续日志的收集、存储和分析都带来新的技术挑战。日志收集方式有俩种，网络采集与文件采集，文件采集是指系统在运行过程中将产生的日志将以文件的形式保存下来，之后通过读取文件内容将日志收集到日志采集中心，网络采集是指通过日志框架将系统运行过程中产生的日志直接打印到日志采集中心。其中常见的是基于文件采集的方式，比如Filebeat、Logstash等，而采用该方式需要单独启动一个进程用于日志收集，不可避免的带来性能问题。
[0003]日志收集的过程中，为方便后续的日志存储以及日志异常检测分析等功能，需要将日志进行解析处理，相比其他阶段在解析过程中需要花费较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级的logstash系统，包括input模块、filter模块以及output模块，使用配置文件yaml格式展示三个模块的基本信息，并使用嵌套字段的模式为变量赋值，其特征在于，所述input模块阶段主要是由标准输入、Kafka以及本地io操作实现，其中标准输入是指启动服务后由命令行直接输入日志，方便用来测试；所述Kafka需要在配置文件中指明消费的主题以及消费该主题的线程，所述Kafka为不同的系统设置不同的主题，并设置好相应的分区数以及副本数；所述filter阶段为input阶段实现日志收集，filter阶段实现对收集的日志进行解析处理，日志通常是由常量和变量俩部分组成，常量部分通常是描述系统操作的模板；所述output模块为该阶段的主要目的是将解析完成后的日志发送至某个服务器中存储起来，方便后续的可视化以及异常检测分析，常规操作是将解析后的日志发送至ES端存储起来。2.根据权利要求1所述的一种基于轻量级的logstash系统，其特征在于，所述Kafka使用嵌套字段的方式说明消费的主题为app，使用俩个线程读取数据，消费者组的唯一标识为hangout，根据版本问题使用zookeeper来管理Kafka之间的通信，Kafka使用zookeeper来实施对原数据的管理包括集群，broker，主题，分区等内容，设置自动提交数据的间隔为100...

【专利技术属性】
技术研发人员：郭登辉，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：