集日志收集、解析、存储与服务为一体的日志处理系统技术方案

本发明专利技术涉及大数据技术领域，具体为集日志收集、解析、存储与服务为一体的日志处理系统，包括日志收集模块、日志解析模块、日志服务模块以及日志存储模块；有益效果为：本发明专利技术提出的集日志收集、解析、存储与服务为一体的日志处理系统实现日志采集自动化部署，并支持可视化控制采集的启停；实现日志格式标准化，具有统一的日志模型；实现日志解析热加载，支持可视化更新解析配置；达到TB级日志数据存储，且至少支持秒级页面加载；支持大数据量场景下的高速检索和聚合及异常日志告警；可自定义日志保留策略，以及过期日志的转储策略。以及过期日志的转储策略。以及过期日志的转储策略。

【技术实现步骤摘要】
集日志收集、解析、存储与服务为一体的日志处理系统


[0001]本专利技术涉及大数据
，具体为集日志收集、解析、存储与服务为一体的日志处理系统。

技术介绍

[0002]随着互联网的飞速发展，云操作系统已经越来越流行，但由于其庞大的规模和高度的复杂性，云操作系统运行时，更容易出现各种各样的问题。
[0003]现有技术中，在现代大规模分布式系统的管理中，系统日志一直是检测系统状态的主要来源。系统运行产生的大量日志记录通常是系统管理员排除故障的主要信息来源。
[0004]但是，由于现代系统的规模与日俱增，系统复杂度也不断提升，各种组件生成大量的日志信息，有可能出现比如系统有潜在异常，但被淹没在海量日志中；又比如新版本上线，系统行为有变化，却无法感知等情况，这对于系统管理员排障是一个巨大的挑战。

技术实现思路

[0005]本专利技术的目的在于提供集日志收集、解析、存储与服务为一体的日志处理系统，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：集日志收集、解析、存储与服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.集日志收集、解析、存储与服务为一体的日志处理系统，其特征在于：所述集日志收集、解析、存储与服务为一体的日志处理系统包括：日志收集模块、日志解析模块、日志服务模块以及日志存储模块；日志收集模块，用于采集日志文件中的日志数据，再通过kafka传递给后续模块功能；日志解析模块，利用logstash的插件对日志原始数据进行解析，生成符合标准格式的数据；日志服务模块，用于为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口；日志存储模块，用于将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储，同时实现过期日志的转储。2.根据权利要求1所述的集日志收集、解析、存储与服务为一体的日志处理系统，其特征在于：所述日志收集模块中，在增加新的采集配置时，在对应的采集节点上部署日志采集器，生成配置文件并控制日志采集器进行日志采集，进而实现自动化部署采集日志数据；实时监控采集配置的启用状态，启用状态发生改变时，控制对应采集的启动和停止。3.根据权利要求2所述的集日志收集、解析、存储与服务为一体的日志处理系统，其特征在于：所述日志解析模块分为日志分析和日志解析两部分，日志解析即接收采集到的日志数据，将日志收集数据解析为具有标准格式的日志数据；日志分析即根据配置规则分析日志解析模块解析后的结构化数据，并依据规则决定过程中出现异常日志是否需要发告警。4.根据权利要求3所述的集日志收集、解析、存储与服务为一体的日志处理系统，其特征在于：日志解析过程中要自动更新解析配置，及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件，从而反馈符合标准的日志数据。5.根据权利要求4所述的集日志收集、解析、存储与服务为一体的日志处理系统，其特征在于：所述日志服务模块中为日志采集、日志解析以及其他需要配置的功能模块提供配置界面...

【专利技术属性】
技术研发人员：孙海阳，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：