一种应用于大数据平台的统一日志管理系统技术方案

本发明专利技术提供一种应用于大数据平台的统一日志管理系统，涉及数据管理技术领域，包括：日志采集模块，用于以插件的方式采集大数据平台的各个服务节点的日志数据并转换为预设标准日志格式后集中保存；前端可视化工具，用于将用户输入的全文检索指令或审计查询指令发送至后台管理模块；后台管理模块根据全文检索指令调用全文检索服务或根据审计查询指令调用审计查询服务，以将获取的全文检索结果或审计查询结果发送至前端可视化工具进行显示。有益效果是通过将各个服务节点的日志数据采用预设标准日志格式进行集中存储，并提供前端可视化工具，有效提升日志数据的查阅效率；提供审计查询服务，能够满足对于操作行为的审计查询的诉求。

【技术实现步骤摘要】

本专利技术涉及数据管理，尤其涉及一种应用于大数据平台的统一日志管理系统。

技术介绍

1、当前大数据平台的服务日志、操作日志分散在服务运行的节点，以文件的方式存储，运维人员线上排障、调优等工作需要登陆各个节点通过vim、less等命令行工具进行日志查阅和检索。

2、由于大数据平台的日志分散存储在各个服务运行的节点，没有集中存储不方便统一管理，另外，缺乏可视化的工具并且不同服务的日志格式差异较大，使用起来非常不便，查阅效率低下，最后对于操作行为的实时审计预警等诉求无法满足。

技术实现思路

1、针对现有技术中存在的问题，本专利技术提供一种应用于大数据平台的统一日志管理系统，包括：

2、日志采集模块，连接日志存储模块，用于以插件的方式采集大数据平台的各个服务节点的日志数据并将所述日志数据转换为预设标准日志格式后集中保存至所述日志存储模块；

3、后台管理模块，连接所述日志存储模块，用于提供全文检索服务和审计查询服务；

4、前端可视化工具，包括全文检索工具和审计查询工具，用本文档来自技高网...

【技术保护点】

1.一种应用于大数据平台的统一日志管理系统，其特征在于，包括：

2.根据权利要求1所述的统一日志管理系统，其特征在于，各所述服务节点中包含对应的日志配置文件；所述统一日志管理系统还包括文件部署模块，连接所述日志采集模块，用于分别于各所述日志配置文件中部署采集参数并关联相应的所述插件，以对各所述日志配置文件进行更新；

3.根据权利要求1所述的统一日志管理系统，其特征在于，所述日志采集模块通过kafka消息队列将具有所述预设标准日志格式的所述日志数据集中存储至所述日志存储模块。

4.根据权利要求1所述的统一日志管理系统，其特征在于，所述日志数据包括服务日志...

【技术特征摘要】

1.一种应用于大数据平台的统一日志管理系统，其特征在于，包括：

2.根据权利要求1所述的统一日志管理系统，其特征在于，各所述服务节点中包含对应的日志配置文件；所述统一日志管理系统还包括文件部署模块，连接所述日志采集模块，用于分别于各所述日志配置文件中部署采集参数并关联相应的所述插件，以对各所述日志配置文件进行更新；

3.根据权利要求1所述的统一日志管理系统，其特征在于，所述日志采集模块通过kafka消息队列将具有所述预设标准日志格式的所述日志数据集中存储至所述日志存储模块。

4.根据权利要求1所述的统一日志管理系统，其特征在于，所述日志数据包括服务日志和操作日志；则所述后台管理模块包括：

5.根据权利要求4所述的统一日志管...

【专利技术属性】
技术研发人员：程栋，顾猛，袁峰，钱明明，熊志文，刘波，张明福，
申请(专利权)人：上海市大数据股份有限公司，
类型：发明
国别省市：