一种基于分布式存储的日志分析方法及装置制造方法及图纸

本发明专利技术公开了一种基于分布式存储的日志分析方法及装置，包括：日志代理实时收集日志数据，并将日志数据发送至日志后台服务；日志后台服务接收日志数据，根据日志数据确定分片参数及副本参数，并根据分片参数和副本参数对日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。可见，在本实施例中，日志数据的存储采用分布式存储方式，在分布式环境下日志数据采用分片和副本策略，实现了高性能、高伸缩和高可用。并且，分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。

【技术实现步骤摘要】
一种基于分布式存储的日志分析方法及装置
本专利技术涉及日志分析
，更具体地说，涉及一种基于分布式存储的日志分析方法及装置。
技术介绍
日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过对日志的分析检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。目前，通过传统方式对日志数据进行存储分析，速率较慢，且不能存储海量日志数据。因此，如何实现对日志数据的海量存储，以对日志进行分析是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种基于分布式存储的日志分析方法及装置，以实现对日志数据的海量存储及分析。为实现上述目的，本专利技术实施例提供了如下技术方案：一种基于分布式存储的日志分析方法，包括：日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。其中，日志展现模块通过日志接口对日志数据进行分析及展示，包括：所述日志展现模块接收用户输本文档来自技高网...

【技术保护点】
一种基于分布式存储的日志分析方法，其特征在于，包括：日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。

【技术特征摘要】
1.一种基于分布式存储的日志分析方法，其特征在于，包括：日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。2.根据权利要求1所述的日志分析方法，其特征在于，所述日志展现模块通过日志接口对日志数据进行分析及展示，包括：所述日志展现模块接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；所述日志展现模块利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。3.根据权利要求2所述的日志分析方法，其特征在于，所述日志展现模块通过日志接口对日志数据进行分析及展示，包括：所述日志展现模块接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；所述日志展现模块利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。4.根据权利要求3所述的日志分析方法，其特征在于，还包括：所述日志后台服务根据预设的删除策略，对存储的日志数据执行删除操作。5.根据权利要求1-4中任意一项所述的日志分析方法，其特征在于，还包括：所述日志后台服务根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。6...

【专利技术属性】
技术研发人员：王继业，高灵超，杨宁，罗华永，葛华利，王宇飞，
申请(专利权)人：国家电网公司，国网信息通信产业集团有限公司，北京中电普华信息技术有限公司，
类型：发明
国别省市：北京,11