【技术实现步骤摘要】
本专利技术涉及日志数据处理，特别涉及一种日志分布式采集分析系统及方法。
技术介绍
1、日志对负责运维工作的技术人员来说，是一个熟悉的名词，机房中的各种系统、服务器以及网络设备都在不断产生日志，当系统出现故障，有安全入侵和渗透攻击发生时，利用健全的日志记录和分析系统是系统正常运营优化及安全事故响应的基础，而日志管理在企业价值提升的过程中无疑扮演着一个极为关键的角色。
2、现有申请公布号为cn106354765a，名称为一种基于分布式采集的日志分析系统的专利中指出的技术方案包括：日志文件收集应用模块、日志接收应用集群模块、分布式日志存储模块和zookeeper注册中心集群模块，此外，本专利技术还公开了一种基于分布式采集的日志分析方法，通过本专利技术提升了日志处理层和日志存储层的水平扩展能力，同时利用线程隔离原理通过对每次请求生成请求标识做到对跨服务调用日志的分组，清晰定位服务调用过程中的数据日志流转以及异常详情，然而该系统虽然也能定位到异常点，但其并不能对异常点进行准确和高效的识别。
3、结合上述专利和现有技术，在对...
【技术保护点】
1.一种日志分布式采集分析系统，其特征在于，该系统包括：
2.根据权利要求1所述的一种日志分布式采集分析系统，其特征在于，所述日志采集模块获取日志数据的来源包括但不限于操作系统、业务系统、服务器以及网络设备。
3.根据权利要求1所述的所述的一种日志分布式采集分析系统，其特征在于，所述日志索引模块的分布式搜索引擎为Elasticsearch，通过索引进行日志搜索和查询时，使用的索引策略包括时间戳索引、关键字索引以及唯一标识索引；其中，时间戳索引根据日志事件的时间戳进行索引，通过使用时间范围进行分片，将不同时间段的日志数据归属于不同的索引分片；关键...
【技术特征摘要】
1.一种日志分布式采集分析系统，其特征在于，该系统包括：
2.根据权利要求1所述的一种日志分布式采集分析系统，其特征在于，所述日志采集模块获取日志数据的来源包括但不限于操作系统、业务系统、服务器以及网络设备。
3.根据权利要求1所述的所述的一种日志分布式采集分析系统，其特征在于，所述日志索引模块的分布式搜索引擎为elasticsearch，通过索引进行日志搜索和查询时，使用的索引策略包括时间戳索引、关键字索引以及唯一标识索引；其中，时间戳索引根据日志事件的时间戳进行索引，通过使用时间范围进行分片，将不同时间段的日志数据归属于不同的索引分片；关键字索引根据关键字、标签或字段进行索引，使用根据关键字快速定位相关日志，使用倒排索引的方式，将关键字映射到对应的日志记录；唯一标识索引为每条日志记录分配一个唯一标识，并将其作为索引的一部分。
4.根据...
【专利技术属性】
技术研发人员：周保红，刘帅，张玉松，杨锦辉，刘道君，杨洋，赵海波，蒋明，
申请(专利权)人：中国长江电力股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。