一种基于大数据流式计算的日志管理方法技术

本发明专利技术公开了一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理；通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流IT运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。

【技术实现步骤摘要】
一种基于大数据流式计算的日志管理方法
本专利技术涉及运维管理
，尤其涉及一种基于大数据流式计算的日志管理方法。
技术介绍
大数据的计算模式可以分为批量计算(batchcomputing)和流式计算(streamcomputing)两种形态，两者需求及性能指标对比如下：性能指标大数据流式计算大数据批量计算计算方式实时批量常驻空间内存硬盘时效性短长有序性无有数据量无限有限数据速率突发稳定是否可重现难易移动对象数据移动程序移动数据精确度较低较高目前市面上主流的日志分析系统，如splunk，ELK，均使用了大数据批量计算的模式，强调大数据的存储，索引，结构化分析等特性。此种计算本文档来自技高网...

【技术保护点】
1.一种基于大数据流式计算的日志管理方法，其特征在于，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理。/n

【技术特征摘要】
1.一种基于大数据流式计算的日志管理方法，其特征在于，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理。


2.根据权利要求1所述的基于大数据流式计算的日志管理方法，其特征在于，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。


3.根据权利要求1所述的基于大数据流式计算的日志管理方法，其特征在于，所述处理触发逻辑单元包括：
接收发送到本机的日志项；
根据日志接收规则进行过滤筛选；
筛选后的日志项根据日志模板解析提取指标，计算统计指标；
根据IT运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。


4.一种基于大数据流式计算的日志管理方法，其特征在于，所述日志管理方法包括以下步骤：
预设有将日志KPI化形成的日志模板文件；
收集待监控的日志文件类型，整理日志监控需求；
将日志监控需求与预置的日志模板进行比对，确认是否符合需求；
如果不符合需求则重新获取符合要求的日志模板；
如果符合需求，则通过符合要求的...

【专利技术属性】
技术研发人员：黄海舟，
申请(专利权)人：上海北塔软件股份有限公司，
类型：发明
国别省市：上海;31