一种主机运维分析方法技术

本发明专利技术涉及一种主机运维分析方法，服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。本发明专利技术采用Flume结合Kafka的数据采集和分发模式，具有数据整合以及运维效率高的特点。

A Method of Operation and Maintenance Analysis for Host Engine

【技术实现步骤摘要】
一种主机运维分析方法
本专利技术涉及一种主机运维分析方法，特别涉及一种整合数据采集、处理，实现数据全面的运维分析的主机运维分析方法，属于主机运维分析领域。
技术介绍
目前主机系统的运维还是基于传统的监控工具，包括传统的界面以及未经整合的、孤立的工具，平台端的运维管理工具各自为政，比如RMF，DB2都有平台端监控，但是只能监控各自产品。第三方传统的监控工具，比如TMON，BMC，CA等监控工具系统消耗大，并且每种工具都有自己的报告和数据，由不同专业人员负责数据的处理和分析。目前的运维方式，普遍存在以下缺陷：⑴界面不友好，操作需要使用大量命令，操作门槛较高；⑵平台工具各自为政，无法整合，不利于大数据跨界发掘和分析；⑶目前的平台端工具过于死板，远远不能满足客户灵活且不断发展的运维需求；⑷大多数为非实时数据，多数用于事后分析，无法实时监控并提供预警；⑸占用昂贵的主机资源，如CPU和存储资源。
技术实现思路
本专利技术主机运维分析方法公开了新的方案，采用Flume结合Kafka的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，解决了现有方案过度占用系统资源以及运维效率低的问题。本专利技术主机运维分析方法，主机运维分析方法基于服务器运行，服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。进一步，本方案的方法的数据采集模块还包括数据搜索模块，数据搜索模块从主机搜索SMF数据、日志类数据发送给Flume数据采集传输模块。进一步，本方案的方法的数据采集模块还包括脚本解析模块，主机的自定义格式数据经脚本解析模块处理后发送给Flume数据采集传输模块。进一步，本方案的方法的实时流处理模块包括Redis数据库，Redis数据库存储流处理数据。进一步，本方案的方法的WEB服务模块包括实时事件告警模块、问题原因自动分析模块、实时系统监控模块、实时交易性能分析模块、实时系统日志分析模块、在线交易性能分析模块、DB2运维分析建议模块、趋势分析模块、配置分析模块、容量分析模块、变更管理模块、健康检查模块、安全审计模块、问题管理模块、报表模块、知识库，WEB服务模块调取数据存储检索分析模块的数据后根据设定的算法实现数据加工结果输出。本专利技术主机运维分析方法采用Flume结合Kafka的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，具有数据整合以及运维效率高的特点。附图说明图1是基于Flume结合Kafka的数据采集的流程简图。图2是Kafka整合各类数据的流程简图。具体实施方式本专利技术主机运维分析方法，主机运维分析方法基于服务器运行，服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。上述方案采用Flume结合Kafka的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，满足了全面运维的需求。如图1所示，为了进一步整合各类数据，提高数据采集效率，本方案的方法的数据采集模块还包括数据搜索模块，数据搜索模块从主机搜索SMF数据、日志类数据发送给Flume数据采集传输模块。本方案的方法的数据采集模块还包括脚本解析模块，主机的自定义格式数据经脚本解析模块处理后发送给Flume数据采集传输模块。本方案的方法的实时流处理模块包括Redis数据库，Redis数据库存储流处理数据。为了实现WEB服务以及展现，本方案的方法的WEB服务模块包括实时事件告警模块、问题原因自动分析模块、实时系统监控模块、实时交易性能分析模块、实时系统日志分析模块、在线交易性能分析模块、DB2运维分析建议模块、趋势分析模块、配置分析模块、容量分析模块、变更管理模块、健康检查模块、安全审计模块、问题管理模块、报表模块、知识库，WEB服务模块调取数据存储检索分析模块的数据后根据设定的算法实现数据加工结果输出。本方案公开了一种主要用于主机运维分析平台的全面数据采集和处理，最终用于主机全面的运维分析与展现以及管理的自动化处理方法。主机运维分析面对的是大量的不同类型数据，最常见的如下：⑴系统运行日志(operlog)；⑵SMF性能数据；⑶中间件CICS的性能分析数据(PA)；⑷数据库DB2系统表中的数据；⑸各种配置文件；⑹作业运行的输出。等等。以上数据对于全面的运维分析都是必不可少的，通常必须花费大量的人力，分门别类的把各种数据打印成格式化好的报表，然后凭借多年的运维经验找到其中的关联，对发生的问题进行分析判断，或者对系统的运行进行检查。本方案全面采集了主机运维的各类数据，可以满足用户各类需求，本方案的核心就是各种数据的集成整合，所有的数据处理都集中于平台端(服务器)，减轻了主机端昂贵资源的负担。如图1所示，系统使用主机自带软件IOAZ(数据搜索模块)可以直接收集Operlog，SMF数据，并直接与Flume模块对接。部分自定义格式的数据需要经过脚本解析处理后导入Flume模块。基于Flume模块的数据处理特性，可以将数据直接输出到HDFS(分布式文件系统)。Kafka模块经过流处理输出到HBase数据库。基于全面而完整的主机运维大数据，后续的数据分析、发掘、展现就有了坚实的基础。本方案的主机运维分析平台基于Flume结合Kafka完成数据集成，以及相应的流数据集成，将主机上各种实时信息以及非准实时信息传输至开放平台端的主机运维管理平台，具体说就是Flume模块主要完成数据采集，Kafka模块完成数据分发，如图2所示，最终实现以下主要功能：实时系统监控；实时交易分析；历史数据分析，趋势分析；KPI关联分析；报表的自动生成；事件告警/通知/预警，事件管理；问题分析，问题管理；批量运行分析；安全审计；配置管理；容量管理；变更管理。等等。因此，本方案采用Flume模块结合Kafka模块的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，以满足全面的运维需求，各类运维数据在开放平台的大数据整合，可以实现实时的性能展示和分析，同时各类数据可以方便的协同工作，比如配置管理中的长期CPU权本文档来自技高网...

【技术保护点】
1.一种主机运维分析方法，所述主机运维分析方法基于服务器运行，所述服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，所述数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，所述数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，其特征是包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。

【技术特征摘要】
1.一种主机运维分析方法，所述主机运维分析方法基于服务器运行，所述服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，所述数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，所述数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，其特征是包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。2.根据权利要求1所述的主机运维分析方法，其特征在于，所述数据采集模块还包括数据搜索模块，数据搜索模块从主机搜索SMF数据、日志类数据发送给...

【专利技术属性】
技术研发人员：沈杰华，
申请(专利权)人：上海鼎茂信息技术有限公司，
类型：发明
国别省市：上海,31