一种基于大数据技术的软件系统监控方法技术方案

本发明专利技术公开了一种基于大数据技术的软件系统监控方法，包括大数据平台、系统运行状态监听、系统监控平台；大数据平台是一个文件存储与处理平台，用来对集群系统运行状态数据的汇总、存储与处理；系统运行状态监听是对系统集群监听，通过在子系统中设置监听程序，监听各项系统业务处理的执行结果，并将监听结果形成监听数据信息，发送至大数据平台存储；系统监控平台，将大数据平台存储的集群运行状态数据读取出来，并加以分析总结，最后以直观的形式展现出来。本发明专利技术既能够全面监听系统运行过程，获取系统完整信息，又提供了对监听信息的处理分析和直观展现；同时对高并发和大数据处理能力的支持，使得整个系统的健壮性大大提高。

A software system monitoring method based on big data technology

This invention discloses a software system monitoring method based on large data technology, including large data platform, system running state monitor and system monitoring platform. The large data platform is a file storage and processing platform, which is used to collect, store and process the running state data of the cluster system, and monitor the system running state. To monitor the system cluster, by setting the monitor program in the subsystem, monitor the execution results of the system business processing, and form the monitoring data to form the monitoring data and send it to the large data platform. The system monitoring platform reads the cluster running data stored in the large data platform and analyzes the total data. In the end, it is displayed in a visual form. The invention can not only monitor the running process of the system, obtain the complete information of the system, but also provide the analysis and intuitionistic display of the monitoring information. At the same time, the support of high concurrency and large data processing ability makes the robustness of the whole system greatly improved.

【技术实现步骤摘要】
一种基于大数据技术的软件系统监控方法
本专利技术涉及软件系统监控方法，具体涉及一种基于大数据技术的软件系统监控方法。
技术介绍
软件集成系统的监控，已经出现了一些比较成熟的技术方案；比较常见软件集成系统监控方案主要有：文件记录型和关系数据库记录型。文件记录型方案主要是在每个系统中设立专门的监听程序，用以监听软件系统执行过程，并将监听得到的内容形成监听数据，以文本文件的形成输出，形成系统执行日志文件，通常，系统日志是以天为单位来命名，即每天创建一个新的系统日志文件。文件记录型方案中，系统监控数据与业务数据完全隔离，只需要通过查看当天实时的日志文件，就可以及时了解软件系统的运行状态。当发生故障，只需要取出故障发生时间的系统日志，就可以有效的完成故障分析和定位。文件记录型方案优点是。(1)简单易行，资源占用少。通过简单的方法就可以轻易实现对系统运行全过程记录，并且不会占用太多系统资源，即使应用于集群系统之中，也是由各个子系统分别记录日志，不会因此而产生系统瓶颈，因此也有良好的可拓展性。(2)信息完整，方便故障分析。在理想情况下，可记录所有系统运行信息，因此可查出完整的故障产生过程，轻易完成故障定位。(3)监听信息易于管理。由于系统运行信息都是以文本文件的形式存储，故在简单的环境下就可以查阅监听信息，也方便监听信息备份和转移。关系数据库记录型与文件记录型类似，也是设立系统监听程序来监听软件系统的执行过程。不同的是，这里是将监听得到的过程数据记录到关系数据库中，以数据表的形式来管理。与文件记录型不同的是，监听得到的系统运行数据是以类似业务数据的方式存储在关系数据库中。因此，使得对系统运行状态的监控，可以像业务数据一样直接反馈到平台前端，直观的显示给管理员。故障产生时，可以平台或者工具直接查看数据库中的对应异常记录，就可以完成故障的分析与定位。关系数据库记录型方案的优点是。(1)便于运行信息的提取与分析。系统运行信息可像业务数据一样进行提取，使得对系统运行信息的分析和及时处理变得可以实现，即使是集群系统，仍然可以像业务数据一样集中存储。(2)降低了系统运维的难度。通过对系统运行信息提取、分析和处理，反馈到对应监控平台，形成简单而又直观的结果展现给管理员，使得系统监控和处理变得更加简单易行，效率更高。(3)提高了故障的发现时效，也提高故障分析的效率，使软件系统的可维护性更高。尽管现有的两种软件集成系统监控方案都有各自的优点，然而他们却均存在一定程度的不足。对于文件记录型方案，其存在以下不足。(1)系统运行信息提取和分析不便。系统到了一定规模以后，日志文件中会记录大量的系统运行数据，需要从中提取有效信息和对数据的分析，都是比较困难，要求分析人员有较高的专业素质。(2)无法及时发现故障，对故障分析的效率也不高。关系数据库记录型方案，在一定程度上解决了文件记录型方案的不足，然而它依然存在如下几点不足。(1)会与系统业务产生资源竞争。由于监听数据的处理方式与系统业务数据处理相同，在业务处理时，两者会产生系统资源竞争。而且随着系统业务规模的增加，资源竞争越激烈，甚至可能会影响到系统业务的正常执行。(2)比较适合应用于系统业务规模较小的系统，对于系统业务规模较大的场景，则会因为与业务业务竞争资源而产生系统瓶颈。大数据技术，即是为了应对大数据处理需求而产生的一系列基于新处理模式的数据处理技术和方法，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。随着技术的发展，已经实现的大数据技术有很多。
技术实现思路
鉴于现有技术所存在的上述不足，本专利技术的目的是提供一种基于大数据技术的软件系统监控方法，实现系统状态实时监控、系统错误提醒、系统错误快速定位等功能，提高软件集成系统的健壮性，同时降低软件集成系统的运维成本。本专利技术的技术解决方案是：一种基于大数据技术的软件系统监控方法，包括大数据平台、系统运行状态监听、系统监控平台；所述大数据平台是一个文件存储与处理平台，用来对集群系统运行状态数据的汇总、存储与处理；所述系统运行状态监听是对系统集群监听，即分别对每个子系统进行监听，通过在子系统中设置监听程序，监听各项系统业务处理的执行结果，并将监听结果形成监听数据信息，发送至大数据平台存储；所述系统监控平台，将大数据平台存储的集群运行状态数据读取出来，并加以分析总结，最后以直观的形式展现出来。根据本专利技术实施例，所述大数据平台选择开源生态圈中的Hadoop、Hbase、Zookeeper组成集群构成。根据本专利技术实施例，所述大数据平台包括：基于三个节点的Hadoop集群、基于三个节点的Hbase集群和基于三个节点Zookeeper集合体。根据本专利技术实施例，所述系统运行状态监听的步骤包括：第一步：分别在每个子系统中设置监听程序，监听各项系统业务处理的执行结果；第二步：监听程序监听到各项系统业务处理的执行结果后，立即将监听结果形成监听数据信息，并提交至大数据平台；若监听到异常信息，则向系统监控平台发送异常提醒；第三步：大数据平台接收到监听数据信息后，经处理后存储于平台；第四步：系统监控平台从大数据平台获取系统监听数据信息，分门别类进行统计分析，形成图文信息，展现在监控平台前端；如若收到监听程序异常提醒，则从大数据平台获取相应异常数据信息，加以分析识别，然后向用户发出异常报警，以提醒尽快处理。每个子系统都按照这样的流程，将系统的运行状态提交至大数据平台汇总；整个过程中，运行信息与系统业务处理相互区分，就不会相互之间产生资源竞争，系统业务处理能够正常执行。根据本专利技术实施例，所述系统监控平台包括：系统监控服务和用户界面；所述系统监控服务用于监听数据提取、数据分析处理、异常提醒；所述用户界面用于将分析结果呈现给用户。根据本专利技术实施例，所述系统集群包括系统管理、统计报表、流程控制。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，由于基于大数据技术，能够取得下列有益效果。本专利技术基于大数据技术，通过对软件集成系统运行信息进行登记、处理和分析，既能够全面监听系统运行过程，获取系统完整信息，又提供了对监听信息的处理分析和直观展现，极大的方便了管理员的监控和分析工作。同时，大数据平台对高并发和大数据处理能力的支持，以及系统业务与监听之间的区分，也使得系统监听和系统业务不会产生资源竞争，从而使得整个系统的健壮性大大提高。本专利技术大数据平台与关系数据库记录型相比，它能够承载更高的并发；本专利技术中选择开源生态圈中的Hadoop、Hbase、Zookeeper组成集群构成大数据平台，用以处理监听系统集群所产生的高并发、大量数据的提交。本专利技术系统运行监控平台可看作一个独特的子系统，被设计用以将大数据平台存储的集群运行状态数据读取出来，并加以分析总结，最后以比较直观的形式展现出来。在这里，既可以查看集群各子系统的实时运行状态，也可以查看各子系统产生的故障信息，以及各项历史数据统计，从而可以了解每一个子系统的健壮性。附图说明图1是基于大数据技术的软件监控总体结构图；图2是基于大数据的软件系统监控系统架构图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，本文档来自技高网...

【技术保护点】
1.一种基于大数据技术的软件系统监控方法，其特征在于包括大数据平台、系统运行状态监听、系统监控平台；所述大数据平台是一个文件存储与处理平台，用来对集群系统运行状态数据的汇总、存储与处理；所述系统运行状态监听是对系统集群监听，即分别对每个子系统进行监听，通过在子系统中设置监听程序，监听各项系统业务处理的执行结果，并将监听结果形成监听数据信息，发送至大数据平台存储；所述系统监控平台，将大数据平台存储的集群运行状态数据读取出来，并加以分析总结，最后以直观的形式展现出来。

【技术特征摘要】
1.一种基于大数据技术的软件系统监控方法，其特征在于包括大数据平台、系统运行状态监听、系统监控平台；所述大数据平台是一个文件存储与处理平台，用来对集群系统运行状态数据的汇总、存储与处理；所述系统运行状态监听是对系统集群监听，即分别对每个子系统进行监听，通过在子系统中设置监听程序，监听各项系统业务处理的执行结果，并将监听结果形成监听数据信息，发送至大数据平台存储；所述系统监控平台，将大数据平台存储的集群运行状态数据读取出来，并加以分析总结，最后以直观的形式展现出来。2.根据权利要求1所述的一种基于大数据技术的软件系统监控方法，其特征在于所述大数据平台选择开源生态圈中的Hadoop、Hbase、Zookeeper组成集群构成。3.根据权利要求2所述的一种基于大数据技术的软件系统监控方法，其特征在于所述大数据平台包括：基于三个节点的Hadoop集群、基于三个节点的Hbase集群和基于三个节点Zookeeper集合体。4.根据权利要求1所述的一种基于大数据技术的软件系统监控方法，...

【专利技术属性】
技术研发人员：朱昌发，黄琛，
申请(专利权)人：武汉长江通信智联技术有限公司，
类型：发明
国别省市：湖北,42