大数据中心运维监控系统及方法技术方案

本发明专利技术提供一种大数据中心运维监控系统，包括：数据采集模块、统一管理模块、数据处理模块、业务应用模块；数据采集模块用于实现数据信息的采集、汇聚与存储，其中所述数据信息包含状态信息、运维信息与处理结果信息；统一管理模块用于实现数据信息与设备设施的统一管理，并通过WebService接口对外提供服务；其中所述设备设施包含硬件设备与中间件软件；数据处理模块实现对数据信息的提取、聚合和分析；并返回处理结果；业务应用模块用于实现对数据信息的呈现；调取统一管理模块提供的接口，实现对设备的控制，支撑对运维业务的管理。本发明专利技术提供了业务覆盖全面、技术体系完整的运维监控系统。

Operation and Maintenance Monitoring System and Method for Large Data Center

The invention provides a large data center operation and maintenance monitoring system, which includes: data acquisition module, unified management module, data processing module and business application module; data acquisition module is used to realize data information acquisition, aggregation and storage, in which data information includes state information, operation and maintenance information and processing result information; and unified management module is used to realize data information and business application module. Unified management of equipment and facilities and providing services to the outside world through Web Service interface; the equipment and facilities include hardware equipment and middleware software; data processing module realizes the extraction, aggregation and analysis of data information; and returns the processing results; business application module is used to realize the presentation of data information; calls the interface provided by unified management module to realize the equipment. Control and support the management of operation and maintenance business. The invention provides an operation and maintenance monitoring system with comprehensive business coverage and complete technical system.

【技术实现步骤摘要】
大数据中心运维监控系统及方法
本专利技术涉及运维监控
，特别是涉及一种应用于大数据中心的运维监控系统及方法。
技术介绍
随着Hadoop系统的产生与应用，越来越多的公司宣称自己采用了大数据技术，国家陆续颁布了大数据相关的法律法规。但从实际情况来看，中、小型企业仍然以传统数据库应用为主，而省市地方政府仍在使用流存储、存储矩阵、BI等传统数据应用方式，并宣称其采用了大数据技术。由此可见，大数据技术普及速度缓慢，原因在于大数据技术虽在数据挖掘、人工智能等领域具有突出的优势，但对于绝大多数用户来说，运维的成本与可见的效益成了主要矛盾。由于传统的网站和业务系统所采用的技术、产品及解决方案较为成熟，极少出现运维问题，技术人员只需掌握较少的技能就可以胜任工作。而采用大数据技术之后，由于组件和生态并不成熟，加上技术栈急剧增加，导致能够承担运维工作的技术人员稀缺，使得这些部门难以招聘到合适的人员运维已经部署的大数据系统。现有技术中公开了一些监控系统，如公开号为CN106549829A的专利文献《大数据计算平台监控系统及方法》；公开号为CN103001806A的专利文献《用于IT系统的分布式运维监控系统》、公开号为CN106375119A的专利文献《运维监控系统及方法》等等，分析其中的技术细节可知，其对大数据运维体系和技术组成缺乏完整的描述，主要体现在以下几个方面：第一方面：当前工作对大数据中心整体运维业务的支撑力度不足。当前工作针对运维管理的部分内容，包含状态监控、图形化管理、任务提交等，并没有覆盖运维所需的所有工作内容；第二方面：当前工作缺乏对大数据中心运维监控系统技术构成的全面描述。当前工作针对于某一方面描述技术体系，缺乏对大数据中心整体技术体系的构建；第三方面：当前工作缺乏数据信息与运维业务的关联性描述。当前工作针对监控信息管理、运维工作管理，并没有对建立数据信息与运维业务的关联，进而描述数据信息对运维业务的支撑方式。
技术实现思路
本专利技术的目的在于克服现有技术中存在的不足，提供一种大数据中心运维监控系统及方法，从而针对现代大数据中心的设备设施和运维业务，提供业务覆盖全面、技术体系完整的运维监控系统。本专利技术采用的技术方案是：一种大数据中心运维监控系统，包括：数据采集模块、统一管理模块、数据处理模块、业务应用模块；所述的数据采集模块，用于实现数据信息的采集、汇聚与存储，其中所述数据信息包含状态信息、运维信息与处理结果信息；所述的统一管理模块，用于实现数据信息与设备设施的统一管理，并通过WebService接口对外提供服务；其中所述设备设施包含硬件设备与中间件软件；所述的数据处理模块，用于实现对数据信息的提取、聚合和分析；并返回处理结果；所述的业务应用模块，用于实现对数据信息的呈现；调取统一管理模块提供的接口，实现对设备的控制，支撑对运维业务的管理。进一步地，数据采集模块具体包括：消息单元，用于实现状态信息的采集、汇聚、传输；缓存单元，用于存储需要实时调取和处理的状态信息；结构化数据存储单元，用于运维信息和处理结果的采集和存储；列式数据存储单元，用于存储状态信息，所述状态信息包含设备运行状态数据、操作系统运行状态数据与中间件运行状态数据。进一步地，统一管理模块具体包括：状态信息管理单元，用于实现对状态信息的管理，对外以WebService接口提供服务；所述运维信息管理单元，用于实现对运维信息的管理，对外以WebService接口提供服务；所述设备管控单元，用于实现对硬件设备的管理，对外以WebService接口提供服务；所述中间件管控单元，用于实现对中间件软件的管理，对外以WebService接口提供服务。进一步地，数据处理模块具体包括：效能评估单元，用于实现对运维信息的提取、聚合与分析，并返回处理结果；异常检测单元，用于实现对状态信息的提取、聚合与分析，通过实时比对历史状态信息，判断系统运行状态是否正常，并返回处理结果；关联分析单元，用于实现运维信息与状态信息的关联分析，并返回处理结果。进一步地，业务应用模块具体包括：运维可视化单元，用于实现状态信息和处理结果的实时呈现；运维一体化单元，用于实现对运维信息的利用，支撑对运维业务的管理；可视化操作单元，用于实现硬件设备和中间件软件的可视化操作，通过Web客户端调取设备管控单元、中间件管控单元提供的接口实现可视化操作功能。基于上述大数据中心运维监控系统，本专利技术提出的一种大数据中心运维监控方法，包括以下步骤：步骤S1，采集、汇聚与存储数据信息，其中所述数据信息包含状态信息、运维信息与处理结果信息；步骤S2，统一管理数据信息与设备设施，并通过WebService接口对外提供服务；其中所述设备设施包含硬件设备与中间件软件；步骤S3，提取、聚合和分析数据信息；并返回处理结果；步骤S4，呈现数据信息，调取统一管理模块提供的接口，实现对设备的控制，管理运维业务。本专利技术的优点在于：第一方面：本专利技术提供全面支撑和闭环管理。包括在数据信息上覆盖大数据中心所有设备设施，在运维业务层面覆盖监控和运维等业务工作；第二方面：本专利技术通过提供完整的大数据中心运维管理技术体系，可以实现模块之间的解耦和透明调用，提高技术体系和模块本身的可扩展性；第三方面：本专利技术通过建立数据信息与运维业务的关联，可以实现大数据中心数据信息的充分利用，以支撑监控和运维等业务工作。附图说明图1为本专利技术的运维监控系统结构组成示意图。图2为本专利技术的运维监控方法流程图。图3为本专利技术的运维监控方法第一具体实例的流程图。图4为本专利技术的运维监控方法第二具体实例的流程图。具体实施方式下面结合具体附图和实施例对本专利技术作进一步说明。如图1所示，本专利技术提出的一种大数据中心运维监控系统，包括：数据采集模块1、统一管理模块2、数据处理模块3、业务应用模块4；（一）数据采集模块1，用于实现数据信息的采集、汇聚与存储，其中所述数据信息包含状态信息、运维信息与处理结果信息；数据采集模块具体包括：消息单元11，用于实现状态信息的采集、汇聚、传输；缓存单元12，用于存储需要实时调取和处理的状态信息；结构化数据存储单元13，用于运维信息和处理结果的采集和存储，所述运维信息包含运维人员、运维业务、运维资产等信息；列式数据存储单元14，用于存储状态信息，所述状态信息包含设备运行状态数据、操作系统运行状态数据与中间件运行状态数据；（二）统一管理模块2，用于实现数据信息与设备设施的统一管理，并通过WebService接口对外提供服务；其中所述设备设施包含硬件设备与中间件软件，所述硬件设备包含网络设备、计算设备和存储设备，所述中间件软件包含Hadoop中间件、应用服务中间件和数据库中间件等；统一管理模块具体包括：状态信息管理单元21，用于实现对状态信息的管理，对外以WebService接口提供服务；所述运维信息管理单元22，用于实现对运维信息的管理，对外以WebService接口提供服务；所述设备管控单元23，用于实现对硬件设备的管理，对外以WebService接口提供服务；所述中间件管控单元24，用于实现对中间件软件的管理，对外以WebService接口提供服务；（三）数据处理模块3，用于实现对数据信息的提取、聚合和分析，并返回处理结果；数据处理模块具体包本文档来自技高网...

【技术保护点】
1.一种大数据中心运维监控系统，其特征在于，包括：数据采集模块、统一管理模块、数据处理模块、业务应用模块；所述的数据采集模块，用于实现数据信息的采集、汇聚与存储，其中所述数据信息包含状态信息、运维信息与处理结果信息；所述的统一管理模块，用于实现数据信息与设备设施的统一管理，并通过WebService接口对外提供服务；其中所述设备设施包含硬件设备与中间件软件；所述的数据处理模块，用于实现对数据信息的提取、聚合和分析；并返回处理结果；所述的业务应用模块，用于实现对数据信息的呈现；调取统一管理模块提供的接口，实现对设备的控制，支撑对运维业务的管理。

【技术特征摘要】
1.一种大数据中心运维监控系统，其特征在于，包括：数据采集模块、统一管理模块、数据处理模块、业务应用模块；所述的数据采集模块，用于实现数据信息的采集、汇聚与存储，其中所述数据信息包含状态信息、运维信息与处理结果信息；所述的统一管理模块，用于实现数据信息与设备设施的统一管理，并通过WebService接口对外提供服务；其中所述设备设施包含硬件设备与中间件软件；所述的数据处理模块，用于实现对数据信息的提取、聚合和分析；并返回处理结果；所述的业务应用模块，用于实现对数据信息的呈现；调取统一管理模块提供的接口，实现对设备的控制，支撑对运维业务的管理。2.如权利要求1所述的大数据中心运维监控系统，其特征在于，数据采集模块具体包括：消息单元，用于实现状态信息的采集、汇聚、传输；缓存单元，用于存储需要实时调取和处理的状态信息；结构化数据存储单元，用于运维信息和处理结果的采集和存储；列式数据存储单元，用于存储状态信息，所述状态信息包含设备运行状态数据、操作系统运行状态数据与中间件运行状态数据。3.如权利要求2所述的大数据中心运维监控系统，其特征在于，统一管理模块具体包括：状态信息管理单元，用于实现对状态信息的管理，对外以WebService接口提供服务；所述运维信息管理单元，用于实现对运维信息的管理，对外以WebService接口提供服务；所述设备管控单元，用于实现对硬件设备的管理，对外以WebService接口提供服务；所述中间件管控单元，用于实现对中间件软件的管理，对外以WebService接口提供服务。4.如权利要求3所述的大数据中心运维监控系统，其特征在于，数据处理模块具体包括：效能评估单元，用于实现对运维信息的提取、聚合与分析，并返回处理结果；异常检测单元，用于实现对状态信息的提取、聚合与分析，通过实时比对历史状态信息，判断系统运行状态是否正常，并返回处理结果；关联分析单元，用于实现运维信息与状态信息的关联分析，并返回处理结果。5.如权利要求4所述的大数据中心运维监控系统，其特征在于，业务应用模块具体包括：运维可视化单元，用于实现状态信息和处理结果的实时呈现；运维一体化单元，用于实现对运维信息的利用，支撑对运维业务的管理；可视化操作单元，...

【专利技术属性】
技术研发人员：崔光霁，王艳军，赵旦谱，台宪青，
申请(专利权)人：江苏物联网研究发展中心，
类型：发明
国别省市：江苏,32