数据分析及告警方法和系统技术方案

本发明专利技术提供一种数据分析及告警方法和系统。所述方法包括：管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则；管理服务器将用户配置的所述告警规则与计算服务器的指标进行关联，并将关联结果存储到Hadoop集群的数据库中；Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配，根据匹配结果向管理服务器触发告警；管理服务器按照所述Hadoop集群所触发的告警，发出告警。本发明专利技术能够提升告警功能的性能及稳定性。

【技术实现步骤摘要】
数据分析及告警方法和系统
本专利技术涉及大数据
，尤其涉及一种数据分析及告警方法和系统。
技术介绍
大型互联网公司、超算中心、政府机构以及学校等，由于自身业务的需要，会利用大量的服务器进行业务计算，这些大量的服务器构成一个计算集群。当节点数量较少时，运维人员可以通过人工的方式去管理该计算集群，处理硬件或软件故障。但当计算集群的规模增大时，再通过人工的方式去进行管理，就显得力不从心了。因此就出现了集群管理系统，通过程序对集群的各个节点进行监控，实时反映给运维人员集群健康状况，从而能够大大减少运维人员的工作量，提高工作效率。在集群管理系统中，一个很重要的功能就是告警功能，系统通过对集群节点的各种硬件进行数据采集，再根据一定的规则，判断出节点是否出现异常，如出现异常，则及时通知运维人员进行处理，进而减少由于节点故障造成的损失。现有的集群管理系统大多使用数据库存储采集到的硬件指标数据，再通过定时的轮询判断节点是否异常，因此主要存在以下几点问题：采用数据库作为指标数据的存储方式，当集群规模增大时，大数据量的指标数据会对数据库产生影响，严重时可能引起程序的不稳定，造成告警不及时，影响用户业务；程序运行多为单点方式，所有的计算均在一台服务器上运行，当数据量增多时，会造成服务器负载过高，影响计算速度，进而造成告警功能不稳定；现有的集群管理系统中，用户对于告警的规则的可定制性较差，甚至都是程序预定义好的，当用户对于自己的集群有更合理的管理规则时，由于不能修改告警规则，进而造成无意义的告警。
技术实现思路
本专利技术提供的数据分析及告警方法和系统，能够提升告警功能的性能及稳定性。第一方面，本专利技术提供一种数据分析及告警方法，包括：管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则；管理服务器将用户配置的所述告警规则与计算服务器的指标进行关联，并将关联结果存储到Hadoop集群的数据库中；Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配，根据匹配结果向管理服务器触发告警；管理服务器按照所述Hadoop集群所触发的告警，发出告警。可选地，所述管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则包括：管理服务器接收用户根据自身所维护的计算服务器的运行状况对同一指标配置的不同等级的告警规则。可选地，所述Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配包括：Hadoop集群启动MapReduce作业并分发到所配置的各个节点上，由各个节点对预定时间内各计算服务器的指标数据进行采集和整合并按时间进行排序；Hadoop集群将采集到的指标数据按照时间顺序依次与数据库中存储的告警规则进行匹配。可选地，所述管理服务器按照所述Hadoop集群所触发的告警，发出告警包括：管理服务器按照所述Hadoop集群所触发的告警的告警等级以及告警时间，发出告警。可选地，所述告警规则包括告警阈值和持续时间。第二方面，本专利技术提供一种数据分析及告警系统，所述系统包括管理服务器以及与所述管理服务器连接的多个Hadoop集群，每个Hadoop集群对应多个计算服务器，其中，所述管理服务器，用于接收用户根据自身所维护的计算服务器的运行状况配置的告警规则，将用户配置的所述告警规则与计算服务器的指标进行关联，并将关联结果存储到Hadoop集群的数据库中，并按照所述Hadoop集群所触发的告警，发出告警；所述Hadoop集群，用于对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配，根据匹配结果向管理服务器触发告警。可选地，所述管理服务器，还用于接收用户根据自身所维护的计算服务器的运行状况对同一指标配置的不同等级的告警规则。可选地，所述Hadoop集群，还用于启动MapReduce作业并分发到所配置的各个节点上，由各个节点对预定时间内各计算服务器的指标数据进行采集和整合并按时间进行排序；Hadoop集群将采集到的指标数据按照时间顺序依次与数据库中存储的告警规则进行匹配。可选地，所述管理服务器，还用于按照所述Hadoop集群所触发的告警的告警等级以及告警时间，发出告警。可选地，所述告警规则包括告警阈值和持续时间。本专利技术实施例提供的数据分析及告警方法和系统，用户可以根据自身所维护的计算服务器的运行状况在管理服务器上配置告警规则，使得告警规则的配置更加合理、灵活；管理服务器将用户配置的告警规则与计算服务器的指标进行关联后的关联结果存储到Hadoop集群的数据库中，避免大数据量的指标数据对管理服务器的数据库产生影响；告警功能由管理服务器和Hadoop集群共同实现，Hadoop集群负责指标数据的采集、指标数据与告警规则的匹配以及告警的触发，管理服务器根据Hadoop集群触发的告警而发出告警，从而能够提升告警功能的性能及稳定性。附图说明图1为本专利技术一实施例数据分析及告警方法的流程图；图2为本专利技术一实施例数据分析及告警系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种数据分析及告警方法，如图1所示，所述方法包括：S11、管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则。S12、管理服务器将用户配置的所述告警规则与计算服务器的指标进行关联，并将关联结果存储到Hadoop集群的数据库中。S13、Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配，根据匹配结果向管理服务器触发告警。其中，所述指标数据为计算服务器中某个硬件的运行数据，例如：CPU利用率。S14、管理服务器按照所述Hadoop集群所触发的告警，发出告警。本专利技术实施例提供的数据分析及告警方法，用户可以根据自身所维护的计算服务器的运行状况在管理服务器上配置告警规则，使得告警规则的配置更加合理、灵活；管理服务器将用户配置的告警规则与计算服务器的指标进行关联后的关联结果存储到Hadoop集群的数据库中，避免大数据量的指标数据对管理服务器的数据库产生影响；告警功能由管理服务器和Hadoop集群共同实现，Hadoop集群负责指标数据的采集、指标数据与告警规则的匹配以及告警的触发，管理服务器根据Hadoop集群触发的告警而发出告警，从而能够提升告警功能的性能及稳定性。下面对本专利技术实施例数据分析及告警方法进行详细说明。本专利技术实施例利用MapReduce及HBase等技术，实现告警程序可分布式运行，并解决了集群规模增加导致的指标数据过多的问题，并开放了规则编写限制，让运维人员可根据自身集群的实际状态指定更为合理的告警规则。首先，用户根据自身所维护的计算服务器的运行状况，在管理服务器上合理配置告警规则，包含告警阈值、持续时间等。并且可以对同一指标配置不同等级的规则，实现分级告警。然后，管理服务器中的告警本文档来自技高网...

【技术保护点】
1.一种数据分析及告警方法，其特征在于，包括：管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则；管理服务器将用户配置的所述告警规则与计算服务器的指标进行关联，并将关联结果存储到Hadoop集群的数据库中；Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配，根据匹配结果向管理服务器触发告警；管理服务器按照所述Hadoop集群所触发的告警，发出告警。

【技术特征摘要】
1.一种数据分析及告警方法，其特征在于，包括：管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则；管理服务器将用户配置的所述告警规则与计算服务器的指标进行关联，并将关联结果存储到Hadoop集群的数据库中；Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配，根据匹配结果向管理服务器触发告警；管理服务器按照所述Hadoop集群所触发的告警，发出告警。2.根据权利要求1所述的方法，其特征在于，所述管理服务器接收用户根据自身所维护的计算服务器的运行状况配置的告警规则包括：管理服务器接收用户根据自身所维护的计算服务器的运行状况对同一指标配置的不同等级的告警规则。3.根据权利要求1或2所述的方法，其特征在于，所述Hadoop集群对各计算服务器的指标数据进行采集，并将采集到的指标数据与数据库中存储的告警规则进行匹配包括：Hadoop集群启动MapReduce作业并分发到所配置的各个节点上，由各个节点对预定时间内各计算服务器的指标数据进行采集和整合并按时间进行排序；Hadoop集群将采集到的指标数据按照时间顺序依次与数据库中存储的告警规则进行匹配。4.根据权利要求3所述的方法，其特征在于，所述管理服务器按照所述Hadoop集群所触发的告警，发出告警包括：管理服务器按照所述Hadoop集群所触发的告警的告警等级以及告警时间，发出告警。5.根据权利要求1至4中任一项所述的...

【专利技术属性】
技术研发人员：王榕，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京,11