监控告警系统及方法技术方案

本申请涉及一种监控告警系统及方法，监控告警系统包括实时管控平台、hadoop yarn平台和spark streaming平台；实时管控平台分别与所述hadoop yarn平台和spark streaming平台连接；实时管控平台包括提交模块和告警模块，提交模块用于将spark streaming平台任务提交到hadoop yarn平台；告警模块用于对hadoop yarn平台上任务进行监控和/或告警。本申请可以避免开发人员直接在spark集群提交任务由于误操作造成影响整个集群的稳定性，在streaming任务运行异常时，开发人员可通过告警模块及时了解告警消息和通知。

Monitoring and Warning System and Method

【技术实现步骤摘要】
监控告警系统及方法
本申请涉及计算机网络
，尤其是一种监控告警系统及方法。
技术介绍
Spark是一个分布式计算框架，其核心是弹性分布式数据集，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐。SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，从数据源获取数据之后，可以使用高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。传统SparkStreaming的任务的提交流程为先在本地打包，打好后上传到spark集群，然后通过shell脚本提交任务，但这种操作存在以下弊端：1、开发人员直接在spark集群提交任务，容易造成误操作，严重影响整个集群的稳定性；2、不方便实时查看任务的运行状况，只能登录堡垒机查看；3、streaming任务运行异常时，开发人员收不到告警和通知。
技术实现思路
为至少在一定程度上克服传统SparkStreaming的任务的提交流程存在诸多弊端的问题，本申请提供一种监控告警系统及方法。第一方面，本申请提供一种监控告警系统，包括：实时管控平台、hadoopyarn平台和sparkstreaming平台；所述实时管控平台分别与所述hadoopyarn平台和sparkstreaming平台连接；所述实时管控平台包括提交模块和告警模块，所述提交模块用于将所述sparkstreaming平台任务提交到hadoopyarn平台；所述告警模块用于对hadoopyarn平台上任务进行监控和/或告警。进一步的，所述系统还包括：streaming监控告警模块，所述streaming监控告警模块用于实时采集hadoopyarn平台上streaming任务的信息。进一步的，所述streaming任务的信息包括：节点、应用、应用的历史信息、指定队列的所有任务、指定任务的详细信息中的一种或多种。进一步的，所述实时管控平台，还包括：存储模块，所述存储模块用于存储所述streaming任务的信息。进一步的，所述实时管控平台，还包括：展示模块，所述展示模块用于实时展示所述hadoopyarn平台上任务运行数据。进一步的，所述实时管控平台，还包括：更新模块，所述更新模块用于实时更新任务的状态。进一步的，所述实时管控平台，还包括：跟踪模块，所述跟踪模块用于跟踪任务的运行情况。第二方面，本申请提供一种监控告警方法，包括：构建实时管控平台，所述实时管控平台包括提交模块和告警模块；利用所述提交模块将sparkstreaming平台任务提交至hadoopyarn平台；利用所述告警模块对hadoopyarn平台上任务进行监控和/或告警。进一步的，所述方法还包括：实时采集hadoopyarn平台上streaming任务的信息；在所述实时管控平台中存储所述streaming任务的信息。进一步的，所述方法还包括：在所述实时管控平台上实时展示所述hadoopyarn平台上任务运行数据。本申请的实施例提供的技术方案可以包括以下有益效果：本申请中实时管控平台包括提交模块，提交模块用于将所述sparkstreaming平台任务提交到hadoopyarn平台，避免开发人员直接在spark集群提交任务由于误操作造成影响整个集群的稳定性，实时管控平台包括告警模块用于对hadoopyarn平台上任务进行监控和/或告警在streaming任务运行异常时，开发人员可通过告警模块及时了解告警消息和通知。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是本申请一个实施例提供的一种监控告警系统的结构图。图2是本申请另一个实施例提供的一种监控告警系统结构图。图3是本申请一个实施例提供的一种监控告警方法的流程图。具体实施方式下面结合附图和实施例对本专利技术进行详细的描述。图1是本申请一个实施例提供的监控告警系统的流程图。如图1所示，本实施例提供的监控告警系统，包括：实时管控平台1、hadoopyarn平台2和sparkstreaming平台3；实时管控平台1分别与hadoopyarn平台2和sparkstreaming平台3连接；实时管控平台1包括提交模块11和告警模块12，提交模块11用于将sparkstreaming平台3任务提交到hadoopyarn平台2；告警模块12用于对hadoopyarn平台2上任务进行监控和/或告警。yarn是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为spark集群的利用率、资源统一管理和数据共享等方面带来了巨大好处。因此，使用hadoopyarn平台2对Streaming任务进行管理，可以提高spark集群的利用率，满足数据共享要求。提交模块11用于将sparkstreaming平台3任务提交到hadoopyarn平台2，开发人员只需在提交模块11提交任务，避免在sparkstreaming平台3中直接提交任务，从而减少开发人员误操作造成的影响，提高spark集群的稳定性。Streaming是一种数据传送技术，它把客户机收到的数据变成一个稳定连续的流，源源不断地送出，使用户听到的声音或看到的图象十分平稳，而且用户在整个文件送完之前就可以开始在屏幕上浏览文件。streaming任务最怕的就是延迟，延迟就是处理数据缓慢，严重了甚至没有数据写入，使得数据使用方无数据可用，造成严重网络事故。监控告警可以让实时任务开发人员以及项目相关负责人第一次时间知道任务的状况，告警模块12在发现有延迟或者失败的任务时，可以及时处理，从而避免了任务延迟，避免造成网络瘫痪。因此，将实时管控平台1分别与hadoopyarn平台2和sparkstreaming平台3连接，可以处理实时、大数据任务，提高任务规范和集群稳定性。本实施例中，实时管控平台包括提交模块，提交模块用于将所述sparkstreaming平台任务提交到hadoopyarn平台，避免开发人员直接在spark集群提交任务由于误操作造成影响整个集群的稳定性，实时管控平台包括告警模块用于对hadoopyarn平台上任务进行监控和/或告警在streaming任务运行异常时，开发人员可通过告警模块及时了解告警消息和通知。图2是本申请另一个实施例提供的一种监控告警系统结构图。如图2所示，在上一实施例基础上，本实施例的系统包括：作为本专利技术可选的一种实现方式，所述系统还包括：streaming监控告警模块4，streaming监控告警模块4用于实时采集hadoopyarn平台上streaming任务的信息。streaming任务的信息采集是用Hadoopyarn自带的一系列webserviceRESTAPI完成,通过这些API接口可以访问整个spark集群，从而完成采集hadoopyarn平台上streaming任务的信本文档来自技高网...

【技术保护点】
1.一种监控告警系统，其特征在于，包括：实时管控平台、hadoop yarn平台和spark streaming平台；所述实时管控平台分别与所述hadoop yarn平台和spark streaming平台连接；所述实时管控平台包括提交模块和告警模块，所述提交模块用于将所述spark streaming平台任务提交到hadoop yarn平台；所述告警模块用于对hadoop yarn平台上任务进行监控和/或告警。

【技术特征摘要】
1.一种监控告警系统，其特征在于，包括：实时管控平台、hadoopyarn平台和sparkstreaming平台；所述实时管控平台分别与所述hadoopyarn平台和sparkstreaming平台连接；所述实时管控平台包括提交模块和告警模块，所述提交模块用于将所述sparkstreaming平台任务提交到hadoopyarn平台；所述告警模块用于对hadoopyarn平台上任务进行监控和/或告警。2.根据权利要求1所述的监控告警系统，其特征在于，还包括：streaming监控告警模块，所述streaming监控告警模块用于实时采集hadoopyarn平台上streaming任务的信息。3.根据权利要求2所述的监控告警系统，其特征在于，所述streaming任务的信息包括：节点、应用、应用的历史信息、指定队列的所有任务、指定任务的详细信息中的一种或多种。4.根据权利要求2所述的监控告警系统，其特征在于，所述实时管控平台，还包括：存储模块，所述存储模块用于存储所述streaming任务的信息。5.根据权利要求1所...

【专利技术属性】
技术研发人员：张磊磊，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：上海,31