一种基于hadoop集群的分布式监控系统及其方法技术方案

本发明专利技术涉及一种基于hadoop集群的分布式监控系统及其方法，所述系统包括采集代理模块、资源更新模块、网络监测模块、采集调度模块、告警生成模块和hadoop集群监控模块；所述hadoop集群监控模块与采集代理模块、资源更新模块、网络监测模块、采集调度模块和告警生成模块相连接。所述方法包括（1）采集所需要的探测资源及其所有指标信息；（2）将采集到的数据存储，并缓存；（3）调度并更新采集信息；（4）定时采样生成前台web所需数据图表；（5）监测集群内节点的网络状态；（6）通过阈值确定是否需要告警，告警则生成告警信息。本发明专利技术可作为一套独立的集群监控系统，方便的扩展基础指标库，取回当前指标数值，查看指标的汇聚视图，观察数据时序的趋势等。

【技术实现步骤摘要】

本专利技术属于监控技术，具体将涉及。
技术介绍
Hadoop是一个开源分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称 HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large dataset)的应用程序。Hadoop框架具有高可靠性、高扩展性、高效性、高容错性等特性。随着Hadoop商业化的巨大成功，如何监控庞大的Hadoop集群成为各种Hadoop管理系统的接入点。由于Hadoop本身对JMX的支持，市场上绝大部分Hadoop管理软件都采用的Ganglia监控工具。但现有的hadoop集群监控方案主要是利用hadoop对JMX的支持,通过Ganglia客户端达到集群监控的目的。Ganglia在大规模集群监控方案中会出现诸如单点障碍、网络利本文档来自技高网...

【技术保护点】
一种基于hadoop集群的分布式监控系统，其特征在于，所述系统包括采集代理模块、资源更新模块、网络监测模块、采集调度模块、告警生成模块和hadoop集群监控模块；所述hadoop集群监控模块与采集代理模块、资源更新模块、网络监测模块、采集调度模块和告警生成模块相连接。

【技术特征摘要】
1.一种基于hadoop集群的分布式监控系统，其特征在于，所述系统包括采集代理模块、资源更新模块、网络监测模块、采集调度模块、告警生成模块和hadoop集群监控模块； 所述hadoop集群监控模块与采集代理模块、资源更新模块、网络监测模块、采集调度模块和告警生成模块相连接。2.如权利要求1所述的一种基于hadoop集群的分布式监控系统,其特征在于,所述米集代理模块、网络监测模块和采集调度模块共同完成集群各个节点的物理资源采集及其性能监控。3.如权利要求1所述的一种基于hadoop集群的分布式监控系统,其特征在于，所述Hadoop集群监控模块通过JMX指标设计对Hadoop各组件指标的监控。4.如权利要求1所述的一种基于hadoop集群的分布式监控系统,其特征在于,所述告警生成模块分析所有收集数据生成告警信息。5.一种基于hadoop集群的分布式监控方法,其特征在于,所述方法包括: (1)采集所需要的探测资源及其所有指标信息； (2)将采集到的数据存储，并缓存； (3)调度并更新采集信息； (4)定时采样生成前台web所需数据图表； (5)监测集群内节点的网络状态； (6)通过阈值确定是否需要告警，告警则生成告警信息。6.如权利要求5所述的一种基于hadoop集群的分布式监控方法,其特征在于，所述步骤(I)包括资源探测，信息采集和指标更新。7.如权利要求6所述的一种基于hadoop集群的分布式监控方法,其特征在于,所述资源探测包括 (7-1)采集调度启动； (7-2)向采集管理器注册探测器； (7-3)从管理器内获取探测器实例并进行资源探测； (7-4)将探测到的资源信息返回采集调度； (7-5)由调度器统一发回管理端并插入数据库。8.如权利要求6所述的一种基于hadoop集群的分布式监控方法,其特征在于,所述信息采集包括 (8-1)采集调度启动； (8-2)向采集管理器注册采集器； (8-...

【专利技术属性】
技术研发人员：耿庆民，郭庆，谢莹莹，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业股份有限公司，
类型：发明
国别省市：