一种基于HADOOP的图表监控方法和装置制造方法及图纸

本发明专利技术涉及一种基于HADOOP的图表监控方法和装置，包括：Opentsdb数据库接收Python后台服务器发送的数据信息，数据信息包括主机资源信息和HADOOP集群指标数据信息；Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；Opentsdb数据库接收Grafana插件发送的图表显示请求信息；Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；Opentsdb数据库将所述相关信息发送给所述Grafana插件。本发明专利技术可以更好地了解集群整体情况，减少人员工作量，组建速度快和存储量大。

【技术实现步骤摘要】

本专利技术涉及通信领域，特别是涉及一种基于HADOOP的图表监控方法和装置。
技术介绍
随着网络信息化的发展，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出新的挑战与机遇。大数据具有海量性、多样性、高速性、数据类型繁多，数据价值相对密度低、时效性要求高等特点，已经超出了传统的数据库处理系统的处理能力。数据中隐藏着有价值的模式和信息，利用传统的数据处理的方式，要挖掘出大数据中的信息，需要花费较长时间和巨大的成本，甚至对有些数据无法处理。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于HADOOP的图表监控方法和装置。本专利技术解决上述技术问题的技术方案如下：一种基于HADOOP的图表监控方法，包括：Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。本专利技术的有益效果是：在使用过程中，更好地了解集群整体情况，减少人员工作量，组建速度快和存储量大。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括：所述Grafana插件接收Web页面发送的所述图表显示请求信息。进一步，在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括：所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。进一步，所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。进一步，所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。本专利技术解决上述技术问题的另一技术方案如下：一种基于HADOOP的图表监控装置，包括：数据信息接收单元，用于Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；存储单元，用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；第一图表显示请求信息接收单元，用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；调取单元，用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；第一相关信息发送单元，用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。进一步，还包括：第二图表显示请求信息接收单元，用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前，所述Grafana插件接收Web页面发送的所述图表显示请求信息。进一步，还包括：第二相关信息发送单元，用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后，所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。本专利技术的有益效果是：在使用过程中，更好地了解集群整体情况，减少人员工作量，组建速度快和存储量大。附图说明图1为本专利技术实施例提供的一种基于HADOOP的图表监控方法流程图；图2为本专利技术实施例提供的一种基于HADOOP的图表监控信令流程图；图3为本专利技术实施例提供的一种基于HADOOP的图表监控装置示意图；图4为本专利技术实施例提供的Web页面显示示意图。附图中，各标号所代表的部件列表如下：1、数据信息接收单元，2、存储单元，3、第一图表显示请求信息接收单元，4、调取单元，5、第一相关信息发送单元。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。图1为本专利技术实施例提供的一种基于HADOOP的图表监控方法流程图。参照图1，在步骤S101，Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息。在步骤S102，Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中。这里，Opentsdb数据库通过Hbase数据库存储所有的时序来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics(单位)，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。Opentsdb数据库可以从大规模的集群(包括集群中的网络设备、操作系统、应用程序)中获取相应的metrics(单位)并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。在步骤S103，Opentsdb数据库接收Grafana插件发送的图表显示请求信息。这里，Grafana插件是开源的，它是功能齐全的度量仪表盘和图形编辑器。Grafana插件的主要特性：灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；包括多个数据源等。在步骤S104，Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息。在步骤S105，Opentsdb数据库将所述相关信息发送给所述Grafana插件。在本实施例中，在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括：所述Grafana插件接收Web页面发送的所述图表显示请求信息。在本实施例中，在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括：所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。在本实施例中，所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。在本实施例中，所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。图2为本专利技术实施例提供的一种基于HADOOP的图表监控信令流程图。参照图2，在步骤S201，Python后台服务器获取数据信息。这里，数据信息包括主机资源信息和HADOOP集群指标数据信息。在步骤S202，Python后台服务器将数据信息发送给Opentsdb数据库。在步骤S203，Opentsdb数据库将数据信息发送给Hbase数据库。在步骤S204，Hbase数据库将数据信息进行存储。在步骤S205，Web页面向Grafana插件发送图表显示请求信息。在步骤S206，Grafana插本文档来自技高网...

【技术保护点】
一种基于HADOOP的图表监控方法，其特征在于，包括：Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。

【技术特征摘要】
1.一种基于HADOOP的图表监控方法，其特征在于，包括：Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。2.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括：所述Grafana插件接收Web页面发送的所述图表显示请求信息。3.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括：所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。4.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。5.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量...

【专利技术属性】
技术研发人员：刘志吉，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11