一种对Hive数据仓库进行可视化监控的方法和装置制造方法及图纸

本发明专利技术实施例公开了一种对Hive数据仓库进行可视化监控的方法和装置，所述方法包括：通过缓存器存储Hive数据仓库各个表及分区的特定信息以及任务例行信息；例行任务提交时，通过结构化查询语言sql解析器对所存储的信息进行解析；解析各表信息后获取每张表中信息之间的关系，并将所述每张表的信息及关系进行合并，得到每张表的各个维度的合并信息；读取每张表的各个维度的所述合并信息，用于web页面展示。本发明专利技术实施例能够对错综复杂的数据库表依赖关系进行梳理，对集群任务进行优化调整，使管理者可以观察数据仓库的各个维度，提高了监控便捷性，降低了管理成本。

A visual monitoring method and device for hive data warehouse

The embodiment of the invention discloses a method and device for visual monitoring of hive data warehouse, the method includes: storing specific information and task routine information of each table and partition of hive data warehouse through buffer; parsing the stored information through SQL parser of structured query language when routine task is submitted; obtaining each table after parsing the information of each table The relationship between the information in, and the information and relationship of each table are combined to get the combined information of each dimension of each table; read the combined information of each dimension of each table for web page display. The embodiment of the invention can sort out the complicated database table dependency, optimize and adjust the cluster task, enable the manager to observe all dimensions of the data warehouse, improve the monitoring convenience, and reduce the management cost.

【技术实现步骤摘要】
一种对Hive数据仓库进行可视化监控的方法和装置
本专利技术涉及Hive数据仓库技术，尤指一种对Hive数据仓库进行可视化监控的方法和装置。
技术介绍
Hadoop为一个由Apache基金会所开发的分布式系统基础架构，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的结构化查询语言(StructuredQueryLanguage，SQL)查询功能，可以将sql语句转换为运行于资源管理器yarn之上的计算框架MapReduce任务进行运行。其中，SQL是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。现有技术对企业级Hive数据仓库进行监控中，不能对错综复杂的数据库表依赖关系进行梳理，对集群任务不能进行优化调整；从而使管理者不易观察数据仓库的各个维度，增加了管理维护的繁琐性，业务数据表梳理与掌控的成本很高。
技术实现思路
为了解决上述技术问题，本专利技术实施例提供了一种对Hive数据仓库进行可视化监控本文档来自技高网...

【技术保护点】
1.一种对Hive数据仓库进行可视化监控的方法，其特征在于，包括：/n通过缓存器存储Hive数据仓库各个表及分区的特定信息以及任务例行信息；/n例行任务提交时，通过结构化查询语言sql解析器对所存储的信息进行解析；/n解析各表信息后获取每张表中信息之间的关系，并将所述每张表的信息及关系进行合并，得到每张表的各个维度的合并信息；/n读取每张表的各个维度的所述合并信息，用于web页面展示。/n

【技术特征摘要】
1.一种对Hive数据仓库进行可视化监控的方法，其特征在于，包括：
通过缓存器存储Hive数据仓库各个表及分区的特定信息以及任务例行信息；
例行任务提交时，通过结构化查询语言sql解析器对所存储的信息进行解析；
解析各表信息后获取每张表中信息之间的关系，并将所述每张表的信息及关系进行合并，得到每张表的各个维度的合并信息；
读取每张表的各个维度的所述合并信息，用于web页面展示。


2.根据权利要求1所述的对Hive数据仓库进行可视化监控的方法，其特征在于，包括：
在Hive数据仓库中，定时刷新存储数据仓库各表各分区的信息作为第一类信息，通过缓存器进行存储；
在每次Hive脚本提交后，通过Sql解析器对所述第一类信息中的sql语句进行解析，分析出每段sql的数据源表与对应的目的表，将所述数据源表与所述目的表依赖信息作为第二类信息存入所述缓存器；
将所述sql语句转换为运行于资源管理器yarn之上的计算框架MapReduce任务进行运行，计算并捕获任务的特定信息作为第三类信息，存入所述缓存器。


3.根据权利要求2所述的对Hive数据仓库进行可视化监控的方法，其特征在于，包括：
所述缓存器将存储的第一类信息至第三类信息进行合并，形成针对每张表的合并信息。


4.根据权利要求3所述的对Hive数据仓库进行可视化监控的方法，其特征在于，包括：
所述每张表的合并信息为每张表的详细数据，包括：
分区大小、产出时间、资源消耗、上下游关系。


5.根据权利要求1所述的对Hive数据仓库进行可视化监控的方法，其特征在于，还包括：
读取所述缓存器的最终合并结果，用于在前端提供特定设置。


6.根据权利要求1所述的对Hive数据仓库进行可视化监控的方法，其特征...

【专利技术属性】
技术研发人员：和思扬，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32