【技术实现步骤摘要】
一种针对Hive数据仓库的数据监控方法及装置
本申请涉及数据仓库领域，尤其涉及一种针对Hive数据仓库的数据监控方法及装置。
技术介绍
随着大数据技术的不断发展，大数据平台在现代企业中应用率越来越高，已经成为现代企业数据管理中的一种重要的技术手段。其中，Hive数据仓库的应用尤为广泛。Hive是基于分布式系统基础架构Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的数据查询功能。通过Hive数据仓库，用户可以将数据进行有效记录整理和存储。但是，由于现有技术中缺乏对Hive数据仓库进行数据监控的手段，当Hive数据仓库中的数据出现问题时，用户难以发现问题数据，从而导致问题数据被用户加以应用，造成不必要的损失。
技术实现思路
为了解决现有技术存在的上述技术问题，本申请提供了一种针对Hive数据仓库的数据监控方法及装置，以实现及时发现Hive数据仓库中的问题数据的目的。本专利技术实施例提供了一种针对Hive数据仓库的数据监控方法，所述方法包括：...
【技术保护点】
1.一种针对Hive数据仓库的数据监控方法，其特征在于，包括：/n引入网页Web界面，使用户在所述Web界面设置监控参数；/n所述Web界面将所述监控参数发送给分析模块，使所述分析模块根据所述监控参数找到所需数据位置，依据所述监控参数从所述位置中获取所需监控指标，并对所述监控指标进行缓存；/n所述Web界面接收所述分析模块发送的所述监控指标并进行展现。/n
【技术特征摘要】
1.一种针对Hive数据仓库的数据监控方法，其特征在于，包括：
引入网页Web界面，使用户在所述Web界面设置监控参数；
所述Web界面将所述监控参数发送给分析模块，使所述分析模块根据所述监控参数找到所需数据位置，依据所述监控参数从所述位置中获取所需监控指标，并对所述监控指标进行缓存；
所述Web界面接收所述分析模块发送的所述监控指标并进行展现。
2.根据权利要求1所述的方法，其特征在于，所述监控参数包括；
需要监控的表的表名、所述表所在的数据库、具体的监控指标、监控的同比周期、偏差百分比阈值。
3.根据权利要求1所述的方法，其特征在于，所述监控指标包括：
数据文件大小、数据总条数、数值型字段的最大最小值、数值型字段的聚合总数值。
4.根据权利要求1所述的方法，其特征在于，所述分析模块根据所述监控参数找到所需数据位置包括：
分析模块根据监控参数中需要监控的表的表名以及所在的数据库找到需要监控的数据表，并获取所述数据表的时间分区。
5.根据权利要求1所述的方法，其特征在于，所述分析模块根据所述监控参数从所述位置中获取所需监控指标进一步包括：
若用户所设置的监控指标为某些字段的最值或聚合总值等需要通过计算得到的值，所述分析模块会先对从所述数据仓库中的获取的数据进行计算，从而获取所述监控指标。
6.根据权利要求1所述的方法，其特征在于，所述Web界面接收所述分析模块发送的所述监控指标并进行展现包括：
展现形式为数据图、数据表格；
展现内容包括各个监控指标的具体数值、多个同比周期的监控结果、问题数据；其中，所述问题数据为某个时间点相对于之前的基准数据偏差大于所述偏差百分比阈值的数据值。
7.一种针对Hive数据仓库的数据监控装置，其特征在于，包括：
Web界面模块，用于为用户提供监控参数设置以及接收分析模块发送的监控指标并进行展现的功能；
...
【专利技术属性】
技术研发人员：和思扬，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。