一种基于大数据kudu分区监控和监控慢SQL的方法技术

本发明专利技术公开了一种基于大数据kudu分区监控和监控慢sql的方法，对大量以及分类众多的数据进行集群分类物理分区划分，更直观展示对各个分区系统中存在的数据状态问题、存储量、分区数等，同时对系统中存在的慢sql能直观地查看，应用字典表可动态配置设定好的时间阈值，以此为基准，查询超过此时间阈值的慢sql数量动态趋势变化图，以及各个慢sql运行详情列表状态，使系统维护员能直观看到系统数据问题所在，快速解决系统中存在的因sql导致系统慢链路超时、系统意外中断等问题，解决众多系统存在的sql痛点问题，无需通过链路追踪，方便高效。效。

【技术实现步骤摘要】
一种基于大数据kudu分区监控和监控慢SQL的方法


[0001]本专利技术涉及KUDU
，具体涉及基于大数据kudu分区监控和监控慢sql的方法。

技术介绍

[0002]近年来，KUDU在大数据平台的应用越来越广泛。并且有着不可替代的地位。针对kudu的特点，通常这种海量数据OLAP场景，要不走预处理的方案，比如像EBAY麒麟这样走Cube管理的，或者像谷歌Mesa这样按业务需求走预定义聚合操作。再有就是自己构建数据通道，串接实时和批量处理两种系统，发挥各自的特长。Kudu定位于应对快速变化数据的快速分析型数据仓库，希望靠系统自身能力，支撑起同时需要高吞吐率的顺序和随机读写的应用场景(可能的场景，比如时间序列数据分析，日志数据实时监控分析)，提供一个介于HDFS和HBase的性能特点之间的一个系统，在随机读写和批量扫描之间找到一个平衡点，并保障稳定可预测的响应延迟。当前还缺少有效的kudu分区监控和监控慢sql的方法。

技术实现思路

[0003]针对现有技术的不足，本专利技术旨在提供一种基于大数据kudu分区监控和监控慢sql的方法。
[0004]为了实现上述目的，本专利技术采用如下技术方案：
[0005]一种基于大数据kudu分区监控和监控慢sql的方法，具体过程为：
[0006]Kudu分区监控的过程为：先在执行hive分区调度的时候,配置hive队列、租户，然后根据hadoop集群配置的不同分区，初始化hdfs配置；其后，根据不同集群分区初始化后的hdfs配置，执行kudu分区统计，获得kudu分区统计信息，据此判断是否是cm5或cm6，并根据判断结果获取相应的分区表和存储量大小；插入kudu分区表，获取kudu分区明细统计监控信息，同时获取kudu分区汇总统计监控信息，然后据此对不同kudu分区表情况进行分区监控统计及展示；
[0007]kudu监控调度慢sql信息的过程为：kudu在执行监控调度的时候，根据hadoop集群节点配置ClouderaManagerclientbuilder信息；然后根据字典表中配置的慢查询时间阈值以及过滤条件，查询慢sql结果集，对设定时间段内存在慢sql的情况进行展示，查看详情。
[0008]进一步地，所述字典表中关于慢查询时间阈值、过滤条件和设定时间段的配置均由用户自定义。
[0009]进一步地，在查询得到慢sql结果集后，批量插入Kudu分区监控所得的kudu监控表，获取慢sql详情信息，对设定时间段内存在慢sql的情况进行展示，查看详情。
[0010]本专利技术的有益效果在于：
[0011]1、利用本专利技术方法可以更好地应对各个应用系统中存在的慢sql查询情况，并对各个慢查询的sql执行用户可以逐一进行列表展开、分析，使维护者能更好地优化系统中存在的问题，提高系统性能，使系统链路更快速进行响应，避免因为sql出现链路超时、等待、
中断等一系列问题。
[0012]2、针对大数据量的不同数据类型，本专利技术采用分区统计，对不同的cm获取分区表和存储量也不尽相同，可以针对不同分区的数据进行监控，监控存在异常问题分区的数据，对不同存储量、分区数、状态数据进行统计，让系统维护员更直观地看到存在异常分区数据，不同分区的存储量，分区数，并对存在异常问题分区的数据进行优化，对存储量大的数据可以优化，促使系统数据质量优化，使系统平稳运行。
[0013]本专利技术对大量以及分类众多的数据进行集群分类物理分区划分，更直观展示对各个分区系统中存在的数据状态问题、存储量、分区数等，同时对系统中存在的慢sql能直观地查看，应用字典表可动态配置设定好的时间阈值，以此为基准，查询超过此时间阈值的慢sql数量动态趋势变化图，以及各个慢sql运行详情列表状态，使系统维护员能直观看到系统数据问题所在，快速解决系统中存在的因sql导致系统慢链路超时、系统意外中断等问题，解决众多系统存在的sql痛点问题，无需通过链路追踪，方便高效。
附图说明
[0014]图1为本专利技术实施例方法的流程图。
具体实施方式
[0015]以下将结合附图对本专利技术作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围并不限于本实施例。
[0016]本实施例提供一种基于大数据kudu分区监控和监控慢sql的方法，如图1所示，具体过程为：
[0017]Kudu分区监控时：先在执行hive分区调度的时候,配置hive队列、租户，然后根据hadoop集群配置的不同分区，初始化hdfs配置；其后，根据不同集群分区初始化后的hdfs配置，执行kudu分区统计，获得kudu分区统计信息，据此判断是cm5还是cm6，并根据判断结果获取相应的分区表和存储量大小；插入kudu分区表时，获取kudu分区明细统计监控信息，同时获取kudu分区汇总统计监控信息，然后据此对不同kudu分区表情况进行分区监控统计及展示；
[0018]kudu监控调度慢sql信息时：kudu在执行监控调度的时候，根据hadoop集群节点配置ClouderaManager信息；然后根据字典表的配置的慢查询时间阈值以及过滤条件，查询慢sql结果集；对设定时间段内存在慢sql的情况进行展示，查看详情。
[0019]需要说明的是，所述字典表中关于慢查询时间阈值、过滤条件和设定时间段均由用户自定义配置。查询时间超过慢查询时间阈值即为慢查询。
[0020]进一步地，在查询慢sql结果集，批量插入Kudu分区监控获得的kudu监控表，获取慢sql详情信息，对设定时间段内存在慢sql的情况进行展示，查看详情。
[0021]需要说明的是，对设定时间段内存在慢sql的情况进行展示，查看详情包括查询超过慢时间阈值的慢sql数量动态趋势变化图，以及各个慢sql运行详情列表状态。
[0022]对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本专利技术权利要求的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据kudu分区监控和监控慢sql的方法，其特征在于，具体过程为：Kudu分区监控的过程为：先在执行hive分区调度的时候,配置hive队列、租户，然后根据hadoop集群配置的不同分区，初始化hdfs配置；其后，根据不同集群分区初始化后的hdfs配置，执行kudu分区统计，获得kudu分区统计信息，据此判断是否是cm5或cm6，并根据判断结果获取相应的分区表和存储量大小；插入kudu分区表，获取kudu分区明细统计监控信息，同时获取kudu分区汇总统计监控信息，然后据此对不同kudu分区表情况进行分区监控统计及展示；kudu监控调度慢sql信息的...

【专利技术属性】
技术研发人员：于洋，高经郡，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：