一种基于数据库的资源配额管理方法和装置制造方法及图纸

技术编号:27562914 阅读:18 留言:0更新日期:2021-03-09 22:05
本发明专利技术公开了一种基于数据库的资源配额管理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:基于用户对数据库集群的历史资源使用信息,预测所述用户在未来时间段内对所述数据库集群的资源使用信息;获取预先设置的所述用户对应的资源配额信息,根据所述资源使用信息,判断是否需要对所述资源配额信息进行调整;在需要调整所述资源配额信息的情况下,按照设定的调整策略,调整所述资源配额信息。该方法通过预测未来时间段内用户对数据库集群的资源使用情况,并基于预测结果对资源配额进行调整,实现了资源配额的动态调整,减少人工干预。减少人工干预。减少人工干预。

【技术实现步骤摘要】
一种基于数据库的资源配额管理方法和装置


[0001]本专利技术涉及计算机领域,尤其涉及一种基于数据库的资源配额管理方法和装置。

技术介绍

[0002]HBase是建立在分布式文件系统Hadoop之上的一个分布式的、面向列的数据库,并且在HBase1.1版本之后增加了配额限制,用以限制用户访问HBase的流量、存储量等。其中,流量和存储量的配额限制是指:设置流量配额和存储量配额,如果用户请求对应的流量或者存储量超过相应的配额限制后,向客户端返回超限异常信息。
[0003]在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:
[0004]配额的取值固定,只能人工修改;配额超限时直接向客户端返回异常,处理方式单一;配额的取值与集群资源无关,无法实现集群资源的最大化利用。

技术实现思路

[0005]有鉴于此,本专利技术实施例提供一种基于数据库的资源配额管理方法和装置,通过预测未来时间段内用户对数据库集群的资源使用情况,并基于预测结果对资源配额进行调整,实现了资源配额的动态调整,减少人工干预。
[0006]为实现上述目的,根据本专利技术实施例的一个方面,提供了一种基于数据库的资源配额管理方法。
[0007]本专利技术实施例的一种基于数据库的资源配额管理方法,包括:基于用户对数据库集群的历史资源使用信息,预测所述用户在未来时间段内对所述数据库集群的资源使用信息;获取预先设置的所述用户对应的资源配额信息,根据所述资源使用信息,判断是否需要对所述资源配额信息进行调整;在需要调整所述资源配额信息的情况下,按照设定的调整策略,调整所述资源配额信息。
[0008]可选地,所述历史资源使用信息包括历史流量信息和/或历史存储量信息,所述方法还包括:统计所述用户操作所述数据库集群存储的数据时产生的所述历史流量信息和/或所述历史存储量信息;以所述数据归属的数据表或者所述数据表归属的命名空间为粒度,汇总所述历史流量信息和/或所述历史存储量信息。
[0009]可选地,所述资源使用信息包括流量信息和/或存储量信息;所述预测所述用户在未来时间段内对所述数据库集群的资源使用信息,包括:按照设定的时间间隔,从汇总结果中确定多个时间区间的至少一个参数值,其中,所述参数值包括:流量峰值、存储量峰值、流量均值和存储量均值;根据所述参数值的增量变化趋势,计算所述用户在未来时间段内对所述数据库集群的资源使用信息。
[0010]可选地,所述判断是否需要对所述资源配额信息进行调整,包括:判断所述资源使用信息是否大于所述资源配额信息中的配额;所述调整所述资源配额信息,包括:若所述资源使用信息小于等于所述配额,且所述数据库集群的配额利用率小于等于第一阈值,则对所述资源配额信息进行缩容处理;若所述资源使用信息大于所述配额,且所述数据库集群
存在的空闲资源与所述配额之和满足所述资源使用信息,则对所述资源配额信息进行扩容处理。
[0011]可选地,所述方法还包括:在所述资源使用信息大于所述资源使用信息的配额的情况下,判断所述资源使用信息是否大于所述数据库集群中数据库节点的配额;若所述资源使用信息大于所述数据库节点的配额,且所述数据库节点存在空闲资源,则为所述用户开通允许业务临时超限运行的权限。
[0012]可选地,所述方法还包括:在所述资源使用信息大于所述资源使用信息的配额的情况下,判断大于所述配额的业务流量是否为突发流量;若大于所述配额的业务流量为突发流量,则将对应的业务表隔离到独立分组。
[0013]可选地,所述方法还包括:对所述数据库集群存储的冷数据进行归档处理;其中,所述冷数据为设定时间内未被访问或者访问次数小于等于第二阈值的数据;根据所述数据库集群中数据库节点上当前分区的流量信息,调整所述数据库节点的分区分布,以实现流量均衡。
[0014]为实现上述目的,根据本专利技术实施例的另一方面,提供了一种基于数据库的资源配额管理装置。
[0015]本专利技术实施例的一种基于数据库的资源配额管理装置,包括:预测模块,用于基于用户对数据库集群的历史资源使用信息,预测所述用户在未来时间段内对所述数据库集群的资源使用信息;判断模块,用于获取预先设置的所述用户对应的资源配额信息,根据所述资源使用信息,判断是否需要对所述资源配额信息进行调整;调整模块,用于在需要调整所述资源配额信息的情况下,按照设定的调整策略,调整所述资源配额信息。
[0016]可选地,所述历史资源使用信息包括历史流量信息和/或历史存储量信息,所述装置还包括:统计汇总模块,用于统计所述用户操作所述数据库集群存储的数据时产生的所述历史流量信息和/或所述历史存储量信息;以及以所述数据归属的数据表或者所述数据表归属的命名空间为粒度,汇总所述历史流量信息和/或所述历史存储量信息。
[0017]可选地,所述资源使用信息包括流量信息和/或存储量信息;所述预测模块,还用于:按照设定的时间间隔,从汇总结果中确定多个时间区间的至少一个参数值,其中,所述参数值包括:流量峰值、存储量峰值、流量均值和存储量均值;根据所述参数值的增量变化趋势,计算所述用户在未来时间段内对所述数据库集群的资源使用信息。
[0018]可选地,所述判断模块,还用于:判断所述资源使用信息是否大于所述资源配额信息中的配额;所述调整模块,还用于:若所述资源使用信息小于等于所述配额,且所述数据库集群的配额利用率小于等于第一阈值,则对所述资源配额信息进行缩容处理;以及若所述资源使用信息大于所述配额,且所述数据库集群存在的空闲资源与所述配额之和满足所述资源使用信息,则对所述资源配额信息进行扩容处理。
[0019]可选地,所述装置还包括:配额软限制模块,用于在所述资源使用信息大于所述资源使用信息的配额的情况下,判断所述资源使用信息是否大于所述数据库集群中数据库节点的配额;以及若所述资源使用信息大于所述数据库节点的配额,且所述数据库节点存在空闲资源,则为所述用户开通允许业务临时超限运行的权限。
[0020]可选地,所述装置还包括:异常流量隔离模块,用于在所述资源使用信息大于所述资源使用信息的配额的情况下,判断大于所述配额的业务流量是否为突发流量;以及若大
于所述配额的业务流量为突发流量,则将对应的业务表隔离到独立分组。
[0021]可选地,所述装置还包括:存储配额预防模块,用于对所述数据库集群存储的冷数据进行归档处理;其中,所述冷数据为设定时间内未被访问或者访问次数小于等于第二阈值的数据;流量配额预防模块,用于根据所述数据库集群中数据库节点上当前分区的流量信息,调整所述数据库节点的分区分布,以实现流量均衡。
[0022]为实现上述目的,根据本专利技术实施例的再一方面,提供了一种电子设备。
[0023]本专利技术实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术实施例的一种基于数据库的资源配额管理方法。
[0024]为实现上述目的,根据本发本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于数据库的资源配额管理方法,其特征在于,包括:基于用户对数据库集群的历史资源使用信息,预测所述用户在未来时间段内对所述数据库集群的资源使用信息;获取预先设置的所述用户对应的资源配额信息,根据所述资源使用信息,判断是否需要对所述资源配额信息进行调整;在需要调整所述资源配额信息的情况下,按照设定的调整策略,调整所述资源配额信息。2.根据权利要求1所述的方法,其特征在于,所述历史资源使用信息包括历史流量信息和/或历史存储量信息,所述方法还包括:统计所述用户操作所述数据库集群存储的数据时产生的所述历史流量信息和/或所述历史存储量信息;以所述数据归属的数据表或者所述数据表归属的命名空间为粒度,汇总所述历史流量信息和/或所述历史存储量信息。3.根据权利要求2所述的方法,其特征在于,所述资源使用信息包括流量信息和/或存储量信息;所述预测所述用户在未来时间段内对所述数据库集群的资源使用信息,包括:按照设定的时间间隔,从汇总结果中确定多个时间区间的至少一个参数值,其中,所述参数值包括:流量峰值、存储量峰值、流量均值和存储量均值;根据所述参数值的增量变化趋势,计算所述用户在未来时间段内对所述数据库集群的资源使用信息。4.根据权利要求1所述的方法,其特征在于,所述判断是否需要对所述资源配额信息进行调整,包括:判断所述资源使用信息是否大于所述资源配额信息中的配额;所述调整所述资源配额信息,包括:若所述资源使用信息小于等于所述配额,且所述数据库集群的配额利用率小于等于第一阈值,则对所述资源配额信息进行缩容处理;若所述资源使用信息大于所述配额,且所述数据库集群存在的空闲资源与所述配额之和满足所述资源使用信息,则对所述资源配额信息进行扩容处理。5.根据权利要求1所述的方法,...

【专利技术属性】
技术研发人员:温帮许钦亚
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1