对等部署的分布式数据库资源管理与负载调节方法技术

本发明专利技术公开了一种对等部署的分布式数据库资源管理与负载调节方法，包括用于管理对等部署分布式数据库的系统资源分配与使用模块，以工作机构资源配置为标准划分的不同资源组模块，用户用执行SQL会继承用户所属资源组设置的资源使用配置模块，用于根据工作机器负载情况进行资源组升级调整的资源配置配对升降级模块和不受资源组所配资源限制的超级用户使用模块。本发明专利技术的系统简单，可有效的解决分布式数据库中的统一资源管理问题和负载调节问题，以保证系统的资源得到高效的应用，从而对负载进行调节，保护调负载的机器充分利用机器，使用稳定性好，适用性强，实用性好。

【技术实现步骤摘要】

本专利技术属于分布式数据资源管理
，具体涉及一种。
技术介绍
随着当今的云计算、大数据等数据存储领域技术的快速发展以及当今社会的各行各业对大数据的依赖和对大量数据存储与计算的需求，促使分布式数据库领域得到了前所未有的快速发展。当今的数据库系统需要存储和计算的数据量越来越大，并且应用场景也是越来越复杂，对于数据库的鲁棒性与性能的要求也越来越高，而传统的集中式的单机数据库系统已经无法满足这样的需求了。于此同时，基于分布式技术、网络技术以及并行计算技术的分布式数据库成为了数据库行业的主流产品。对于分布式数据库来说，其最大的特点是采用多工作节点的并行工作模式，把海量数据分布到各台工作机器中去存储去计算，对于整体系统来说，每台工作机器能够均摊所有业务数据的存储与计算是最优的结果。分布式数据库的工作节点的另一特点是各个工作机器采用的均是相同的机器，即相同的硬件配置与相同的软件环境，以降低对这些机器进行数据分布与负载调节的复杂性。分布式数据库，与传统的单机数据库一样，需要根据不同的用户或者用户组设置不同的执行优先级。对于高优先级的用户来说，在执行SQL的时候会占用更多的系统资源，以保证更快的执行速度;而对于低优先级的用户来说，在执行SQL的时候会占用较少的系统资源，以防止影响高优先级的用户任务。分布式数据库是由多台工作机器组成的数据库集群，对于某一SQL查询会分解为多个执行步骤，并且实际执行时会涉及到多台工作机器。对于这样的数据库进行统一的资源管理与负载调节往往是非常困难的，需要有一套高效的机制与完备的策略，以及很好的负载探测与反馈机制。例如，GreenPlum的资源管理系统就是一套统一的处理机制与相关的策略，对所有工作机器都视为相同的工作单元。分布式数据库还需要有效的负载调节方法，因为面对海量数据的存储与计算压力，工作机器很容易损坏，形成系统的短板。可以采用一些简单的保证负载均衡的方式，例如Round Robin方式与随机选取的方式都是保证负载均衡的有效手段，但是这些方法在面对某些应用场景时存在很大缺陷，因此效果并不是很好。
技术实现思路
为了解决上述技术问题，本专利技术是提供一种结构简单、使用稳定性好且可有效保证系统资源得到高效使用的。实现本专利技术目的的技术方案是:一种，包括用于管理对等部署分布式数据库的系统资源分配与使用模块，以工作机构资源配置为标准划分的不同资源组模块，用户用执行SQL会继承用户所属资源组设置的资源使用配置模块，用于根据工作机器负载情况进行资源组升级调整的资源配置配对升降级模块和不受资源组所配资源限制的超级用户使用模块。对等部署分布式数据库的具体步骤包括A)、将所有工作节点划分不同资源组并将不同资源组从高到低进行分类，B)、将数据库的所有用户单一附属到一个资源组内，而每一个资源组里包括至少一个数据库用户。资源使用配置模块包括CPU、内存、1和最大并发任务数，当同一资源组的作户执行了多条SQL时，则这些SQL的数目不能超过所属资源组所配置的最大并发任务数。资源配对升降级模块的方法包括I)、对静态的资源组，通动态调整优化静态资源组配合，II)、对动态的资源组，根据探测各个工作机器的负载情况，将各个机器的负载情况发送给用于负责动态调节执行SQL可用资源的资源调整节点，III)、当执行过程中负载探测节点到该机器的负载很低且资源调整节点发现空闲资源满足将执行QSL有用户升级到比当前资源组级别高的某个资源组时，由资源调整节点升降执行SQL的用户升级，1111)、当执行过程中负载探测到该机器的负载很高且资源调整节点发现降低执行SQL的用户的资源组级别比当前资源组级别低时，由资源调整节点升降执行SQL的用户降级。本专利技术具有积极的效果:本专利技术的系统简单，可有效的解决分布式数据库中的统一资源管理问题和负载调节问题，以保证系统的资源得到高效的应用，从而对负载进行调节，保护调负载的机器充分利用机器，使用稳定性好，适用性强，实用性好。【附图说明】为了使本专利技术的内容更容易被清楚的理解，下面根据具体实施例并结合附图，对本专利技术作进一步详细的说明，其中:图1为本专利技术的分布式数据库根据负载信息动态调整用户资源组级别的工作流程图；图2为本专利技术中负载信息动态调整用户资源组的工作流程；图3为本专利技术中动态的降低用户资源组级别的工作流程。【具体实施方式】(实施例1)图1至图3显示了本专利技术的一种【具体实施方式】，其中图1为本专利技术的分布式数据库根据负载信息动态调整用户资源组级别的工作流程图；图2为本专利技术中负载信息动态调整用户资源组的工作流程;图3为本专利技术中动态的降低用户资源组级别的工作流程。见图1至图3，一种，包括用于管理对等部署分布式数据库的系统资源分配与使用模块，以工作机构资源配置为标准划分的不同资源组模块，用户用执行SQL会继承用户所属资源组设置的资源使用配置模块，用于根据工作机器负载情况进行资源组升级调整的资源配置配对升降级模块和不受资源组所配资源限制的超级用户使用模块。对等部署分布式数据库的具体步骤包括A)、将所有工作节点划分不同资源组并将不同资源组从高到低进行分类，B)、将数据库的所有用户单一附属到一个资源组内，而每一个资源组里包括至少一个数据库用户。资源使用配置模块包括CPU、内存、1和最大并发任务数，当同一资源当前第1页1 2 本文档来自技高网...

【技术保护点】
一种对等部署的分布式数据库资源管理与负载调节方法，其特征在于：包括用于管理对等部署分布式数据库的系统资源分配与使用模块，以工作机构资源配置为标准划分的不同资源组模块，用户用执行SQL会继承用户所属资源组设置的资源使用配置模块，用于根据工作机器负载情况进行资源组升级调整的资源配置配对升降级模块和不受资源组所配资源限制的超级用户使用模块。

【技术特征摘要】

【专利技术属性】
技术研发人员：武新，崔维力，宋永智，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：天津;12