分布式数据库资源管控方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种分布式数据库资源管控方法、装置、电子设备、存储介质和程序产品，可用于金融领域及其他领域，分布式数据库资源管控方法包括：确定分布式数据库中每一个待执行结构化查询语言在每一个物理节点上的预估资源消耗值，计算所有待执行结构化查询语言在每一个物理节点上的预估资源消耗值的和，当所有待执行结构化查询语言在每一个物理节点上的预估资源消耗值的和满足第一预设条件时，根据预设的语句处理规则处理所有待执行结构化查询语言。该方法能及时发现局部物理节点资源超限导致的集群短板问题，能对分布式数据库集群动态资源分配和结构化查询语言的运行进行干预和调整，使分布式数据库集群持续处于稳定运行、资源利用率高的状态。资源利用率高的状态。资源利用率高的状态。

【技术实现步骤摘要】
分布式数据库资源管控方法、装置、电子设备和存储介质


[0001]本公开涉及分布式数据库
，尤其涉及一种分布式数据库资源管控方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]分布式数据库采用Share
‑
nothing架构，由众多拥有独立且互不共享CPU、内存、存储等系统资源的节点组成集群，业务数据按照规则(如哈希取余)被分散存储在多个物理节点上(即Data Node，以下简称DN节点)，数据分析任务通过控制节点(即Coordinator Node，以下简称CN节点)的协调，并行地完成大规模的数据处理工作。随着分布式数据库集群内运行结构化查询语言(Structured Query Language，SQL)复杂度和操作数据量大小等不同，会造成集群的局部DN节点资源消耗过临界值，从而影响集群性能和稳定性。目前，多数分布式数据库主要将以集群粒度管理资源，结构化查询语言在运行过程中实时统计所使用资源，当集群上所有结构化查询语言使用总资源超过集群整体资源时，根据管控策略对正在运行所有结构化查询语言中资源消耗最大的语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库资源管控方法，其特征在于，所述分布式数据库包括至少一个物理节点，所述方法包括：确定所述分布式数据库中每一个待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值；计算所有所述待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值的和；当所有所述待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值的和均满足第一预设条件时，根据预设的语句处理规则处理所有所述待执行结构化查询语言。2.根据权利要求1所述的分布式数据库资源管控方法，其特征在于，所述确定所述分布式数据库中每一个待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值，具体包括：获取所述分布式数据库中所有已执行结构化查询语言的执行计划和所有待执行结构化查询语言的执行计划；针对每一个待执行结构化查询语言，分别计算所述待执行结构化查询语言的执行计划与每一个所述已执行结构化查询语言的执行计划之间的相似度；当存在一个已执行结构化查询语言的执行计划，与一个待执行结构化查询语言的执行计划之间的相似度满足第三预设条件时，获取所述已执行结构化查询语言在每一个所述物理节点上的实际资源消耗值；将所述已执行结构化查询语言在每一个所述物理节点上的实际资源消耗值作为所述待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值。3.根据权利要求2所述的分布式数据库资源管控方法，其特征在于，所述针对每一个待执行结构化查询语言，分别计算所述待执行结构化查询语言的执行计划与每一个所述已执行结构化查询语言的执行计划之间的相似度，具体包括：将每一个所述已执行结构化查询语言的执行计划分解，得到每一个所述已执行结构化查询语言的算子特征；将每一个所述待执行结构化查询语言的执行计划分解，得到每一个所述待执行结构化查询语言的算子特征；针对每一个待执行结构化查询语言，分别计算所述待执行结构化查询语言的算子特征与每个所述已执行结构化查询语言的算子特征之间的相似度；直至所有所述待执行结构化查询语言均被选取计算。4.根据权利要求1所述的分布式数据库资源管控方法，其特征在于，所述计算所有所述待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值的和之后，所述方法还包括：获取预设的所述分布式数据库中每一个所述物理节点的资源管控值；判断所有所述待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值的和是否超过每一个所述物理节点的资源管控值；当所有所述待执行结构化查询语言在每一个所述物理节点上的预估资源消耗值的和均未超过每一个所...

【专利技术属性】
技术研发人员：潘晨隐，徐嘉禛，雷经纬，于子烨，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：