SQL查询命令处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术属于数据处理技术领域，提供一种SQL查询命令处理方法、装置、设备及可读存储介质，该方法包括：在接收到SQL查询命令时，确定所述SQL查询命令对应的执行计划的资源消耗；将所述SQL查询命令对应的执行计划的资源消耗，与预设阈值进行比对；若所述SQL查询命令对应的执行计划的资源消耗小于预设阈值，则确定查询引擎集群中各节点的任务承载能力；根据所述各节点的所述任务承载能力，从所述各节点中确定执行所述SQL查询命令的目标节点，并将所述SQL查询命令分配至所述目标节点。本发明专利技术能保证查询引擎各节点的负载均衡，提升查询引擎的性能，进而提高响应SQL查询命令的速度。

SQL query command processing method, device, device and readable storage medium

【技术实现步骤摘要】
SQL查询命令处理方法、装置、设备及可读存储介质
本专利技术涉及数据处理
，尤其涉及一种SQL查询命令处理方法、装置、设备及可读存储介质。
技术介绍
查询引擎Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，查询引擎Impala中负责执行SQL查询命令的集群节点称为ImpalaD节点。常用的SQL查询命令处理是依次将SQL查询命令派发至各个ImpalaD节点进行处理，当前一个ImpalaD节点无法处理时，再派发至后一个ImpalaD节点，这种方式，会导致部分ImpalaD节点负载过重，导致整个impala集群宕机，进而影响响应SQL查询命令的速度。
技术实现思路
本专利技术的主要目的在于提供一种SQL查询命令处理方法、装置、设备及可读存储介质，旨在保证查询引擎各节点的负载均衡，从而提升查询引擎的性能，进而提高响应SQL查询命令的速度。为实现上述目的，本专利技术提供一种SQL查询命令处理方法，所述方法包括以下步骤：在接收到SQL查询命令时，确定所述SQ本文档来自技高网...

【技术保护点】
1.一种SQL查询命令处理方法，其特征在于，所述方法包括以下步骤：/n在接收到SQL查询命令时，确定所述SQL查询命令对应的执行计划的资源消耗；/n将所述SQL查询命令对应的执行计划的资源消耗，与预设阈值进行比对；/n若所述SQL查询命令对应的执行计划的资源消耗小于预设阈值，则确定查询引擎集群中各节点的任务承载能力；/n根据所述各节点的所述任务承载能力，从所述各节点中确定执行所述SQL查询命令的目标节点，并将所述SQL查询命令分配至所述目标节点。/n

【技术特征摘要】
1.一种SQL查询命令处理方法，其特征在于，所述方法包括以下步骤：
在接收到SQL查询命令时，确定所述SQL查询命令对应的执行计划的资源消耗；
将所述SQL查询命令对应的执行计划的资源消耗，与预设阈值进行比对；
若所述SQL查询命令对应的执行计划的资源消耗小于预设阈值，则确定查询引擎集群中各节点的任务承载能力；
根据所述各节点的所述任务承载能力，从所述各节点中确定执行所述SQL查询命令的目标节点，并将所述SQL查询命令分配至所述目标节点。


2.如权利要求1所述的SQL查询命令处理方法，其特征在于，所述确定所述SQL查询命令对应的执行计划的资源消耗的步骤包括：
查找所述待执行查询命令对应的执行计划，并对所述执行计划进行解析，以获取所述执行计划的参数；
根据所述执行计划的参数，查找所述执行计划的资源消耗。


3.如权利要求1所述的SQL查询命令处理方法，其特征在于，所述确定查询引擎集群中各节点的任务承载能力的步骤包括：
获取查询引擎集群中各节点等待被执行的SQL查询命令数；
根据所述各节点等待被执行的SQL查询命令数，确定所述各节点的任务承载能力。


4.如权利要求3所述的SQL查询命令处理方法，其特征在于，所述根据所述各节点等待被执行的SQL查询命令数，确定所述各节点的任务承载能力的步骤包括：
计算查询引擎集群执行单个SQL查询命令的平均时间；
根据查询引擎集群执行单个SQL查询命令的所述平均时间，以及，所述各节点等待被执行的SQL查询命令数，计算所述各节点的预等待时间；
根据所述各节点的预等待时间，确定所述各节点的任务承载能力。


5.如权利要求4所述的SQL查询命令处理方法，其特征在于，所述计算查询引擎集群执行单个SQL查询命令的平均时间的步骤包括：
选取当前之前待计算的各预设时间段，其中，每个预设时间段的时长相同；
获取查询引擎集群在每个预设时间段内完成的SQL查询命令总数；
根据查询引擎集群在每个预设时间段内完成的所述SQL查询命令总数，...

【专利技术属性】
技术研发人员：卢易，吴证，娄祎铭，
申请(专利权)人：未鲲上海科技服务有限公司，
类型：发明
国别省市：上海;31