【技术实现步骤摘要】
一种资源分配方法、装置、存储介质和电子设备
[0001]本申请实施例涉及大数据
，尤其涉及一种资源分配方法、装置、存储介质和电子设备。
技术介绍
[0002]随着大数据时代的到来，海量数据的增长对存储管理和计算分析提出了新的需求，推动着大数据技术的发展。主流的计算框架也由基于MapReduce的Hadoop发展为基于内存计算的Spark。Spark作为一个复杂的通用型分布式计算框架，提供了大量可配置的参数以适应不同应用场景下使用Spark的各种需求，并最大化Spark的计算性能。
[0003]通常，可以在数据查询平台中写入大量的结构化查询语句Sql进行数据查询，每条Sql在提交时都被当做一个Spark任务作业来处理，并且，每个Spark任务作业会启动一个对应的Dirver进程，Dirver进程会根据分配好的参数向集群资源管理器Yarn申请作业运行所需要的计算资源。
[0004]在对参数进行分配时，目标对象一般会手动给每一个Spark任务添加参数，由于大多数的目标对象并不了解参数的配比，因此，通常会分配出...
【技术保护点】
【技术特征摘要】
1.一种资源分配方法，其特征在于，所述方法包括：获取结构化查询语句；对所述结构化查询语句进行解析，确定所述结构化查询语句中的表名和操作算子；根据所述表名，确定所述表名相对应的数据库表所包含的数据量，并根据所述数据量，确定执行所述结构化查询语句对应的内存大小；根据所述操作算子对应的算子个数，确定执行所述结构化查询语句对应的中央处理器CPU核心个数；根据所述内存大小和所述CPU核心个数，确定执行所述结构化查询语句对应的进程个数；基于所述内存大小、所述CPU核心个数和所述进程个数，对所述结构化查询语句进行资源分配。2.根据权利要求1所述的方法，其特征在于，所述对所述结构化查询语句进行解析，确定所述结构化查询语句中的表名和操作算子，包括：对所述结构化查询语句中的语法进行解析，得到所述结构化查询语句中的各个关键词；根据所述各个关键词，分别确定所述结构化查询语句中的表名和操作算子。3.根据权利要求1所述的方法，其特征在于，所述根据所述表名，确定所述表名相对应的数据库表所包含的数据量，包括：根据所述表名，在元数据库中查询所述表名相对应的数据库表所包含的数据量；所述元数据库中保存有各种数据库表所包含的数据量信息；或者，若确定所述结构化查询语句中包括多个表名，则根据所述多个表名，在所述元数据库中查询所述多个表名分别相对应的各个数据库表所包含的数据量；对所述各个数据库表所包含的数据量进行加和，得到所述多个表名对应的总数据量。4.根据权利要求1所述的方法，其特征在于，所述根据所述数据量，确定执行所述结构化查询语句对应的内存大小，包括：根据内存大小与数据量之间的第一对应关系，确定与所述数据量相对应的执行所述结构化查询语句对应的内存大小；所述根据所述操作算子对应的算子个数，确定执行所述结构化查询语句对应的中央处理器CPU核心个数，包括：根据中央处理器CPU核心个数与算子个数之间的第二对应关系，确定与所述操作算子对应的算子个数相对应的执行所述结构化查询语句对应的CPU核心个数；所述根据所述内存大小和所述CPU核心个数，确定执行所述结构化查询语句对应的进程个数，包括：根据内存大小和CPU核心个数与进程个数之间的第三对应关系，确定与所述内存大小和所述CPU核心个数相对应的执行所述结构化查询语句对应的进程个数。5.根据权利要求1所述的方法，其特征在于，所述基于所述内存大小、所述CPU核心个数和所述进程个数，对所述结构化查询语句进行资源分配，包括：基于所述内存大小、所述CPU核心个数和所述进程个数，确定执行所述结构化查询语句对应的总内存大小和总CPU核心个数；
将所述总内存大小和总CPU核心个数分配给所述结构化查询语句。6.根据权利要求5所述的方法，其特征在于，所述基于所述内存大小、所述CPU核心个数和所述进程个数，确定执行所述结构化查询语句对应的总内存大小和总CPU核心个数，包括：基于所述内存大小和所述进程个数的乘积，确定执行所述结构化查询语句对应的总内存大小；基于所述CPU核心个数和所述进程个数的乘积，确定执行所述结构化查询语句对应的总CPU核心个数。7.根据权利要求1所述的方法，其特征在于，所述对所述结构化查询语句进行资源分配之后，所述方法还包括：将所述结构化查询语句与所述内存大小、所述CPU核心个数和所述进程个数提交给数据查询平台，以使所述数据查询平台根据所述内存大小、所述CPU核心个数和所述进程个数，对所述结构化查询语句进行数据查询。8.一种资源分配装置...
【专利技术属性】
技术研发人员：刘志鹏，陈立力，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。