【技术实现步骤摘要】
大数据处理方法、装置、电子设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种大数据处理方法、装置、电子设备及存储介质。
技术介绍
目前大数据处理任务，如MapReduce、Hive、Spark等任务存在的主要问题如下：数据倾斜(长尾效应)、OOM(outofmemory，内存耗尽)、shuffle(置乱)问题、空任务小文件过多等，上述问题大多是开发者自己通过查看任务运行日志，然后依靠自己的经验优化代码和资源申请配置来解决的，缺乏一个自动优化机制和优化模型，帮助开发者积累最佳的优化经验。并且，Hadoop这种大数据处理系统由于需要更强的扩展能力以及非结构化数据支持，没有对诸如数据分布等方面的问题做出很多优化。因此，有必要提供一种新的大数据处理方法。
技术实现思路
本专利技术的目的在于提供一种大数据处理方法、装置、电子设备及存储介质，以解决现有技术中无法进行计算资源分配优化的技术问题。本专利技术的技术方案如下：提供一种大数据处理方法，包括：获取参与大数据处理任务的...
【技术保护点】
1.一种大数据处理方法，其特征在于，包括：/n获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量，当所述数据量超过第一预设阈值时，将所述主键的数据划分为多组；/n根据所述大数据处理任务建立至少一个执行计划树，确定每个所述执行计划树的代价，将代价最低的所述执行计划树作为最优执行计划树；/n根据所述最优执行计划树以及历史任务的第二统计信息确定所述大数据处理任务的并发量和计算资源。/n
【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括：
获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量，当所述数据量超过第一预设阈值时，将所述主键的数据划分为多组；
根据所述大数据处理任务建立至少一个执行计划树，确定每个所述执行计划树的代价，将代价最低的所述执行计划树作为最优执行计划树；
根据所述最优执行计划树以及历史任务的第二统计信息确定所述大数据处理任务的并发量和计算资源。
2.根据权利要求1所述的大数据处理方法，其特征在于，所述获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量，当所述数据量超过第一预设阈值时，将所述主键的数据划分为多组，包括：
获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量；
当所述数据量超过第一预设阈值时，根据所述数据量确定所述主键的分组数量N，其中，N为自然数；
将所述主键加上1到分组数量N之间的数字分别得到N个分组主键，根据所述分组主键创建所述主键的分组主键表；
将所述主键的数据平均分为N组，将N组数据分别与所述分组主键表中N个分组主键进行关联。
3.根据权利要求2所述的大数据处理方法，其特征在于，所述将所述主键的数据平均分为N组，将N组数据分别与所述分组主键表中N个分组主键进行关联之后，还包括：
当所述大数据处理任务执行完毕后，去除所述分组主键后的数字，得到原始的主键；
将各所述分组主键的数据进行合并，将合并后的数据与原始的主键进行重新关联。
4.根据权利要求1所述的大数据处理方法，其特征在于，所述根据所述大数据处理任务建立至少一个执行计划树，确定每个所述执行计划树的代价，包括：
获取参与所述大数据处理任务的数据表以及所述数据表的元数据信息，其中，所述元数据信息包括表结构、表文件存放位置、文件个数以及文件容量；
对所述大数据处理任务进行解析，获取所述大数据处理任务所需的操作以及各操作的关联关系；
根据所述数据表的元数据信息、所述操作以及所述各操作的关联关系生成执行计划树；
计算所述执行计划树中每个操作的代价；根据得到的每个执行计划树的每一操作的代价，确定每个执行计划树的代价。
5.根据权利要求4所述的大数据处理方法，其特征在于，所述执行计划树包括扫描操作、过滤操作、投影操作、广播连接操作、洗牌哈希连接操作、排序合并连接操作和分组操作中的一种或多种；
所述计算所述执行计划树中每个操作的代价，包括：
若计划树中包括扫描操作，则计算每个计划树中扫描操作的I/O代价；
若计划树中包括过滤操作，则计算每个计划树中过滤操作的CPU计算代价；
若计划树中包括投影操作，则计算每个计划树中投影操作的CPU计算代价；
若计划树中包括广播连接操作，则计...
【专利技术属性】
技术研发人员：孔小敏，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。