【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种任务处理方法、装置、电子设备及计算机存储介质。
技术介绍
1、在hadoop系统的分布式计算中，通常将任务分为map阶段和reduce阶段。然而在map阶段由于数据分布不均匀，即某些map任务的数据量过大，某些map任务的数据量过小，容易出现数据倾斜问题，如此则会导致计算延迟增加，资源利用不均衡。而在reduce阶段，一旦出现数据倾斜问题，就无法充分利用集群中的计算资源，导致任务无法并行执行、数据传输延迟以及资源利用率低的问题。
2、针对map阶段和reduce阶段的任务运行效率低的问题，目前并没有提供一种通用型全场景的自动优化方式，而是只能在任务结束后通过监控指标人工分析优化，通过手动设置参数调优。如此，不仅效率低下，且无法对于本次运行过程中的任务实现自动优化，以提升系统整体的运算性能。
技术实现思路
1、鉴于此，为解决上述技术问题或部分技术问题，本申请实施例提供了一种任务处理方法、装置、电子设备及计算机存储介质。
2、第一方面，本申...
【技术保护点】
1.一种任务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述小文件的数量，确定对所述任务进行处理的第一目标处理策略，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述小文件的数量，确定对所述任务进行处理的第一目标处理策略，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述聚合操作节点，确定对所述任务进行处理的第二目标处理策略，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述聚合操作节点，确定对所述任务进行处理的第二目标处理策略，方法还包括：
6.根...
【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述小文件的数量，确定对所述任务进行处理的第一目标处理策略，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述小文件的数量，确定对所述任务进行处理的第一目标处理策略，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述聚合操作节点，确定对所述任务进行处理的第二目标处理策略，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述聚合操作节点，确定对所述任务进行处理的第二目标处理策略，方法还包括：
...【专利技术属性】
技术研发人员：蒋志兴，盛夏，
申请(专利权)人：微民保险代理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。