基于Hive的任务并发执行方法和相关装置制造方法及图纸

本申请实施例提供了一种基于Hive的任务并发执行方法和相关装置，该方法包括：通过Hive将接收到的查询语言拆分为M个节点，M个节点中包括对应于N个条件任务的条件任务关联节点，其中，任一个条件任务均对应有至少两个条件任务关联节点；M和N均为正整数；为M个节点确定多个第一执行路径，每个条件任务节点在任一个第一执行路径中均存在一个关联节点；在多条第一执行路径中确定出满足第一预设条件的第二执行路径；按照第二执行路径中节点之间的依赖关系，并发执行第二执行路径中的各节点对应的任务，得到执行结果。这样，第二执行路径中包括的条件任务关联节点均为需要执行的节点，提高了得到的执行结果的准确度。高了得到的执行结果的准确度。高了得到的执行结果的准确度。

【技术实现步骤摘要】
基于Hive的任务并发执行方法和相关装置


[0001]本申请涉及数据处理领域，尤其涉及一种基于Hive的任务并发执行方法和相关装置。

技术介绍

[0002]本申请涉及金融
，Hive是基于Hadoop构建的一套数据仓库分析系统，可以通过查询语言实现对存储在数据库中数据进行查询、分析等操作。在使用查询语言查询数据库中的数据时，终端设备可以对查询语言进行分析，得到执行路径。其中，执行路径由多个节点和节点之间的依赖关系组成。
[0003]一些实现中，为了提升使用结构化查询语言进行查询、分析等操作的执行效率，可以对执行路径中的节点进行并发执行。其中，执行路径中可以包括条件任务节点，条件任务节点中包括多个节点。对执行路径中的节点进行并发执行时，对于条件任务节点，可能存在未被选中执行的节点。在执行过程中，对于条件任务中未被选中执行的节点，以该节点为父节点开始，递归的删除父节点与其子节点之间的依赖关系。
[0004]然而，删除未被选中执行的节点的依赖关系时，可能出现将被选中的节点与其子节点之间的依赖关系删除的情况，使得被选中执行的节点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hive的任务并发执行方法，其特征在于，包括：通过Hive将接收到的查询语言拆分为M个节点，所述M个节点中包括对应于N个条件任务的条件任务关联节点，其中，任一个所述条件任务均对应有至少两个条件任务关联节点；所述M和所述N均为正整数；为所述M个节点确定多个第一执行路径，每个所述条件任务节点在任一个所述第一执行路径中均存在一个关联节点；在所述多个第一执行路径中确定出满足第一预设条件的第二执行路径；按照所述第二执行路径中节点之间的依赖关系，并发执行所述第二执行路径中的各节点对应的任务，得到执行结果。2.根据权利要求1所述的方法，其特征在于，所述在所述多个第一执行路径中确定出满足第一预设条件的第二执行路径，包括：分别获取所述M个节点的开始执行时刻、结束执行时刻、依赖执行时长，所述依赖执行时长为所述节点的执行准备时长；计算所述节点的所述开始执行时刻和所述结束执行时刻之间的时间间隔，得到所述节点的执行时长；计算所述第一执行路径中各节点的所述执行时长和所述依赖执行时长的和，得到所述第一执行路径的总时长；在所述多个第一执行路径中确定出所述总时长满足第一预设条件的第二执行路径。3.根据权利要求2所述的方法，其特征在于，所述在所述多个第一执行路径中确定出所述总时长满足第一预设条件的第二执行路径，包括：在所述多个第一执行路径中确定所述总时长最大的第一执行路径为第二执行路径。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，在按照所述第二执行路径中节点之间的依赖关系，并发执行所述第二执行路径中的各节点对应的任务之前，包括：确定所述第二执行路径中的空闲时间段，所述空闲时间段与所述第二执行路径的下述内容有关：父节点的结束执行时刻、对应的子节点的开始执行时刻、以及所述子节点的依赖执行时长；根据所述第二执行路径中各节点的所述开始执行时刻、所述结束执行时刻、所述依赖执行时长、以及所述第二执行路径中的所述空闲时间段，将满足第二预设条件的目标节点调度至所述空闲时间段执行，确定所述目标节点新的开始执行时刻和新的结束执行时刻，并得到新的第二执行路径。5.根据权利要求4所述的方法，其特征在于，所述目标节点的所述执行时长小于所述空闲时间段对应的时长，且所述目标节点的所述执行时长与所述空闲时间段对应的时长之间的差值大于第一预设值；所述目标节点的所述开始执行时刻晚于所述空闲时间段的起始时刻，且所述目标节点的所述开始执行时刻与所述空闲时间段的起始时刻之间的时间间隔大于第一预设值；所述目标节点对应的父节点的所述结束执行时刻早于所述空闲时...

【专利技术属性】
技术研发人员：乔一航，周可，邸帅，卢道和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：