一种调度依赖的方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术公开一种利用调度表实现调度依赖的方法、装置、设备以及存储介质。所述方法包括：预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。本发明专利技术公开的一种利用调度表实现调度依赖的方法可以在生成Hive表时轻易实现统一调度、调度进程连贯有序、安全性高。

A scheduling dependent method, device, device and storage medium

【技术实现步骤摘要】
一种调度依赖的方法、装置、设备以及存储介质
本专利技术涉及数据仓库
、尤其涉及一种利用调度表实现调度依赖的方法、装置、设备以及存储介质。
技术介绍
Hadoop和Hive是目前业界广泛使用的数据存储以及查询的分布式解决方案。Hive，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql(StructuredQueryLanguage，结构化查询语言)查询功能，可以将sql语句转换为MapReduce(映射化简)任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。在数据中，Hive表的生成是有前后顺序的，每个表要生成之前，可以通过监控得到的表生成情况，决定是不是可以生成下一个表，每一个Hive表可能作为生成其他Hive表的条件，通常具有复杂的表间关系，难以实现统一调度，如果仅仅根据主键和外键之间的依赖关系进行调度，可能会导致进程的不连续和阻滞，安全性低。
技术实现思路
本专利技术的主要目的是提供一种利用调度表实现调度依赖的方法、装置、设备以及存储介质，旨在解决现有技术在生成Hive表时难以实现统一调度，调度进程的不连续和阻滞，安全性低。为实现上述目的，本专利技术提供一种利用调度表实现调度依赖的方法，包括：预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。优选地，所述预先设置一个调度表的步骤之前，所述方法还包括：在Hive的元数据库中获取各Hive表之间的生成依赖关系；将所述获取各Hive表之间的生成依赖关系记录在所述调度表中；以及获取各Hive表和数据仓库中数据的依赖关系。优选地，所述获取各Hive表和数据仓库中数据的依赖关系的步骤包括：调用Hive表应用端的API接口，提取生成各Hive表的SQL语句；针对所述各Hive表，解析所述对应的SQL语句得到对应的数据表；根据所述对应的数据表确定数据仓库中对应的数据，得到所述各Hive表所依赖的数据仓库的数据。优选地，所述在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态的步骤，包括：在生成目标Hive表之前，查询所述调度表中所述生成目标Hive表之前作为条件需要生成的前置任务表是否均执行完毕。优选地，所述在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表的步骤包括：当查询所述调度表中所述生成目标Hive表之前作为条件需要生成的前置任务表均执行成功时，向Hive表应用端发送前置任务表执行成功标识信息和相应目标Hive表的标识信息，根据所述目标Hive表的标识信息确定所依赖的数据仓库的数据，根据所述依赖的数据仓库的数据生成目标Hive表。优选地，还包括：按照优先级将数据仓库中的数据分类；预先确定在不同的时间对不同的Hive表进行处理的调度表；根据预设的调度规则，针对不同的时间点确定相应的调度表，对不同优先级的数据发起调度。优选地，所述按照优先级将数据仓库中的数据分类的步骤，包括：获取数据仓库中各数据的更新频率，将所述各数据的更新频率进行排序，所述更新频率为各数据在预设的时间段更新的次数，根据所述排序后的更新频率生成数据仓库中的数据优先级，按照优先级将数据仓库中的数据分类。本专利技术还提供一种调度依赖装置，所述装置包括：设置模块，用于预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；查询模块，用于在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；生成模块，用于在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。本专利技术还提供一种调度依赖的设备，包括存储器，处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的利用调度表实现调度依赖的方法。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的利用调度表实现调度依赖的方法。在本专利技术上述方案至少包括以下有益效果：在本专利技术的具体实施例中，首先预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；然后在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；并在所述前置任务表的执行状态为执行成功的情况下，最后则生成目标Hive表。本专利技术公开的利用调度表实现调度依赖的方法可以在生成Hive表时轻易实现统一调度、调度进程连贯有序、安全性高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术提供的一种利用调度表实现调度依赖的方法流程示意图；图2为本专利技术提供的一种利用调度表实现调度依赖的方法中Hive的元数据库中各Hive表之间的生成依赖关系示意图；图3为本专利技术提供的一种利用调度表实现调度依赖的方法中Hive表和数据仓库中数据的依赖关系示意图；图4为本专利技术提供的一种利用调度表实现调度依赖的方法中针对不同的时间点确定相应的调度表，和对不同优先级的数据发起调度的示意图；图5为本专利技术提供的一种利用调度表实现调度依赖的方法中根据数据更新频率确定数据优先级的示意图；图6为本专利技术提供的一种利用调度表实现调度依赖的装置结构示意图；图7为本专利技术提供的一种利用调度表实现调度依赖的设备结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。另外，本文档来自技高网...

【技术保护点】
1.一种利用调度表实现调度依赖的方法，其特征在于，包括：/n预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；/n在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；/n在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。/n

【技术特征摘要】
1.一种利用调度表实现调度依赖的方法，其特征在于，包括：
预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；
在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；
在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。


2.根据权利要求1所述的方法，其特征在于，所述预先设置一个调度表的步骤之前，所述方法还包括：
在Hive的元数据库中获取各Hive表之间的生成依赖关系；
将所述获取各Hive表之间的生成依赖关系记录在所述调度表中；以及
获取各Hive表和数据仓库中数据的依赖关系。


3.根据权利要求2所述的方法，其特征在于，所述获取各Hive表和数据仓库中数据的依赖关系的步骤包括：
调用Hive表应用端的API接口，提取生成各Hive表的SQL语句；
针对所述各Hive表，解析所述对应的SQL语句得到对应的数据表；
根据所述对应的数据表确定数据仓库中对应的数据，得到所述各Hive表所依赖的数据仓库的数据。


4.根据权利要求1所述的方法，其特征在于，所述在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态的步骤，包括：
在生成目标Hive表之前，查询所述调度表中所述生成目标Hive表之前作为条件需要生成的前置任务表是否均执行完毕。


5.根据权利要求1所述的方法，其特征在于，所述在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表的步骤包括：
当查询所述调度表中所述生成目标Hive表之前作为条件需要生成的前置任务表均执行成功时，向Hive表应用端发送前置任务表执行...

【专利技术属性】
技术研发人员：王国彬，徐晓波，胡鹏，
申请(专利权)人：深圳市彬讯科技有限公司，
类型：发明
国别省市：广东;44