依赖关系解析方法、电子装置、计算机设备及可读存储介质制造方法及图纸

本发明专利技术公开了依赖关系解析方法、电子装置、计算机设备及可读存储介质，方法包括：获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件；对所述结构化查询语言脚本文件中的每个结构化查询语言语句进行分析，获得每个结构化语言语句所对应的系谱树；根据系谱树，获取关键词、目标表、来源表；根据所述关键词，获取所述目标表和所述来源表之间的依赖关系。应用本发明专利技术实施例提供的实施例，能够自动进行依赖关系解析，减少人工寻找引起的错误，且解析速度快，解析效率高、质量高。

Dependency analysis method, electronic device, computer equipment and readable storage medium

【技术实现步骤摘要】
依赖关系解析方法、电子装置、计算机设备及可读存储介质
本专利技术涉及依赖关系解析
，尤其涉及一种依赖关系解析方法、电子装置、设备及存储介质。
技术介绍
关系数据库(Relationaldatabase)，是建立在关系数据库模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据，现在主流的关系数据库有Oracle、SqlServer、MySQL等。依赖关系：表示关系数据库中表与表之间存在外键依赖关系。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。由于关系数据库的数据平台技术框架支持的开发语言多种多样，就产生出很多不同类型的任务(程序)运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。任务的数据之间存在依赖关系，例如，上游任务和下游任务之间的执行顺序关系，现有技术中，在接收结构化查询语言脚本文件只包含SQL(StructuredQueryLanguage，简称SQL)语句后直接按照顺序执行任务，所以在编写数据处理任务的时候需要编程人员确定依赖关系，否则会造成SQL语句的执行错误，造成容错率较低的问题。
技术实现思路
有鉴于此，本专利技术提出一种依赖关系解析方法、电子装置、设备及存储介质，旨在自动进行依赖关系解析，减少用户编写程序中造成依赖关系引起的错误，容错率高，且解析速度快，解析效率高、质量高。首先，为实现上述目的，本专利技术提出一种依赖关系解析方法，所述方法包括步骤：获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件；对所述结构化查询语言脚本文件中的每个结构化查询语言语句进行分析，获得每个结构化语言语句所对应的系谱树；根据系谱树，获取关键词、目标表、来源表；根据所述关键词，获取所述目标表和所述来源表之间的依赖关系。进一步地，所述获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件的步骤，包括：通过任务调度接口，获取数据处理任务中的至少一个结构化查询语言脚本文件；或者；通过与设计监控周期，对数据库进行监控；获取数据处理任务中的至少一个结构化查询语言脚本文件。进一步地，所述根据系谱树，获取关键词、目标表、来源表的步骤，包括：基于系谱树，分析数据数据请求；基于所述数据数据请求，获取关键词、目标表、来源表。进一步地，所述根据所述关键词，获取所述目标表和所述来源表之间的依赖关系的步骤，包括：根据所述关键词，获取每一个目标表所对应的来源表，并形成所述目标表与所述来源表之间的对应关系；将所述对应关系确定为依赖关系。进一步地，所述根据所述关键词，获取每一个目标表所对应的来源表，并形成所述目标表与所述来源表之间的对应关系的步骤，包括：根据所述关键词和所述来源表，确定所述目标表对应的数据层级；根据数据层级的最高级确定为数据输入，最低级确定为数据输出；根据输入和输出，确定目标表与来源表之前的对应关系。进一步地，所述根据所述关键词和所述来源表，确定所述目标表对应的数据层级的步骤，包括：根据所述关键词和所述来源表，确定上游任务；根据所述关键词和所述目标表，确定下游任务；确定所述上游任务和所述下游任务对应的依赖关系；根据所述依赖关系确定数据层级。进一步地，所述方法还包括：所述依赖关系中至少包括：任务主键、任务名称、任务的上游主键清单、任务的下游主键清单。此外，为实现上述目的，本专利技术还提供一种电子装置，所述装置包括：第一获取模块，用于获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件；获得模块，用于对所述结构化查询语言脚本文件中的每个结构化查询语言语句进行分析，获得每个结构化语言语句所对应的系谱树；第二获取模块，用于根据系谱树，获取关键词、目标表、来源表。第三获取模块，用于根据所述关键词，获取所述目标表和所述来源表之间的依赖关系。进一步地，第一获取模块，用于：通过任务调度接口，获取数据处理任务中的至少一个结构化查询语言脚本文件；或者；通过与设计监控周期，对数据库进行监控；获取数据处理任务中的至少一个结构化查询语言脚本文件。进一步地，第二获取模块，用于：基于系谱树，分析数据数据请求；基于所述数据数据请求，获取关键词、目标表、来源表。进一步地，第三获取模块，用于：根据所述关键词，获取每一个目标表所对应的来源表，并形成所述目标表与所述来源表之间的对应关系；将所述对应关系确定为依赖关系。进一步地，第三获取模块，包括：第一确定子模块，用于根据所述关键词和所述来源表，确定所述目标表对应的数据层级；第二确定子模块，用于根据数据层级的最高级确定为数据输入，最低级确定为数据输出；第三确定子模块，用于根据输入和输出，确定目标表与来源表之前的对应关系。进一步地，第一确定子模块，包括：第一确定单元，用于根据所述关键词和所述来源表，确定上游任务；第二确定单元，用于根据所述关键词和所述目标表，确定下游任务；第三确定单元，用于确定所述上游任务和所述下游任务对应的依赖关系；第四确定单元，用于根据所述依赖关系确定数据层级。此外，为实现上述目的，本专利技术还提供一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项所述依赖关系解析方法的步骤。此外，为实现上述目的，本专利技术还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述依赖关系解析方法的步骤。相较于现有技术，本专利技术所提出的依赖关系解析方法、电子装置、计算机设备及可读存储介质，首先根据数据处理任务生成对应的结构化查询语言脚本文件所包含的一个或者多个结构化查询语言语句，根据结构化查询语言语句的列和转换操作组成系谱树，构成节点，再通过节点之间的关系获取关键词、目标表、来源表；在获取关键词分别目标表和所源表之间的依赖关系，因此，可是实现针对一个数据处理任务的过程中，自动进行依赖关系的分析，所以对所输入的数据处理任务的容错率较高，即使在数据处理任务依赖关系错输的情况下，通过依赖关系分析依然可以获得正确的依赖关系，另一方面，通过系谱树能够实现清晰的关键词、目标表和来源表的展示，有助于进行任务解析，能够提高解析速度和解析效率，以提高解析质量。因此，能够减少用户编写程序中造成依赖关系引起的错误，容错率高。附图说明图1是本专利技术第一实施例之依赖关系解析方法的流程示意图；图2是本专利技术第二实施例之依赖关系解析方法的流程示意图；图3是本专利技术第三实施例之依赖关系解析方法的流程示意图；图4是本专利技术实施例之电子装置一可选的应用环境图；图5是本专利技术第一实施例之电子装置的硬件架构示意图本文档来自技高网...

【技术保护点】
1.一种依赖关系解析方法，其特征在于，所述方法包括步骤：/n获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件；/n对所述结构化查询语言脚本文件中的每个结构化查询语言语句进行分析，获得每个结构化语言语句所对应的系谱树；/n根据系谱树，获取关键词、目标表、来源表；/n根据所述关键词，获取所述目标表和所述来源表之间的依赖关系。/n

【技术特征摘要】
1.一种依赖关系解析方法，其特征在于，所述方法包括步骤：
获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件；
对所述结构化查询语言脚本文件中的每个结构化查询语言语句进行分析，获得每个结构化语言语句所对应的系谱树；
根据系谱树，获取关键词、目标表、来源表；
根据所述关键词，获取所述目标表和所述来源表之间的依赖关系。


2.根据权利要求1所述的一种依赖关系解析方法，其特征在于，所述获取数据处理任务，并根据所述数据处理任务生成对应的结构化查询语言脚本文件的步骤，包括：
通过任务调度接口，获取数据处理任务中的至少一个结构化查询语言脚本文件；
或者；
通过与设计监控周期，对数据库进行监控；
获取数据处理任务中的至少一个结构化查询语言脚本文件。


3.根据权利要求1所述的一种依赖关系解析方法，其特征在于，所述根据系谱树，获取关键词、目标表、来源表的步骤，包括：
基于系谱树，分析数据数据请求；
基于所述数据数据请求，获取关键词、目标表、来源表。


4.根据权利要求3所述的一种依赖关系解析方法，其特征在于，所述根据所述关键词，获取所述目标表和所述来源表之间的依赖关系的步骤，包括：
根据所述关键词，获取每一个目标表所对应的来源表，并形成所述目标表与所述来源表之间的对应关系；
将所述对应关系确定为依赖关系。


5.根据权利要求3或4所述的一种依赖关系解析方法，其特征在于，所述根据所述关键词，获取每一个目标表所对应的来源表，并形成所述目标表与所述来源表之间的对应关系的步骤，包括：
根据所述关键词和所述来源表，确定所述目标表对应的数据层级；

【专利技术属性】
技术研发人员：程克喜，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44