作业调度配置信息生成方法及其装置制造方法及图纸

本申请关于一种作业调度配置信息生成方法及其装置。具体方案为：获取待处理的数据需求信息；对数据需求信息进行梳理操作，以得到数据需求信息之中源表与目标表各自的物理模型、源表与目标表间的数据映射信息、源系统信息和目标表系统信息；根据源表与目标表各自的物理模型、以及源表与目标表间的数据映射信息，基于对应数据库的语句特性，生成目标SQL语句；确定用于执行目标SQL语句的作业，并根据源表、目标表、源系统信息和目标表系统信息，确定与作业存在依赖关系的上下游作业；根据上下游作业、业务、以及作业依赖关系，生成作业调度配置信息。本申请对提升开发、工作效率有着至关的重要性。的重要性。的重要性。

【技术实现步骤摘要】
作业调度配置信息生成方法及其装置


[0001]本申请涉及计算机
，尤其涉及数据库技术、机器学习技术及自然语言处理技术等，特别的涉及一种作业调度配置信息生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网及科技水平的发展，数据的重要性渐渐地被发掘。数据已经渗透到每个人的生活中。当前每个企业级项目几乎都有数据方面的加工、复制等的需求，各项目之间、本项目中都存在着数据的关联和依赖，下游的业务需要上游数据的支撑。当前系统之间的数据需求，都是业务人员沟通完成之后，再将具体的需求给数据人员讲解。中间因为信息的传递，可能会存在信息偏差，再加上数据在每个系统中存在不同的数据口径，加工逻辑也比较复杂，数据人员理解需求就需要花费比较大的时间，沟通成本比较大，从而导致项目开发效率变低。

技术实现思路

[0003]本申请提供一种作业调度配置信息生成方法、装置、电子设备及存储介质，以至少解决相关技术中数据需求理解花费时间长、沟通成本大而导致项目开发效率变低等的问题。本申请的技术方案如下：
[0004]根据本申请实施例的第一方面，提供一种作业调度配置信息生成方法，包括：
[0005]获取待处理的数据需求信息；
[0006]对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息；
[0007]根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标SQL语句；其中，所述目标SQL语句用于将所述源表中的数据映射到所述目标表的对应字段；
[0008]确定用于执行目标SQL语句的作业，并根据所述源表、所述目标表、所述源系统信息和所述目标表系统信息，确定与所述作业存在依赖关系的上下游作业；
[0009]根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息。
[0010]根据本申请实施例的第二方面，提供一种作业调度配置信息生成装置，包括：
[0011]第一获取模块，用于获取待处理的数据需求信息；
[0012]第二获取模块，用于对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息；
[0013]第一生成模块，用于根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标SQL语句；其中，所述目标SQL语句用于将所述源表中的数据映射到所述目标表的对应字段；
[0014]确定模块，用于确定用于执行目标SQL语句的作业，并根据所述源表、所述目标表、所述源系统信息和所述目标表系统信息，确定与所述作业存在依赖关系的上下游作业；
[0015]第二生成模块，用于根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息。
[0016]根据本申请实施例的第三方面，提供一种电子设备，包括：
[0017]处理器，以及与所述处理器通信连接的存储器；
[0018]所述存储器存储计算机执行指令；
[0019]所述处理器执行所述存储器存储的计算机执行指令，以实现如前述第一方面所述的方法。
[0020]根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前述第一方面所述的方法。
[0021]根据本申请实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现前述第一方面所述方法的步骤。
[0022]本申请的实施例提供的技术方案至少带来以下有益效果：可以根据数据需求信息中的源表、目标表、服务方式及加工规则等信息生成SQL语句，并根据作业的源表及系统信息生成作业调度配置信息。整个过程中实现智能化，贯穿数据开发人员的开发过程，可以简化数据开发人员的工作，并可以简化开发流程，对于当下越来越多的数据需求，对提升开发、工作效率有着至关的重要性。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本申请的不当限定。
[0025]图1为本申请实施例提供的一种作业调度配置信息生成方法的流程图。
[0026]图2为本申请实施例提供的另一种作业调度配置信息生成方法的流程图。
[0027]图3为本申请实施例提供的又一种作业调度配置信息生成方法的流程图。
[0028]图4为本申请实施例提供的自动化校验数据需求信息中的错误及可优化点的流程图。
[0029]图5为本申请实施例提供的一种作业调度配置信息生成装置的框图。
[0030]图6为本申请实施例提供的另一种作业调度配置信息生成装置的框图。
[0031]图7为本申请实施例提供的又一种作业调度配置信息生成装置的框图。
[0032]图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0033]为了使本领域普通人员更好地理解本申请实施例中的技术方案进行清楚、完整地描述。
[0034]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0035]图1为本申请实施例提供的一种作业调度配置信息生成方法的流程图。如图1所示，该作业调度配置信息生成方法可以包括但不限于以下步骤。
[0036]在步骤101中，获取待处理的数据需求信息。
[0037]在一种可能的实现方式中，该待处理的数据需求信息可以是从数据需求文档中读取的。其中，该数据需求文档中的内容可以是提前与业务人员确认数据加工需要的源系统、源表、源表字段、目标表、目标表字段、服务方式、加工规则等信息。其中，该服务方式可理解为源表的数据映射到目标表字段所使用的方式，如源表的数据是使用哪种服务方式映射到目标表字段。该加工规则是指使用服务方式时所对应的规则，如使用服务方式1所对应的加工规则a将源表的数据映射到目标表字段。
[0038]在步骤102中，对数据需求信息进行梳理操作，以得到数据需求信息之中源表与目标表各自的物理模型、源表与目标表间的数据映射信息、源系统信息和目标表系统信息。
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业调度配置信息生成方法，其特征在于，包括：获取待处理的数据需求信息；对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息；根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标SQL语句；其中，所述目标SQL语句用于将所述源表中的数据映射到所述目标表的对应字段；确定用于执行目标SQL语句的作业，并根据所述源表、所述目标表、所述源系统信息和所述目标表系统信息，确定与所述作业存在依赖关系的上下游作业；根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息。2.如权利要求1所述的方法，其特征在于，所述对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息，包括：结合文字库和机器学习模型对所述数据需求信息进行文字模糊匹配和自然语言处理，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息；其中，所述源表的物理模型包括源表和源表字段，所述目标表的物理模型包括目标表和目标表字段；所述数据映射信息包括服务方式、与所述服务方式对应的加工规则。3.如权利要求1所述的方法，其特征在于，所述根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标SQL语句，包括：根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，确定所述源表中各字段映射到所述目标表中对应字段时所使用的服务方式和加工规则；将所述源表中字段通过对应的服务方式和加工规则，基于对应数据库的语句特性，拼接成SQL语句，并将拼接的SQL语句赋给所述目标表之中与所述源表中字段对应的字段，将所述目标表中所有字段的SQL语句进行拼接，以得到所述目标SQL语句。4.如权利要求1至3中任一项所述的方法，其特征在于，还包括：对所述目标SQL语句进行语法检验；确定所述目标SQL语句存在语法错误，获取所述目标SQL语句的语法调整信息；根据所述语法调整信息对所述目标SQL语句进行自动调整，或者，将所述语法调整信息提供给目标对象，并基于所述目标对象对所述调整信息的操作对所述目标SQL语句进行调整。5.如权利要求1所述的方法，其特征在于，所述根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息，包括：根据所述作业的执行频率、功能简称信息和时区信息生成所述目标表的作业流名称；根据所述目标表的名称和所述执行频率生成所述作业的作业名称；根据所述源表获取所述源表的作业流名称、条件名称、依赖的组件信息和前置依赖业务日期偏移规则；
将所述目标表的作业流名称、所述作业的作业名称、所述源表的作业流名称、所述条件名称、所述依赖的组件信息和所述前置依赖业务日期偏移规则，填进预设的作业调度配置模板中，以得到所述作业调度配置信息。6.如权利要求1所述的方法，其特征在于，在所述对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息之后，所述方法还包括：对所述源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息进行校验；确定校验结果，并根据所述校验结果生成对应的修改和/或优化建议信息；根据所述修改和/或优化建议信息，对所述源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息进行对应修改。7.如权利要求6所述的方法，其特征在于，所述对所述源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息进行校验，包括：判断所述源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息是否为空；从所述目标表的物理模型中获取目标表字段，并判断所述目标表字段是否兼容源表字段加工的类型；判断所述源表字段和所述目标表字段是否存在；判断所述数据映射信息中服务方式是否符合规范，并判断所述数据映射信息中加工规则是否符合SQL语义规则。8.一种作业调度配置信息生成装置，其特征在于，包括：第一获取模块，...

【专利技术属性】
技术研发人员：黄二明，苏培煌，吴胜，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：