作业提交方法、装置、设备及计算机可读存储介质制造方法及图纸

本公开涉及一种作业提交方法、装置、设备及计算机可读存储介质，该方法包括：获取SQL作业的文件路径；通过通用应用程序读取所述文件路径对应的SQL作业，所述通用应用程序适用于任意的SQL作业；将所述通用应用程序和所述SQL作业提交至资源管理平台。本公开通过编写通用应用程序，基于文件路径读取SQL作业，既能够通过SQL这种低学习成本的方式来提交作业，而又无需频繁编写Java代码，提高了Flink运行SQL作业的灵活性。业的灵活性。业的灵活性。

【技术实现步骤摘要】
作业提交方法、装置、设备及计算机可读存储介质


[0001]本公开涉及大数据
，尤其涉及一种作业提交方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]Flink是一种分布式处理框架，在大数据领域发挥着至关重要的作用。目前，Flink提供了Java和结构化查询语言(Structured Query Language，SQL)两种应用程序编程接口(Application Programming Interface，API)方式来运行作业，其中SQL的学习成本低，更加适合BI人员使用。
[0003]一般情况下，Flink提供的使用SQL方式需要BI人员编写Java代码，在Java代码中初始化TableEnvironment，然后通过TableEnvironment执行SQL语句。
[0004]但是，这种方法在每次提交作业时都需要编写Java代码来打包和提交SQL作业，灵活性差。

技术实现思路

[0005]为了解决上述技术问题，本公开提供了一种作业提交方法、装置、设备及计算机可读存储介质，以提高SQL作业提交的灵活性。
[0006]第一方面，本公开实施例提供一种作业提交方法，包括：
[0007]获取SQL作业的文件路径；
[0008]通过通用应用程序读取所述文件路径对应的SQL作业，所述通用应用程序适用于任意的SQL作业；
[0009]将所述通用应用程序和所述SQL作业提交至资源管理平台。
[0010]在一些实施例中，所述通过通用应用程序读取所述文件路径对应的SQL作业，包括：
[0011]将所述文件路径作为所述通用应用程序的入参，使得所述通用应用程序基于所述入参读取对应的SQL作业。
[0012]在一些实施例中，所述通用应用程序中包括SQL作业的运行环境配置；
[0013]在将所述通用应用程序和所述SQL作业提交至资源管理平台后，所述方法还包括：
[0014]基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业。
[0015]在一些实施例中，所述基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业，包括：
[0016]基于所述SQL作业的运行环境配置，在所述资源管理平台中的运行环境进行初始化；
[0017]基于初始化后的运行环境，在所述资源管理平台中运行SQL作业。
[0018]在一些实施例中，在基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业之后，所述方法还包括：
[0019]查询所述SQL作业的运行状态。
[0020]在一些实施例中，所述通过通用应用程序读取所述文件路径对应的SQL作业之后，所述方法还包括：
[0021]将所述通用应用程序与所述SQL作业打包，得到待提交作业包；
[0022]相应的，所述将所述通用应用程序和所述SQL作业提交至资源管理平台，包括：
[0023]将所述待提交作业包提交至资源管理平台。
[0024]在一些实施例中，所述获取SQL作业的文件路径，包括：
[0025]获取用户输入的SQL作业的文件路径。
[0026]第二方面，本公开实施例提供一种作业提交装置，包括：
[0027]获取模块，用于获取SQL作业的文件路径；
[0028]读取模块，用于通过通用应用程序读取所述文件路径对应的SQL作业，所述通用应用程序适用于任意的SQL作业；
[0029]提交模块，用于将所述通用应用程序和所述SQL作业提交至资源管理平台。
[0030]可选的，读取模块具体用于将所述文件路径作为所述通用应用程序的入参，使得所述通用应用程序基于所述入参读取对应的SQL作业。
[0031]可选的，所述通用应用程序中包括SQL作业的运行环境配置；作业提交装置还包括运行模块，用于基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业。
[0032]可选的，运行模块包括初始化单元、运行单元；初始化单元用于基于所述SQL作业的运行环境配置，在所述资源管理平台中的运行环境进行初始化；运行单元用于基于初始化后的运行环境，在所述资源管理平台中运行SQL作业。
[0033]可选的，作业提交装置还包括查询模块，用于查询所述SQL作业的运行状态。
[0034]可选的，作业提交装置还包括打包模块，用于将所述通用应用程序与所述SQL作业打包，得到待提交作业包；相应的，提交模块还用于将所述待提交作业包提交至资源管理平台。
[0035]可选的，获取模块还用于获取用户输入的SQL作业的文件路径。
[0036]第三方面，本公开实施例提供一种电子设备，包括：
[0037]存储器；
[0038]处理器；以及
[0039]计算机程序；
[0040]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
[0041]第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
[0042]第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的作业提交方法。
[0043]本公开实施例提供的作业提交方法、装置、设备及计算机可读存储介质，通过编写通用应用程序，基于文件路径读取SQL作业，既能够通过SQL这种低学习成本的方式来提交作业，而又无需频繁编写Java代码，提高了Flink运行SQL作业的灵活性。
附图说明
[0044]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0045]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0046]图1为本公开实施例提供的作业提交方法流程图；
[0047]图2为本公开实施例提供的一种应用场景的示意图；
[0048]图3为本公开另一实施例提供的作业提交方法流程图；
[0049]图4为本公开实施例提供的作业提交装置的结构示意图；
[0050]图5为本公开实施例提供的电子设备的结构示意图。
具体实施方式
[0051]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0052]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业提交方法，其特征在于，所述方法包括：获取SQL作业的文件路径；通过通用应用程序读取所述文件路径对应的SQL作业，所述通用应用程序适用于任意的SQL作业；将所述通用应用程序和所述SQL作业提交至资源管理平台。2.根据权利要求1所述的方法，其特征在于，所述通过通用应用程序读取所述文件路径对应的SQL作业，包括：将所述文件路径作为所述通用应用程序的入参，使得所述通用应用程序基于所述入参读取对应的SQL作业。3.根据权利要求1所述的方法，其特征在于，所述通用应用程序中包括SQL作业的运行环境配置；在将所述通用应用程序和所述SQL作业提交至资源管理平台后，所述方法还包括：基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业。4.根据权利要求3所述的方法，其特征在于，所述基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业，包括：基于所述SQL作业的运行环境配置，在所述资源管理平台中的运行环境进行初始化；基于初始化后的运行环境，在所述资源管理平台中运行SQL作业。5.根据权利要求3所述的方法，其特征在于，在基于所述SQL作业的运行环境配置，在所述资源管理平台中运行SQL作业之后，所述方法还包括：查询所述SQL...

【专利技术属性】
技术研发人员：赵雅男，李良斌，
申请(专利权)人：海南声智互联科技有限公司，
类型：发明
国别省市：