实时计算任务处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种实时计算任务处理方法、装置、设备及存储介质，所述实时计算任务处理方法包括：根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；基于所述任务文件，生成实时计算任务；执行所述实时计算任务。本申请实现了降低实时计算任务开发难度，提高实时计算开发效率。

【技术实现步骤摘要】
实时计算任务处理方法、装置、设备及存储介质
本申请涉及大数据处理
，具体而言，涉及一种实时计算任务处理方法、装置、设备及存储介质。
技术介绍
Flink是一种集批量数据和流式数据处理的分布式计算框架，具有高吞吐和低延迟的特性。随着企业级对于实时数据要求的不断提高，越来越多的公司开始采用flink实时计算框架，但是，现有的实时计算平台缺乏完善的语法语义支持，难以满足实际应用中复杂多样的业务需求，开发代码难度比较大，对开发人员的要求比较高，开发效率低并且不具有普适性。
技术实现思路
本申请实施例的目的在于提供一种实时计算任务处理方法、装置、设备及存储介质，用以实现降低实时计算任务开发门槛，提高实时计算开发效率。本申请实施例第一方面提供了一种实时计算任务处理方法，包括：根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；基于所述任务文件，生成实时计算任务；执行所述实时计算任务。于一实施例中，所述根据用户输入的业务指令，获取对应的任务文件，包括：判断预设模板数据库中是否存在对应于所述业务指令的任务文件；当预设模板数据库中存在对应于所述业务指令的任务文件时，获取所述任务文件。于一实施例中，所述根据用户输入的业务指令，获取对应的任务文件，还包括：当预设模板数据库中不存在对应于所述业务指令的任务文件时，获取用户配置信息，所述用户配置信息包括SQL语句定义的元数据信息、维表类型、维表加载策略和目标函数；基于所述用户配置信息，生成所述任务文件。r>于一实施例中，所述基于所述任务文件，生成实时计算任务，包括：对所述任务文件中的SQL语句进行解析，得到多个语法树节点；基于预设语法规则，对所述语法树节点进行校验，生成语法树；将所述语法树转换成逻辑计划；基于预设优化规则，对所述逻辑计划进行优化；将优化后的所述逻辑计划转换成物理计划；基于所述物理计划，生成所述实时计算任务。于一实施例中，所述对所述任务文件中的SQL语句进行解析，包括：通过正则匹配将所述SQL语句分为第一类型语句和第二类型语句；解析所述第一类型语句，得到原始数据源与flink内部表的第一映射关系；解析所述第二类型语句，得到原始数据源与flink内部表的第二映射关系；基于所述第一映射关系和第二映射关系，生成数据血缘图。于一实施例中，在所述执行所述实时计算任务之后，还包括：监控所述实时计算任务的执行状态；当所述实时计算任务失败时，按照预设方式发送告警信息。本申请实施例第二方面提供了一种实时计算任务处理装置，包括：获取模块，用于根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；生成模块，用于基于所述任务文件，生成实时计算任务；执行模块，用于执行所述实时计算任务。于一实施例中，还包括：监控模块，用于监控所述实时计算任务的状态；告警模块，用于当所述实时计算任务失败时，按照预设方式发送告警信息。于一实施例中，所述获取模块用于：判断预设模板数据库中是否存在对应于所述业务指令的任务文件；当预设模板数据库中存在对应于所述业务指令的任务文件时，获取所述任务文件。于一实施例中，所述获取模块还用于：当预设模板数据库中不存在对应于所述业务指令的任务文件时，获取用户配置信息，所述用户配置信息包括SQL语句定义的元数据信息、维表类型、维表加载策略和目标函数；基于所述用户配置信息，生成所述任务文件。于一实施例中，所述生成模块用于：对所述任务文件中的SQL语句进行解析，得到多个语法树节点；基于预设语法规则，对所述语法树节点进行校验，生成语法树；将所述语法树转换成逻辑计划；基于预设优化规则，对所述逻辑计划进行优化；将优化后的所述逻辑计划转换成物理计划；基于所述物理计划，生成所述实时计算任务。于一实施例中，所述生成模块具体用于：通过正则匹配将所述SQL语句分为第一类型语句和第二类型语句；解析所述第一类型语句，得到原始数据源与flink内部表的第一映射关系；解析所述第二类型语句，得到原始数据源与flink内部表的第二映射关系；基于所述第一映射关系和第二映射关系，生成数据血缘图。本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法。本申请实施例第四方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请一实施例的电子设备的结构示意图；图2为本申请一实施例的实时计算任务处理方法的流程示意图；图3为本申请另一实施例的实时计算任务处理方法的流程示意图；图4为本申请一实施例中步骤210的子步骤的流程示意图；图5为本申请一实施例中步骤220的子步骤的流程示意图；图6为本申请一实施例的实时计算任务处理装置的流程示意图；图7为本申请一实施例的实时计算系统的架构示意图。附图标记：100-电子设备，110-总线，120-处理器，130-存储器，500-实时计算任务处理装置，510-获取模块，520-生成模块，530-执行模块，540-监控模块，550-告警模块。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。在本申请的描述中，术语“包括”、“包含”等表示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、步骤、操作、元素、组件和/或其集合的存在或添加。在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“设有”、“连接”、“配置为”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或整体式构造；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。请参看图1，其为本申请一实施例的电子设备100的结构示意图，包括至少一个处理器120和存储器130，图1中以一个处理器为例。处理器120和存储器130通过总线110连接，存储器130存储有可被至少一个处理器120执行的指令，指令被至少一个处理器120执行，以使至少一个处理器120执行如下述实施例中的实时计算任务处理方法。于一实施例中，处理器120可以是通用处理器，包括但不限于中央处理器(本文档来自技高网...

【技术保护点】
1.一种实时计算任务处理方法，其特征在于，包括：/n根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；/n基于所述任务文件，生成实时计算任务；/n执行所述实时计算任务。/n

【技术特征摘要】
1.一种实时计算任务处理方法，其特征在于，包括：
根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；
基于所述任务文件，生成实时计算任务；
执行所述实时计算任务。


2.根据权利要求1所述的方法，其特征在于，所述根据用户输入的业务指令，获取对应的任务文件，包括：
判断预设模板数据库中是否存在对应于所述业务指令的任务文件；
当预设模板数据库中存在对应于所述业务指令的任务文件时，获取所述任务文件。


3.根据权利要求2所述的方法，其特征在于，所述根据用户输入的业务指令，获取对应的任务文件，还包括：
当预设模板数据库中不存在对应于所述业务指令的任务文件时，获取用户配置信息，所述用户配置信息包括SQL语句定义的元数据信息、维表类型、维表加载策略和目标函数；
基于所述用户配置信息，生成所述任务文件。


4.根据权利要求1所述的方法，其特征在于，所述基于所述任务文件，生成实时计算任务，包括：
对所述任务文件中的SQL语句进行解析，得到多个语法树节点；
基于预设语法规则，对所述语法树节点进行校验，生成语法树；
将所述语法树转换成逻辑计划；
基于预设优化规则，对所述逻辑计划进行优化；
将优化后的所述逻辑计划转换成物理计划；
基于所述物理计划，生成所述实时计算任务。


5.根据权利要求4所述的方法，其特征在于，所述对所述任务文...

【专利技术属性】
技术研发人员：程成龙，康卫东，
申请(专利权)人：北京高途云集教育科技有限公司，
类型：发明
国别省市：北京;11