实时查询任务发布方法、平台、设备及存储介质技术

本发明专利技术提供了一种实时查询任务发布方法、平台、设备及存储介质，该方法包括：接收待发布的SQL任务文件；将所述SQL任务文件存储于任务数据库中；从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。通过采用本发明专利技术的方案，基于Flink计算引擎实现实时查询任务发布，提高了计算任务发布效率，可满足用户高吞吐低延迟的需求；本发明专利技术可以实现实时查询任务发布平台的多种输入源和多种输出，提高了实时查询任务发布平台的普适性。

Real time query task publishing methods, platforms, devices and storage media

【技术实现步骤摘要】
实时查询任务发布方法、平台、设备及存储介质
本专利技术涉及大数据处理
，尤其涉及一种实时查询任务发布方法、平台、设备及存储介质。
技术介绍
随着大数据的应用日趋广泛，业务需求方不再满足于离线计算花费的时间成本，对时间要求越来越高，大家把目光都聚焦在实时计算上，实时计算的需求也越来越多，但是实时计算的开发成本却比较高，很难满足业务需求方在时间上的要求。然而，现有的查询任务发布平台采用的均是近实时计算框架，存在数据延迟，不能达到低延迟高吞吐的性能要求。并且，现有的计算任务发布平台缺乏完善的语法语义支持，实现特殊的业务需求时开发代码难度比较大，对开发人员的要求比较高，不具有普适性。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供一种实时查询任务发布方法、平台、设备及存储介质，基于Flink计算引擎实现实时查询任务发布，提高计算任务发布效率，可满足用户高吞吐低延迟的需求。本专利技术实施例提供一种实时查询任务发布方法，所述方法包括如下步骤：接收待发布的SQL任务文件；将所述SQL任务文件存储于任务数本文档来自技高网...

【技术保护点】
1.一种实时查询任务发布方法，其特征在于，所述方法包括如下步骤：/n接收待发布的SQL任务文件；/n将所述SQL任务文件存储于任务数据库中；/n从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；/n将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。/n

【技术特征摘要】
1.一种实时查询任务发布方法，其特征在于，所述方法包括如下步骤：
接收待发布的SQL任务文件；
将所述SQL任务文件存储于任务数据库中；
从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；
将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。


2.根据权利要求1所述的实时查询任务发布方法，其特征在于，所述接收待发布的SQL任务文件，包括如下步骤：
接收用户在界面上的任务配置信息和SQL语句；
根据所述任务配置信息和SQL语句创建SQL任务，生成SQL任务文件。


3.根据权利要求2所述的实时查询任务发布方法，其特征在于，所述任务配置信息包括所属的项目名称，所述接收待发布的SQL任务文件之后，还包括查询所述项目名称所对应的项目信息。


4.根据权利要求3所述的实时查询任务发布方法，其特征在于，所述项目信息包括执行队列信息，所述集群计算资源包括多个任务列表，各个所述任务列表对应于所述集群计算资源中不同的计算节点；
所述将所述Flink计算引擎流图添加至集群计算资源的任务列表，包括将所述Flink计算引擎流图添加至所述集群计算资源中与所述执行队列信息相对应的任务列表。


5.根据权利要求3所述的实时查询任务发布方法，其特征在于，所述接收待发布的SQL任务文件之前，还包括如下步骤：
用户登录成功后，获取用户的登录信息；
根据用户的登录信息查询用户具有操作权限的项目名称；
用户新建SQL任务文件时，将用户具有操作权限的项目名称推送至用户，以供用户选择。


6.根据权利要求5所述的实时查询任务发布方法，其特征在于，所述方法还包括如下步骤：
将用户具有操作权限的项目名称下对应的SQL任务信息...

【专利技术属性】
技术研发人员：董延峰，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏;32