【技术实现步骤摘要】
本申请涉及大数据领域，尤其涉及一种基于流计算引擎的流处理任务配置方法及装置。
技术介绍
1、流处理任务是指处理流式数据的任务。流式数据处理是指对实时流式数据进行实时处理。目前，由于各种传感器、设备、应用程序和系统产生了海量的实时数据流，需要实时对这些数据进行分析和处理，以便及时地发现数据中的价值和趋势，从而做出更明智的决策。与传统的批处理相比，流式数据处理具有更低的延迟、更高的实时性和更高的处理吞吐量，能够更快速地响应和处理数据。而流式数据处理大多由流计算引擎实现，例如flink。
2、在应用开发场景中，开发人员在开发好应用的业务逻辑后，可能还需要为应用配置相应的流处理任务，以便在应用上线之后，对应用运行过程中产生的实时数据流进行处理。目前使用流式计算flink框架的应用较多，大多数应用基于原生flink进行开发。
3、然而由于原生flink在开发时需要一定的技术门槛，对于不太了解flink的开发人员来说，开发难度较大，效率较低。随着时代的发展，数据量暴涨，实际应用场景中的遇到的业务场景也越来越复杂，如何简化开发流程，让开发人员专注于业务逻辑的开发，成为了迫在眉睫的事。
技术实现思路
1、本申请提供一种基于流计算引擎的流处理任务配置方法及装置，用户只需简单的配置操作即可实现流处理任务的配置，操作简单效率较高。
2、第一方面，本申请提供一种基于流计算引擎的流处理任务配置方法，包括：
3、在检测到用户针对目标应用程序所触发的任务配置指令的
4、在所述配置类型为新建的情况下，获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息；所述前置连接器用于连接源数据库，所述源数据库用于存储所述目标应用程序相关的流式数据；所述第一连接信息用于描述所述前置连接器；
5、获取用户针对所述目标流处理任务所输入的流处理语句；所述流处理语句用于对所述流式数据进行流处理；
6、获取用户针对所述目标流处理任务所配置的后置连接器对应的第二连接信息；所述后置连接器用于连接目标数据库，所述目标数据库用于存储处理后的流式数据；所述第二连接信息用于描述所述后置连接器；
7、在检测到针对所述目标流处理任务的提交指令的情况下，向服务器发送所述目标流处理任务对应的配置信息，以使所述服务器基于所述配置信息采用所述流计算引擎执行所述目标流处理任务，所述配置信息包括所述第一连接信息、所述流处理语句和所述第二连接信息。
8、可选地，所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之前，所述方法还包括以下任一项：
9、确定用户从所述流计算引擎所集成的连接器中所选择的前置连接器；
10、确定用户通过外用连接器接口所配置的前置连接器。
11、可选地，所述配置信息还包括任务参数；所述任务参数为默认参数或自定义参数；所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括以下任一项：
12、获取所述流计算引擎中所配置的所述默认参数；
13、获取用户通过参数修改接口对所述默认参数进行修改后所得到的所述自定义参数。
14、可选地，所述配置信息还包括用于流处理的自定义函数；所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括：
15、获取用户通过自定义函数上传接口所上传的用于流处理的所述自定义函数。
16、可选地，所述配置信息还包括所述源数据库对应的数据结构模板；所述数据结构模板用于所述流计算引擎在执行所述目标流处理任务时将所述数据结构模板解析为数据定义语句；
17、所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括：
18、获取用户通过数据结构上传接口所上传的数据结构模板；所述数据结构模板用于描述所述源数据库中存储的数据对应的数据结构。
19、可选地，所述获取用户针对所述目标流处理任务所输入的流处理语句，包括：
20、确定所述流计算引擎采用的预设数据库；
21、获取用户采用所述预设数据库对应的编程语言所编写的流处理语句；所述流处理语句包括数据加工语句和数据审查语句；所述数据加工语句用于对所述流式数据进行数据转换，所述数据审查语句用于查询处理后的流式数据是否符合预期。
22、可选地，所述获取用户针对目标流处理任务所选择的配置类型之后，所述方法还包括：
23、在所述配置类型为更新的情况下，获取用户针对所述目标流处理任务对应的配置信息进行更改后得到的更改配置信息；
24、向所述服务器发送所述更改配置信息，以使所述服务器基于所述更改配置信息执行所述目标流处理任务。
25、可选地，所述获取用户针对目标流处理任务所选择的配置类型之后，所述方法还包括：
26、在所述配置类型为重启的情况下，向所述服务器发送重启请求，以使所述服务器重新启动所述目标流处理任务。
27、第二方面，本申请提供一种基于流计算引擎的流处理任务配置装置，包括：
28、配置类型获取模块，用于在检测到用户针对目标应用程序所触发的任务配置指令的情况下，获取用户针对目标流处理任务所选择的配置类型；其中，所述目标流处理任务用于处理所述目标应用程序相关的流式数据；所述配置类型为新建、更新或重启；
29、连接信息获取模块，用于在所述配置类型为新建的情况下，获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息；所述前置连接器用于连接源数据库，所述源数据库用于存储所述目标应用程序相关的流式数据；所述第一连接信息用于描述所述前置连接器；
30、语句获取模块，用于获取用户针对所述目标流处理任务所输入的流处理语句；所述流处理语句用于对所述流式数据进行流处理；
31、所述连接信息获取模块，还用于获取用户针对所述目标流处理任务所配置的后置连接器对应的第二连接信息；所述后置连接器用于连接目标数据库，所述目标数据库用于存储处理后的流式数据；所述第二连接信息用于描述所述后置连接器；
32、信息发送模块，用于在检测到针对所述目标流处理任务的提交指令的情况下，向服务器发送所述目标流处理任务对应的配置信息，以使所述服务器基于所述配置信息采用所述流计算引擎执行所述目标流处理任务，所述配置信息包括所述第一连接信息、所述流处理语句和所述第二连接信息。
33、第三方面，本申请提供一种电子设备，包括：处理器以及分别与所述处理器通信连接的存储器和收发器；
34、所述存储器存储计算机执行指令；所述收发器用于与服务器之间收发数据；
35、所述处理器执本文档来自技高网...
【技术保护点】
1.一种基于流计算引擎的流处理任务配置方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之前，所述方法还包括以下任一项：
3.根据权利要求1所述的方法，其特征在于，所述配置信息还包括任务参数；所述任务参数为默认参数或自定义参数；所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括以下任一项：
4.根据权利要求3所述的方法，其特征在于，所述配置信息还包括用于流处理的自定义函数；所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述配置信息还包括所述源数据库对应的数据结构模板；所述数据结构模板用于所述流计算引擎在执行所述目标流处理任务时将所述数据结构模板解析为数据定义语句；
6.根据权利要求1所述的方法，其特征在于，所述获取用户针对所述目标流处理任务所输入的流处理语句，包括：
7.根据权利要求1所
8.根据权利要求1所述的方法，其特征在于，所述获取用户针对目标流处理任务所选择的配置类型之后，所述方法还包括：
9.一种基于流计算引擎的流处理任务配置装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：处理器以及分别与所述处理器通信连接的存储器和收发器；
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的基于流计算引擎的流处理任务配置方法。
...【技术特征摘要】
1.一种基于流计算引擎的流处理任务配置方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之前，所述方法还包括以下任一项：
3.根据权利要求1所述的方法，其特征在于，所述配置信息还包括任务参数；所述任务参数为默认参数或自定义参数；所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括以下任一项：
4.根据权利要求3所述的方法，其特征在于，所述配置信息还包括用于流处理的自定义函数；所述获取用户针对所述目标流处理任务所配置的前置连接器对应的第一连接信息之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述配置信息还包括所述源数据库对应的数据结构模板；所述数据结构模板用于所述流计算引擎在执行所述目标流处...
【专利技术属性】
技术研发人员：曾宇，乔浩，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。