一种Flink自动集成方法和系统技术方案

本发明专利技术涉及一种Flink自动集成方法和系统，方法包括获取Flink配置请求体，解析该Flink配置请求体，在预设的模板引擎中自动生成Flink的核心代码；将核心代码推送给指定的服务器；通过服务器将核心代码推送到指定的路径，并生成运行记录脚本文件；通过服务器将核心代码打包推送至Flink平台中进行管道控制，并执行运行记录脚本文件，获取实时日志和进程状态信息；模板引擎设有环境初始化模板、来源数据源模板、目标数据源模板、业务拦截逻辑模板、数据替换逻辑模板和目标执行逻辑模板，通过将各个模板生成的数据整合，生成Flink的核心代码。与现有技术相比，本发明专利技术具有自动生成代码，降低人为犯错风险；支持远程推送；不受版本控制等优点。本控制等优点。本控制等优点。

【技术实现步骤摘要】
一种Flink自动集成方法和系统


[0001]本专利技术涉及Flink集成
，尤其是涉及一种Flink自动集成方法和系统。

技术介绍

[0002]目前关于Flink集成方案，大多采用SpringBoot针对特定需求直接编写项目程序，将所有的需求整合在一个项目中，然后手动打成Jar包发布到Flink平台进行管道控制。
[0003]如授权公告号为CN111752545B的专利技术公开的一种支持数据重放的流计算方法，其主要方案包括，步骤1、流平台中定义task任务的备份保存机制以及task任务需要实现的快照备份和恢复接口SnapShotInterface；步骤2、用户在task任务的实现中编写SnapShotInterface的实现类，最终形态为打包后的jar包；步骤3、将jar包提交至流平台进行处理，同时流计算平台定期调用实现类的backup方法，将备份的数据保存到hdfs上；步骤4、当task任务执行失败后，重新启动task任务时流处理平台执行SnapShotInterface的实现类的recover方法从hdfs读取保存点文件并恢本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Flink自动集成方法，其特征在于，包括以下步骤：S1：获取Flink配置请求体，解析该Flink配置请求体，在预设的模板引擎中自动生成Flink的核心代码；S2：将所述核心代码推送给指定的服务器；S3：通过所述服务器将所述核心代码推送到指定的路径；S4：通过所述服务器将所述核心代码打包推送至Flink平台中进行管道控制。2.根据权利要求1所述的一种Flink自动集成方法，其特征在于，所述模板引擎设有环境初始化模板、来源数据源模板、目标数据源模板、业务拦截逻辑模板、数据替换逻辑模板和目标执行逻辑模板，所述环境初始化模板，用于生成Flink基础环境的代码；所述来源数据源模板，用于生成Flink管道来源数据源的对象配置；所述目标数据源模板，用于生成Flink管道同步目标数据源的对象配置；所述业务拦截逻辑模板，用于生成Flink管道中相关拦截逻辑的代码；所述数据替换逻辑模板，用于生成Flink管道中相关字段替换的代码；所述目标执行逻辑模板，用于生成Flink的管道执行代码；所述模板引擎还将各个模板生成的数据整合，生成所述Flink的核心代码。3.根据权利要求2所述的一种Flink自动集成方法，其特征在于，所述Flink基础环境的代码包括EnvironmentSettings、TableEnvironment和Pipeline的代码；所述Flink管道来源数据源的对象配置包括：来源数据库的连接信息、用户名、密码、同步字段信息和Kafka的信...

【专利技术属性】
技术研发人员：张彤，平松，
申请(专利权)人：上海得帆信息技术有限公司，
类型：发明
国别省市：