本发明专利技术提供一种可视化的Flink流应用发布方法、系统、电子设备、存储介质，配置环境变量参数，包括Flink的网关机地址、Flink的HOME目录、Yarn的Rm Http地址；创建程序包，在前端WEB界面，创建HDFS目录，存储开发人员开发的Flink DataStream JAR包；上传JAR包，在前端WEB界面将开发开发人员开发好的Flink DataStream JAR包上传至对应的HDFS目录中；创建任务，在前端界面创建Flink任务，并设置任务参数；管理员审核，查看所述任务参数是否合理，若不合理，则由管理员驳回重新创建任务并设置任务参数；若合理，则审核通过；发布任务，后台对通过审核的Flink任务进行自动组装，生成不同版本、不同集群环境的Flink Run动态参数Dynamic Option，提交到网关机自动发布任务；查看任务，在前端页面查看发布任务的执行状态。页面查看发布任务的执行状态。页面查看发布任务的执行状态。
【技术实现步骤摘要】
一种可视化的Flink流应用发布方法、系统、电子设备、存储介质
[0001]本申请涉及Flink流应用发布
，具体涉及一种可视化的Flink流应用发布方法、系统、电子设备、存储介质。
技术介绍
[0002]Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式处理框架，社区也在如火如荼的发展，越来越多的公司正在使用Flink流技术处理业务，随着Flink流应用任务量的增长，带来了以下几个问题：
[0003]1、任务不可持续维护。目前主流的发布方式是通过命令行或Flink client，如果单纯的使用这两种方式去提交每个任务，当任务量大了，整个过程会变得不可维护。
[0004]2、多版本，多环境，多模式发布过程繁琐。Flink版本迭代很快，通常一个公司都有多个Flink版本，且存在几套集群环境、运行模式也分为LOCAL，STANDALONE，YARN，K8s等模式，当发布一个流应用时，整个过程会变得异常繁琐。
[0005]3、缺少审核机制。有些流任务参数设置不合理，而又缺少上线审核机制，这样的任务有可能造成集群资源的极大浪费。
[0006]4、管理混乱。大量的流任务，上线、下线、备份、恢复、日志、查看等得不到有效管理，增加了使用成本和维护成本。
技术实现思路
[0007]鉴于以上所述现有技术的缺点，本专利技术提供一种可视化的Flink流应用发布方法、系统、电子设备、存储介质，以解决上述技术问题。
[0008]本专利技术提供的一种可视化的Flink流应用发布方法、系统、电子设备、存储介质，包括
[0009]一种可视化的Flink流应用发布方法，所述方法包括：
[0010]配置环境变量参数，包括Flink的网关机地址、Flink的HOME目录、Yam的Rm Http地址；
[0011]创建程序包，在前端WEB界面，创建HDFS目录，存储开发人员开发的Flink DataStream JAR包；
[0012]上传JAR包，在前端WEB界面将开发开发人员开发好的Flink DataStream JAR包上传至对应的HDFS目录中；
[0013]创建任务，在前端界面创建Flink任务，并设置任务参数；
[0014]管理员审核，查看所述任务参数是否合理，若不合理，则由管理员驳回重新创建任务并设置任务参数；若合理，则审核通过；
[0015]发布任务，后台对通过审核的Flink任务进行自动组装，生成不同版本、不同集群环境的Flink Run动态参数Dynamic Option，提交到网关机自动发布任务；
[0016]查看任务，在前端页面查看发布任务的执行状态。
[0017]于本专利技术的一实施例中，所述Flink的网关机地址用于多集群环境发布任务，通过网关机以命令行或Flink Client的方式发布到集群上的，多套集群环境分别配置各自环境的网关机地址；
[0018]所述Flink的HOME目录用于多版本发布任务，Flink安装的HOME目录，多个Flink版本则分别配置各版本所在的HOME目录；
[0019]所述Yaarn的Rm Http地址用于多模式发布任务，当任务需要以YARN模式运行时，则需要配置此参数，在发布过程中和RM沟通以获取任务的运行状态。
[0020]于本专利技术的一实施例中，所述创建程序包中的HDFS目录按层级设置，包括用户名称/业务名称/JAR包名称三个层级，所述Flink DataStream JAR包沿着用户名称/业务名称/JAR包名称路径进行存储，每个业务名称下的JAR包名称容量为10个JAR包。
[0021]于本专利技术的一实施例中，所述上传JAR包按照指定层级进行对应上传至HDFS目录中，将所述JAR包沿着用户名称/业务名称/JAR包名称路径进行上传存储；
[0022]上传后结合JAR包记录上传版本号以及版本业务说明、JAR包描述、以及上传时间信息。
[0023]于本专利技术的一实施例中，所述任务参数包括：任务名称、Flink版本号、集群环境、运行模式、主类JAR包、主类名和自定义参数。
[0024]于本专利技术的一实施例中，所述发布任务还包括步骤：
[0025]将动态参数Dynamic Option以异步的方式提交到远程网关机；
[0026]任务提交成功后，同时生成WebURL并返回，进行WebUI跳转；
[0027]生成执行日志，并每隔2秒实时写入数据库表，使前端能够实时查看任务运行状态。
[0028]于本专利技术的一实施例中，所述发布任务还包括步骤：
[0029]查看发布后的任务的执行状态是否发布成功；若是，则查看任务详情；若否，则重新上传JAR包并创建任务，进行任务发布；
[0030]任务发布成功后自动跳转到Flink WebUI页面，进行查看任务运行详情。
[0031]一种可视化的Flink流应用发布系统，包括：
[0032]配置模块，用于配置环境变量参数，包括Flink的网关机地址、Flink的HOME目录、Yarn的Rm Http地址；
[0033]程序包创建模块，用于创建程序包，在前端WEB界面，创建HDFS目录，存储开发人员开发的Flink DataStream JAR包；
[0034]上传模块，用于上传JAR包，在前端WEB界面将开发开发人员开发好的Flink DataStream JAR包上传至对应的HDFS目录中；
[0035]任务创建模块，用于在前端界面创建Flink任务，并设置任务参数；
[0036]审核模块，用于审核任务，查看所述任务参数是否合理，若不合理，则由管理员驳回重新创建任务并设置任务参数；若合理，则审核通过；
[0037]任务发布模块，用于将后台通过审核的Flink任务进行自动组装，生成不同版本、不同集群环境的Flink Run动态参数Dynamic Option，提交到网关机自动发布任务；
[0038]查看模块，用于查看发布后的任务的执行状态是否发布成功；在成功时查看任务
详情；在失败时将失败信息反馈给用户并引导用户重新上传JAR包并创建任务后再次发布任务。
[0039]一种电子设备，所述电子设备包括：
[0040]一个或多个处理器；
[0041]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的可视化的Flink流应用发布系统。
[0042]一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的可视化的Flink流应用发布系统。
[0043]本专利技术的有益效果：
[0044]本专利技术中的
[0045]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。...
【技术保护点】
【技术特征摘要】
1.一种可视化的Flink流应用发布方法，其特征在于，所述方法包括：配置环境变量参数，包括Flink的网关机地址、Flink的HOME目录、Yarn的RmHttp地址；创建程序包，在前端WEB界面，创建HDFS目录，存储开发人员开发的Flink DataStreamJAR包；上传JAR包，在前端WEB界面将开发开发人员开发好的FlinkDataStreamJAR包上传至对应的HDFS目录中；创建任务，在前端界面创建Flink任务，并设置任务参数；管理员审核，查看所述任务参数是否合理，若不合理，则由管理员驳回重新创建任务并设置任务参数；若合理，则审核通过；发布任务，后台对通过审核的Flink任务进行自动组装，生成不同版本、不同集群环境的FlinkRun动态参数DynamicOption，提交到网关机自动发布任务；查看任务，在前端页面查看发布任务的执行状态。2.根据权利要求1所述的可视化的Flink流应用发布方法，其特征在于，所述Flink的网关机地址用于多集群环境发布任务，通过网关机以命令行或Flink Client的方式发布到集群上的，多套集群环境分别配置各自环境的网关机地址；所述Flink的HOME目录用于多版本发布任务，Flink安装的HOME目录，多个Flink版本则分别配置各版本所在的HOME目录；所述Yarn的RmHttp地址用于多模式发布任务，当任务需要以YARN模式运行时，则需要配置此参数，在发布过程中和RM沟通以获取任务的运行状态。3.根据权利要求1所述的可视化的Flink流应用发布方法，其特征在于，所述创建程序包中的HDFS目录按层级设置，包括用户名称/业务名称/JAR包名称三个层级，所述FlinkDataStreamJAR包沿着用户名称/业务名称/JAR包名称路径进行存储，每个业务名称下的JAR包名称容量为10个JAR包。4.根据权利要求3所述的可视化的Flink流应用发布方法，其特征在于，所述上传JAR包按照指定层级进行对应上传至HDFS目录中，将所述JAR包沿着用户名称/业务名称/JAR包名称路径进行上传存储；上传后结合JAR包记录上传版本号以及版本业务说明、JAR包描述、以及上传时间信息。5.根据权利要求1所述的可视化的Flink流应用发布方法，其特征在于，所述任务参数包括：任务名称、Flink版本号、集群环境、运行模式、主类J...
【专利技术属性】
技术研发人员：王毅，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。