一种云原生场景下flink流计算依赖文件与镜像解耦方法技术

本发明专利技术公开了一种云原生场景下flink流计算依赖文件与镜像解耦方法，包括如下步骤：1)文件系统配置及依赖文件上传；2)构建任务基础镜像；3)实现flink

【技术实现步骤摘要】
一种云原生场景下flink流计算依赖文件与镜像解耦方法


[0001]本专利技术涉及一种在云原生场景下基于flink的流计算依赖文件与镜像解耦方法。

技术介绍

[0002]目前flink on kubernetes 流计算任务依赖的jar文件等在构建docker镜像时提前植入，每当更新任务依赖文件时都需要重新构建镜像，增加了开发迭代的负担。

技术实现思路

[0003]为了解决flink依赖包和用户代码包更新需要重新构建镜像的问题，本专利技术提供了一种在云原生场景下基于flink的流计算依赖文件与镜像解耦方法。
[0004]一种云原生场景下flink流计算依赖文件与镜像解耦方法，包括如下步骤：1）文件系统配置及依赖文件上传；以界面化的方式添加配置目标文件系统，选择创建的文件系统，上传依赖文件；2）构建任务基础镜像；提供任务运行的基础环境；3）实现flink
‑
on
‑
k8s插件及flink 自定义mount。
[0005]所述步骤1）包括如下步骤：1.1）添加配置文件系统，点击添加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云原生场景下flink流计算依赖文件与镜像解耦方法，其特征在于，包括如下步骤：1)文件系统配置及依赖文件上传；以界面化的方式添加配置目标文件系统，选择创建的文件系统，上传依赖文件；2)构建任务基础镜像；提供任务运行的基础环境；3)实现flink
‑
on
‑
k8s插件及flink自定义mount。2.如权利要求1所述的云原生场景下flink流计算依赖文件与镜像解耦方法，其特征在于，所述步骤1)包括如下步骤：1.1)添加配置文件系统，点击添加组件选择添加目标文件系统，根据不同文件系统给出不同的配置项填写；1.2)点击保存，测试添加的文件系统是否可以连通；1.3)选择界面的资源管理，点击上传资源，填写资源文件的属性信息，包括资源名，资源类型，存储位置及描述。3.如权利要求2所述的云原生场景下flink流计算依赖文件与镜像解耦方法，其特征在于，所述步骤2)包括如下步骤：2.1)镜像基于openjdk:8u242
‑
jdk构建，创建flink用户，安装必要的环境依赖包；2.2)组织flink home目录结构，在flink home下创建目录conf，log，plugins和deps；lib和bin目录通过mount的方式挂载到flink home上；2.3)设置env FLINK_CLASSPATH＝$FLINK_CLASSPATH:$FLINK_HOME/deps。4.如权利要求3所述的云原生场景下flink流计算依赖文件与镜像解耦方法，其特征在于，所述步骤3)包括如下步骤：3.1)定义创建volume和mount参数格式；3.2)在KubernetesUtils类中实现parseVolumesW...

【专利技术属性】
技术研发人员：郝卫亮，
申请(专利权)人：杭州玳数科技有限公司，
类型：发明
国别省市：