镜像构建方法技术

本申请涉及计算机技术领域，提供一种镜像构建方法

【技术实现步骤摘要】
镜像构建方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种镜像构建方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]目前，很多企业采用微服务架构
(
例如
k8s+
容器架构
)
，其中，微服务架构是一种在云中部署应用和服务的技术
。
在微服务架构中，经常会用到
airflow
，
airflow
是一种可编程
、
调度和监控的工作流平台
。
并且为了更好的使
airflow
适应微服务架构，需要将
airflow
制作成镜像
。
[0003]airflow
在执行大数据相关任务时，需要在
airflow
中安装大数据客户端
。
相关技术中，在
airflow
中安装大数据客户端的方法是直接将大数据客户端集成到镜像中
。
[0004]但是，一旦大数据客户端中的配置有所变动，
airflow
镜像就需要重新构建，
airflow
镜像的构建过程十分繁琐
。
因此，在执行大数据相关任务时，如何提高
airflow
镜像的构建效率，满足复杂多变的使用需求是目前迫切需要解决的问题
。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术实施例提供一种镜像构建方法
、
装置
、
电子设备及存储介质
。
[0006]本专利技术提供一种镜像构建方法，包括：
[0007]获取
airflow
初始镜像；
[0008]将所述
airflow
初始镜像部署在目标容器中，生成所述
kubernetes
平台与所述目标容器的映射关系，其中，所述目标容器为所述
kubernetes
平台管理的任一容器；
[0009]基于所述映射关系，将获取到的第一大数据客户端目录以及第一大数据客户端组件的环境配置信息映射至所述目标容器中；
[0010]根据所述
airflow
初始镜像
、
所述第一大数据客户端目录以及所述第一大数据客户端组件的环境配置信息生成
airflow
目标镜像
。
[0011]可选地，所述第一大数据客户端组件包括以下至少一项：
[0012]数据仓库
hive
；
[0013]分布式应用程序协调服务
zookeeper。
[0014]可选地，所述第一大数据客户端组件还包括计算引擎
spark
；
[0015]在所述基于所述映射关系，将获取到的第一大数据客户端目录以及第一大数据客户端组件的环境配置信息映射至所述目标容器中之后，还包括：
[0016]在接收到计算引擎调用指令的情况下，获取所述计算引擎
spark
的环境配置信息以及所述计算引擎
spark
对应的数据仓库
hive
的
jar
包；
[0017]将所述计算引擎
spark
的环境配置信息以及所述
jar
包映射至所述目标容器中
。
[0018]可选地，在所述基于所述映射关系，将获取到的第一大数据客户端目录以及第一
大数据客户端组件的环境配置信息映射至所述目标容器中之后，还包括：
[0019]获取第一大数据客户端环境变量；
[0020]将所述第一大数据客户端环境变量添加至所述目标容器中
。
[0021]可选地，所述方法还包括：
[0022]在接收到大数据客户端替换指令的情况下，基于所述映射关系，将获取到的第二大数据客户端目录以及第二大数据客户端组件的环境配置信息映射至所述目标容器中；
[0023]根据所述
airflow
初始镜像
、
所述第二大数据客户端目录以及所述第二大数据客户端组件的环境配置信息生成
airflow
更新目标镜像
。
[0024]可选地，在所述基于所述映射关系，将获取到的第二大数据客户端目录以及第二大数据客户端组件的环境配置信息映射至所述目标容器中之后，还包括：
[0025]获取第二大数据客户端环境变量；
[0026]将所述第二大数据客户端环境变量添加至所述目标容器中
。
[0027]本专利技术还提供一种镜像构建装置，包括：
[0028]获取模块，用于获取
airflow
初始镜像；
[0029]映射关系生成模块，用于将所述
airflow
初始镜像部署在目标容器中，生成所述
kubernetes
平台与所述目标容器的映射关系，其中，所述目标容器为所述
kubernetes
平台管理的任一容器；
[0030]第一映射模块，用于基于所述映射关系，将获取到的第一大数据客户端目录以及第一大数据客户端组件的环境配置信息映射至所述目标容器中；
[0031]目标镜像生成模块，用于根据所述
airflow
初始镜像
、
所述第一大数据客户端目录以及所述第一大数据客户端组件的环境配置信息生成
airflow
目标镜像
。
[0032]可选地，所述装置还包括：
[0033]第二映射模块，用于在接收到大数据客户端替换指令的情况下，基于所述映射关系，将获取到的第二大数据客户端目录以及第二大数据客户端组件的环境配置信息映射至所述目标容器中；
[0034]更新目标镜像生成模块，用于根据所述
airflow
初始镜像
、
所述第二大数据客户端目录以及所述第二大数据客户端组件的环境配置信息生成
airflow
更新目标镜像
。
[0035]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述镜像构建方法
。
[0036]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述镜像构建方法
。
[0037]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述镜像构建方法
。
[0038]本专利技术提供的镜像构建方法，通过将获取到的
airflow
初始镜像部署在目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种镜像构建方法，应用于
kubernetes
平台，其特征在于，包括：获取
airflow
初始镜像；将所述
airflow
初始镜像部署在目标容器中，生成所述
kubernetes
平台与所述目标容器的映射关系，其中，所述目标容器为所述
kubernetes
平台管理的任一容器；基于所述映射关系，将获取到的第一大数据客户端目录以及第一大数据客户端组件的环境配置信息映射至所述目标容器中；根据所述
airflow
初始镜像
、
所述第一大数据客户端目录以及所述第一大数据客户端组件的环境配置信息生成
airflow
目标镜像
。2.
根据权利要求1所述的镜像构建方法，其特征在于，所述第一大数据客户端组件包括以下至少一项：数据仓库
hive
；分布式应用程序协调服务
zookeeper。3.
根据权利要求2所述的镜像构建方法，其特征在于，所述第一大数据客户端组件还包括计算引擎
spark
；在所述基于所述映射关系，将获取到的第一大数据客户端目录以及第一大数据客户端组件的环境配置信息映射至所述目标容器中之后，还包括：在接收到计算引擎调用指令的情况下，获取所述计算引擎
spark
的环境配置信息以及所述计算引擎
spark
对应的数据仓库
hive
的
jar
包；将所述计算引擎
spark
的环境配置信息以及所述
jar
包映射至所述目标容器中
。4.
根据权利要求1所述的镜像构建方法，其特征在于，在所述基于所述映射关系，将获取到的第一大数据客户端目录以及第一大数据客户端组件的环境配置信息映射至所述目标容器中之后，还包括：获取第一大数据客户端环境变量；将所述第一大数据客户端环境变量添加至所述目标容器中
。5.
根据权利要求1‑4中任一项所述的镜像构建方法，其特征在于，所述方法还包括：在接收到大数据客户端替换指令的情况下，基于所述映射关系，将获取到的第二大数据客户端目录以及第二大数据客户端组件的环境配置信息映射至所述目标容器中；根据所述
airflow
初始镜像
、
所述第二大数据客户端...

【专利技术属性】
技术研发人员：齐怀超，
申请(专利权)人：中移雄安信息通信科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：