Airflow服务的部署方法及装置、存储介质、计算机设备制造方法及图纸

本申请公开了一种Airflow服务的部署方法及装置、存储介质、计算机设备，该方法包括：在Ambari管理工具的根目录配置文件夹中存放Airflow服务的参数配置文件以及服务描述文件；通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和服务创建目录信息、以及读取所述服务描述文件中的Airflow服务组件；通过执行预编译的Airflow服务功能脚本，基于所述服务创建目录信息在Ambari管理工具的文件目录下创建Airflow服务的Airflow文件目录，并基于所述组件配置参数在所述Airflow文件目录下对所述Airflow服务组件进行安装，以实现对Airflow服务的部署。本申请避免对Airflow服务进行大量的节点配置，减少手动部署的繁琐操作，提升部署的效率和准确率。提升部署的效率和准确率。提升部署的效率和准确率。

【技术实现步骤摘要】
Airflow服务的部署方法及装置、存储介质、计算机设备


[0001]本申请涉及计算机
，尤其是涉及到一种Airflow服务的部署方法及装置、存储介质、计算机设备。

技术介绍

[0002]Apache Airflow是用于数据工程管道的工作流管理平台，用于管理有向无环图(DAG)及其相关任务。Airflow安装后，需要进行大量的后台配置修改以保证其能够在生产环境正常执行工作流调度。在分布式的运行场景下，Airflow还存在节点间的数据同步问题。各节点数据不严格一致会导致Dag调度失败。目前安装Airflow时依赖于用户在后台进行大量的手动部署，操作繁琐且容易出错。

技术实现思路

[0003]有鉴于此，本申请提供了一种Airflow服务的部署方法及装置、存储介质、计算机设备，通过对Ambari管理工具进行二次开发，以实现对Airflow服务的自动部署，减少手动操作的工作量，提升Airflow服务的部署效率和准确率。
[0004]根据本申请的一个方面，提供了一种Airflow服务的部署方法，所述方法包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Airflow服务的部署方法，其特征在于，所述方法包括：在Ambari管理工具的根目录配置文件夹中存放Airflow服务的参数配置文件以及服务描述文件；通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和服务创建目录信息、以及读取所述服务描述文件中的Airflow服务组件；通过执行预编译的Airflow服务功能脚本，基于所述服务创建目录信息在Ambari管理工具的文件目录下创建Airflow服务的Airflow文件目录，并基于所述组件配置参数在所述Airflow文件目录下对所述Airflow服务组件进行安装，以实现对Airflow服务的部署。2.根据权利要求1所述的方法，其特征在于，所述参数配置文件还包括Airflow服务事项存放目录信息，所述Airflow服务事项存放目录信息包括Airflow服务日志存放目录信息以及Airflow服务进程存放目录信息；所述服务描述文件还包括组件依赖关系，所述Airflow服务组件包括Airflow scheduler任务调度组件、Airflow webserver可视化组件、以及Airflow worker任务执行组件，其中，Airflow scheduler组件依赖于Airflow worker组件；所述通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和服务创建目录信息、以及读取所述服务描述文件中的Airflow服务组件，包括：通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和Airflow服务事项存放目录信息、以及读取所述服务描述文件中的Airflow服务组件和组件依赖关系；相应地，所述基于所述组件配置参数在所述Airflow文件目录下对所述Airflow服务组件进行安装，包括：基于所述组件配置参数和所述组件依赖关系，在所述Airflow文件目录下进行所述Airflow scheduler任务调度组件、所述Airflow webserver可视化组件、以及所述Airflow worker任务执行组件的安装，并基于所述Airflow服务事项存放目录信息在所述Airflow文件目录下创建Airflow服务日志存放目录和Airflow服务进程存放目录。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在Airflow服务的运行过程中，采集Airflow服务的运行日志保存在Airflow服务日志存放目录下，以及采集Airflow服务的进程控制符信息保存在Airflow服务进程存放目录下；监控所述Airflow scheduler任务调度组件、所述Airflow webserver可视化组件、以及所述Airflow worker任务执行组件的运行状态，基于预设预警规则判断是否存在Airflow服务组件运行异常，并在任一Airflow服务组件运行异常时进行异常预警。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在任一Airflow服务组件运行异常时，通过执行所述Airflow服务功能脚本，停止所述Airflow服务的运行；当接收到所述Airflow服务的异常恢复信号时，通过执行所述Airflow服务功能脚本，重启所述Airflow服务。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括...

【专利技术属性】
技术研发人员：薛梦冉，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：