一种任务执行方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种任务运行方法、装置、设备及存储介质，其中该方法包括：节点管理者NodeManager启动时，获取目标镜像文件；所述NodeManager启动执行目标任务时，启动应用容器引擎，并将所述目标任务对应的配置文件挂载到所述目标镜像文件中；所述应用容器引擎启动后，执行容器运行脚本，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程。该方法能够有效地限制NodeManager运行其Container时的资源消耗。行其Container时的资源消耗。行其Container时的资源消耗。

【技术实现步骤摘要】
一种任务执行方法、装置、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种任务执行方法、装置、设备及存储介质。

技术介绍

[0002]另一种资源协调者(Yet Another Resource Negotiator，Yarn)是一种新的分布式文件系统Hadoop的资源管理器，其本质上是一个通用资源管理系统，可以为上层应用提供统一的资源管理和调度。
[0003]节点代理者(NodeManager)是Yarn中的单节点代理，其负责管理Hadoop集群中的单个计算节点。在实际工作过程中，NodeManager需要与应用控制者(ApplicationMaster)和资源代理者(ResourceManager)进行交互，从ApplicationMaster处接收针对相关容器(Container)的命令(如启动命令、停止命令等)并执行，向ResourceManager上报各个Container的运行状态和节点健康状态。
[0004]相关技术中，Yarn中的NodeManager运行其Container时通常无法实现资源隔离，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务运行方法，其特征在于，所述方法包括：节点管理者NodeManager启动时，获取目标镜像文件；所述NodeManager启动执行目标任务时，启动应用容器引擎，并将所述目标任务对应的配置文件挂载到所述目标镜像文件中；所述应用容器引擎启动后，执行容器运行脚本，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述目标任务的提交者对应的目标用户信息；所述应用容器引擎启动后，根据所述目标用户信息，生成目标虚拟用户以及所述目标虚拟用户对应的权限；则所述应用容器引擎启动后，执行容器运行脚本，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程，包括：所述应用容器引擎启动后，执行所述容器运行脚本，通过所述目标虚拟用户按照其对应的权限，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程。3.根据权利要求1或2所述的方法，其特征在于，所述配置文件包括以下至少一种：分布式文件系统Hadoop的资源配置文件、计算引擎Spark的资源配置文件、目标软件包文件。4.根据权利要求1所述的方法，其特征在于，所述NodeManager启动时，所述方法还包括：检测所述应用容器引擎当前是否登录有目标用户账号；若是，则执行所述获取目标镜像文件；若否，则获取目标用户登录信息，基于所述目标用户登录信息在所述应用容器引擎上登录所述目标用户账号，并在检测到登录成功后，执行所述获取目标镜像文件。5.根据权利要求1或4所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：王一，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：