一种数据工作台部署方法、装置、终端及存储介质制造方法及图纸

技术编号:32928259 阅读:22 留言:0更新日期:2022-04-07 12:19
本发明专利技术涉及数据工作台部署领域,具体公开一种数据工作台部署方法、装置、终端及存储介质,首先在大数据平台上集群所在的层级设置数据工作台,之后安装数据工作台时,在选择的节点上安装数据工作台master进程和数据工作台worker进程。本发明专利技术在大数据平台上集群所在的层级设置数据工作台,将数据工作台部署于平台层而非集群内,从而使大数据平台所有集群共用一个数据工作台,安装数据工作台时,在选择的节点上安装数据工作台master进程和数据工作台worker进程,用户可将工作流选择性的提交到任一个数据工作台worker进程和yarn队列上,实现对全平台各节点数据工作台worker进程以及yarn资源的调度,对整个平台资源更加全面充分的利用。的利用。的利用。

【技术实现步骤摘要】
一种数据工作台部署方法、装置、终端及存储介质


[0001]本专利技术涉及数据工作台部署领域,具体涉及一种数据工作台部署方法、装置、终端及存储介质。

技术介绍

[0002]大数据平台支持多集群部署,即同一平台包含多个节点,可以选择其中任意一个或多个节点部署集群。当前,数据工作台安装于大数据平台的某一个集群内(同一平台某个集群安装了数据工作台,其他集群便不可安装数据工作台),可以访问并操作本集群以及同平台其他集群的数据,但是只能使用本集群的数据工作台worker进程以及yarn资源运行作业流,造成资源浪费。

技术实现思路

[0003]为解决上述问题,本专利技术提供一种数据工作台部署方法、装置、终端及存储介质,将数据工作台部署于平台层而非集群内,从而使大数据平台所有集群共用一个数据工作台,用户可将工作流选择性的提交到任一个数据工作台worker进程和yarn队列上,实现对全平台各节点数据工作台worker进程以及yarn资源的调度,对整个平台资源更加全面充分的利用。
[0004]第一方面,本专利技术的技术方案提供一种数据工作台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据工作台部署方法,其特征在于,包括以下步骤:在大数据平台上集群所在的层级设置数据工作台;安装数据工作台时,在选择的节点上安装数据工作台master进程和数据工作台worker进程。2.根据权利要求1所述的数据工作台部署方法,其特征在于,在选择的节点上安装数据工作台master进程和数据工作台worker进程,具体为:根据用户需求,在已部署了集群的节点中选择相应节点安装数据工作台master进程和数据工作台worker进程。3.根据权利要求2所述的数据工作台部署方法,其特征在于,该方法还包括以下步骤:在数据工作台内部设置worker分组管理;将同一集群内的数据工作台worker进程设置在同一分组内。4.根据权利要求3所述的数据工作台部署方法,其特征在于,该方法还包括以下步骤:在数据工作台内部设置yarn队列管理;将各个集群的yarn队列配置添加到数据工作台的yarn队列管理中。5.一种数据工作台部署装置,其特征在于,包括,数据工作台设置模块:在大数据平台上集群所在的层级设置数据工作台;数据工作台安装模块:安装数据工作台时,在选择的节点上安装数据工作台master进程和数据工作台worker进程。6.根据权利要求5...

【专利技术属性】
技术研发人员:王倩
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1