大数据集群访问方法、装置、设备和存储介质制造方法及图纸

本申请提供了一种大数据集群访问方法、装置、设备和存储介质，本申请提供一种大数据客户端，用于从集群外部节点访问大数据集群。大数据管理平台为用户生成客户端安装包和授权用户，用户通过安装包为用户安装访问大数据集群的客户端、客户端所需的依赖程序包、集群信息以及大数据服务配置，用户通过授权用户访问大数据集群。该方案可实现对访问用户屏蔽集群信息且用户的所有操作均在外部节点上执行，可避免用户误操作对集群带来的危害。避免用户误操作对集群带来的危害。避免用户误操作对集群带来的危害。

【技术实现步骤摘要】
大数据集群访问方法、装置、设备和存储介质


[0001]本申请涉及通信及大数据
，尤其涉及一种大数据集群访问方法、装置、设备和存储介质。

技术介绍

[0002]随着大数据技术逐渐深入到各行各业，越来越多的应用需要接入大数据集群，这同时也增大了维护大数据集群的难度，既要保证集群为用户提供服务，又要保证集群相关信息不被用户损坏，这在安全性、可靠性要求比较高的行业(如政务、金融等)显得尤为重要。
[0003]目前，对大数据集群的管理，通常都需要用户直接在大数据集群的节点上通过命令访问和管理大数据集群。同时为了保证集群安全性，可能还会对大数据集群开启权限管理、安全模式，权限管理可保障指定用户用于特定的大数据集群访问，安全模式可保障用户是否合法。用户在集群节点上，先进行用户认证，再进行集群访问。
[0004]现有的大数据集群管理方法存在以下几个缺陷：
[0005](1)存在一定风险，用户直接在大数据集群节点上进行操作，其操作具有一定的风险性，一旦误删除了系统文件，可能会导致系统崩溃，影响大数据集群。
[0006](2)存在安全问题，集群中不仅运行着大数据服务，还运行着一些辅助服务，如安全认证服务、时钟同步服务等。一旦合法用户登录集群，就可以“零距离”接触大数据集群，其误操作可能破坏这些服务，导致集群不能正常运行。
[0007](3)不利于维护，没有做到用户和集群的隔离，一旦管理员收回某位合法用户访问集群的权限后，该用户仍然可以登录该大数据集群节点。
[0008](4)无法缓解集群压力，某些大数据任务在进行提交后，会在当前节点上同步运行一个本地程序用于收集任务的执行进度，如Spark任务。如果直接在大数据集群节点上提交任务，运行的本地程序会与大数据服务抢占机器资源，在某些集群资源不太充分的环境中，可能会影响大数据服务的正常任务。

技术实现思路

[0009]有鉴于此，本申请提供一种大数据集群访问方法、装置、设备和存储介质，用于解决大数据集群访问的技术问题。
[0010]基于本申请实施例的一方面，本申请提供一种大数据集群访问方法，该方法应用于用户主机，该方法包括：
[0011]从大数据集群管理平台获取客户端安装包和授权用户；所述客户端安装包由大数据管理平台为用户生成，用于为用户安装访问大数据集群的客户端、客户端所需的依赖程序包、集群信息以及大数据服务配置；
[0012]使用所述客户端安装包安装所述客户端，为客户端运行设置环境变量并使用所述授权用户进行鉴权认证；
[0013]运行所述客户端，通过所述客户端访问大数据集群。
[0014]进一步地，不同的大数据集群对应不同类型的客户端；所述授权用户由大数据集群管理平台为用户创建，以限定用户对大数据集群中的资源的访问权限。
[0015]进一步地，所述使用所述客户端安装包安装所述客户端，为客户端运行设置环境变量并使用所述授权用户进行鉴权认证包括：
[0016]通过执行所述客户端安装包中的客户端安装脚本执行安装过程；
[0017]首先为客户端安装所需要的基础服务，客户端只使用自带的基础服务；
[0018]将所述客户端以及客户端所需的各种依赖程序包安装到客户主机上的指定目录下并给予用户对指定目录的可执行权限；
[0019]执行环境变量设置脚本为所述客户端配置环境变量；
[0020]根据集群信息及授权用户执行鉴权认证。
[0021]进一步地，所述通过所述客户端访问大数据集群包括：
[0022]所述客户端访问大数据集群的命令需携带认证信息；
[0023]若所述客户端无认证信息、客户端有认证信息但和当前用户不一致、或客户端有认证信息且和当前用户一致但超过授权期限，则不允许访问大数据集群；
[0024]若所述客户端有认证信息且和当前用户一致，授权用户在授权期限内，则允许访问大数据集群。
[0025]进一步地，所述方法还包括：通过客户端将用户的任务提交至大数据集群；启动一个本地的任务监控程序监控所提交的任务的执行状态。
[0026]进一步地，所述方法还包括：当大数据集群的配置发生变化时，从大数据集群下载配置文件安装包，在客户端安装目录执行客户端配置刷新脚本以刷新客户端侧的配置信息，以实现客户端的配置信息与集群配置信息保持一致。
[0027]基于本申请实施例的另一方面，本申请还提供一种大数据集群访问装置，该装置应用于用户主机，该装置可以软件、硬件或软硬结合的方式实现。当以软件模块方式实现时，当该软件模块的程序代码被加载到设备的存储介质中，由处理器读取存储介质中的程序代码进行执行，从而实现该装置中各组成模块的功能。该装置包括：
[0028]获取模块，用于从大数据集群管理平台获取客户端安装包和授权用户；所述客户端安装包由大数据管理平台为用户生成，用于为用户安装访问大数据集群的客户端、客户端所需的依赖程序包、集群信息以及大数据服务配置；
[0029]安装模块，用于使用所述客户端安装包安装所述客户端，为客户端运行设置环境变量并使用所述授权用户进行鉴权认证；
[0030]运行模块，用于运行所述客户端，通过所述客户端访问大数据集群。
[0031]进一步地，所述安装模块通过执行所述客户端安装包中的客户端安装脚本执行安装过程，所述安装模块包括：
[0032]基础安装模块，用于为客户端安装所需要的基础服务，客户端只使用自带的基础服务；
[0033]主安装模块，用于将所述客户端以及客户端所需的各种依赖程序包安装到客户主机上的指定目录下并给予用户对指定目录的可执行权限；
[0034]环境设置模块，用于执行环境变量设置脚本为所述客户端配置环境变量；
[0035]鉴权认证模块，用于根据集群信息及授权用户执行鉴权认证。
[0036]需要说明的是，本申请的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，多台设备中的一台设备可以只执行本申请的方法中的某一个或多个步骤，多台设备相互之间会进行交互以共同完成所述的方法实现本申请的专利技术目的，多台设备之间相互之间构成相互的指挥和控制关系。
附图说明
[0037]为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
[0038]图1为本申请一实施例提供的从集群外部访问大数据集群的网络架构示意图；
[0039]图2为本申请一实施例提供的大数据集群访问方法的步骤流程图；
[0040]图3为本申请一实施例提供的用于实现本申请提供的大数据集群访问方法的电子设备结构示意图。
具体实施方式
[0041]在本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群访问方法，其特征在于，该方法应用于用户主机，该方法包括：从大数据集群管理平台获取客户端安装包和授权用户；所述客户端安装包由大数据管理平台为用户生成，用于为用户安装访问大数据集群的客户端、客户端所需的依赖程序包、集群信息以及大数据服务配置；使用所述客户端安装包安装所述客户端，为客户端运行设置环境变量并使用所述授权用户进行鉴权认证；运行所述客户端，通过所述客户端访问大数据集群。2.根据权利要求1所述的方法，其特征在于，不同的大数据集群对应不同类型的客户端；所述授权用户由大数据集群管理平台为用户创建，以限定用户对大数据集群中的资源的访问权限。3.根据权利要求1所述的方法，其特征在于，所述使用所述客户端安装包安装所述客户端，为客户端运行设置环境变量并使用所述授权用户进行鉴权认证包括：通过执行所述客户端安装包中的客户端安装脚本执行安装过程；首先为客户端安装所需要的基础服务，客户端只使用自带的基础服务；将所述客户端以及客户端所需的各种依赖程序包安装到客户主机上的指定目录下并给予用户对指定目录的可执行权限；执行环境变量设置脚本为所述客户端配置环境变量；根据集群信息及授权用户执行鉴权认证。4.根据权利要求1所述的方法，其特征在于，所述通过所述客户端访问大数据集群包括：所述客户端访问大数据集群的命令需携带认证信息；若所述客户端无认证信息、客户端有认证信息但和当前用户不一致、或客户端有认证信息且和当前用户一致但超过授权期限，则不允许访问大数据集群；若所述客户端有认证信息且和当前用户一致，授权用户在授权期限内，则允许访问大数据集群。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过客户端将用户的任务提交至大数据集群；启动一个本地的任务监控程序监控所提交的任务的执行状态。6.根据...

【专利技术属性】
技术研发人员：卢鹏，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：