大数据集群管理方法、装置、存储介质和计算机设备制造方法及图纸

本发明专利技术公开了一种大数据集群管理方法、装置、存储介质和计算机设备，涉及大数据领域。该大数据集群管理方法包括：获取待添加的大数据集群的待验证配置信息；对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，并将大数据集群作为集群管理节点；获取节点连接指令；根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端；获取交互指令；根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理。采用该大数据集群管理方法能够简化大数据集群的使用流程，有效提高大数据集群处理的工作效率。

Large Data Cluster Management Method, Device, Storage Media and Computer Equipment

The invention discloses a method, device, storage medium and computer equipment for managing large data sets, which relates to the field of large data. The management method of large data set includes: obtaining the configuration information to be verified for large data set to be added; validating the configuration information to be validated; adding the large data set according to the configuration information to be validated, and taking the large data set as the cluster management node; acquiring the node connection instruction; connecting the node to the cluster management node according to the node connection instruction, and if the validation is successful, then adding the large data set according to the configuration information to be validated. Install the node client for the cluster management node; get the interactive instructions; exchange information with the node client according to the interactive instructions, and manage the large data cluster through the node client. This method can simplify the process of using large data sets and improve the efficiency of processing large data sets effectively.

【技术实现步骤摘要】
大数据集群管理方法、装置、存储介质和计算机设备
本专利技术涉及大数据领域，尤其涉及一种大数据集群管理方法、装置、存储介质和计算机设备。
技术介绍
大数据集群是指实现对大数据从数据获取、数据存储和数据分析的集群。目前，不同的大数据集群通过各自独立的管理系统进行管理。对于用户来说，使用不同的大数据集群需要通过不同的渠道申请使用，使用流程繁琐，明显降低了工作效率。
技术实现思路
有鉴于此，本专利技术实施例提供了一种大数据集群管理方法、装置、存储介质和计算机设备，用以解决大数据集群使用流程繁琐，效率低下的问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种大数据集群管理方法，所述方法包括：获取待添加的大数据集群的待验证配置信息；对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；获取节点连接指令；根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；获取交互指令；根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。进一步地，所述根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端，包括：根据所述待验证配置信息获取所述集群管理节点的节点信息；根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。进一步地，在所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理之前，所述方法还包括：接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；响应于所述第一信息，向所述节点客户端发送第二信息；通过所述第二信息确定与所述节点客户端之间的连接状态；在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。进一步地，所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理，包括：获取与数据迁移相关的第一交互指令；根据所述第一交互指令与第一节点客户端进行信息交互，获取所述第一节点客户端的目标元数据和/或相应的权限；获取与数据迁移相关的第二交互指令；根据所述第二交互指令与第二节点客户端进行信息交互，将所述第一节点客户端的所述目标元数据和/或相应的所述权限迁移到所述第二节点客户端中。进一步地，在所述获取待添加的大数据集群的待验证配置信息之前，所述方法还包括：根据客户端/服务器端架构以及TCP/IP协议设置与所述大数据集群进行连接的配置条件；根据所述配置条件设置信息验证框，所述信息验证框用于对输入的所述待验证配置信息进行验证；所述对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，包括：根据所述信息验证框对所述待验证配置信息进行验证，判断所述待验证配置信息是否满足所述配置条件；若所述待验证配置信息满足所述配置条件，则根据所述待验证配置信息添加所述大数据集群。为了实现上述目的，根据本专利技术的一个方面，提供了一种大数据集群管理装置，所述装置包括：待验证配置信息获取模块，用于获取待添加的大数据集群的待验证配置信息；大数据集群添加模块，用于对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；节点连接指令获取模块，用于获取节点连接指令；节点客户端安装模块，用于根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；交互指令获取模块，用于获取交互指令；管理模块，用于根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。进一步地，所述节点客户端安装模块，包括：节点信息获取单元，用于根据所述待验证配置信息获取所述集群管理节点的节点信息；节点客户端安装单元，用于根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。进一步地，所述装置还包括：第一信息接收单元，用于接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；第二信息发送单元，用于响应于所述第一信息，向所述节点客户端发送第二信息；连接状态确定单元，用于通过所述第二信息确定与所述节点客户端之间的连接状态；交互指令发送单元，用于在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。为了实现上述目的，根据本专利技术的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的大数据集群管理方法。为了实现上述目的，根据本专利技术的一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的大数据集群管理方法的步骤。本专利技术实施例中，首先对待添加的大数据集群的待验证配置信息进行验证，添加验证成功的待验证配置信息对应的大数据集群，并将该大数据集群作为集群管理节点，将大数据集群以管理节点的形式为大数据集群之间的信息交互提供了重要的前提。然后根据节点连接指令与集群管理节点进行连接，并安装节点客户端，能够通过大数据集群管理系统将各个大数据集群连接起来，并通过安装节点客户端的方式以实现大数据集群之间进行信息交互。最后根据交互指令与节点客户端进行信息交互，使得大数据集群之间可以通过大数据集群管理系统进行信息交互，能够简化大数据集群的使用流程，有效提高大数据集群处理的工作效率，实现对大数据集群进行管理的功能。【附图说明】为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术一实施例中大数据集群管理方法的一流程图；图2是本专利技术一实施例中大数据集群管理装置的一示意图；图3是本专利技术一实施例中计算机设备的一示意图。【具体实施方式】为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。应当理解，尽管在本专利技术实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。本文档来自技高网...

【技术保护点】
1.一种大数据集群管理方法，其特征在于，所述方法包括：获取待添加的大数据集群的待验证配置信息；对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；获取节点连接指令；根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；获取交互指令；根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。

【技术特征摘要】
1.一种大数据集群管理方法，其特征在于，所述方法包括：获取待添加的大数据集群的待验证配置信息；对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；获取节点连接指令；根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；获取交互指令；根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。2.根据权利要求1所述的方法，其特征在于，所述根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端，包括：根据所述待验证配置信息获取所述集群管理节点的节点信息；根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。3.根据权利要求1所述的方法，其特征在于，在所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理之前，所述方法还包括：接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；响应于所述第一信息，向所述节点客户端发送第二信息；通过所述第二信息确定与所述节点客户端之间的连接状态；在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。4.根据权利要求1所述的方法，其特征在于，所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理，包括：获取与数据迁移相关的第一交互指令；根据所述第一交互指令与第一节点客户端进行信息交互，获取所述第一节点客户端的目标元数据和/或相应的权限；获取与数据迁移相关的第二交互指令；根据所述第二交互指令与第二节点客户端进行信息交互，将所述第一节点客户端的所述目标元数据和/或相应的所述权限迁移到所述第二节点客户端中。5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述获取待添加的大数据集群的待验证配置信息之前，所述方法还包括：根据客户端/服务器端架构以及TCP/IP协议设置与所述大数据集群进行连接的配置条件；根据所述配置条件设置信息验证框，所述信息验证框用于对输入的所述待验证配置信息进行验证；...

【专利技术属性】
技术研发人员：曾根长，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44