一种大数据集群的自动化部署方法技术

本发明专利技术公开了一种大数据集群的自动化部署方法，应用于中心服务端中，所述中心服务端与设置有第一客户端的第一集群节点构成对等网络，所述方法包括：通过第一客户端及对等网络，获取第一集群节点的第一节点信息，第一节点信息用于表征第一集群节点的地址信息及身份信息；根据第一节点信息，确定第一集群节点的第一分组信息及第一配置信息；根据所述第一分组信息及所述第一配置信息，获得第二配置信息，所述第二配置信息为所述第一大数据集群内所有集群节点的配置信息，所述第二配置信息包括所述第一配置信息；向所述第一集群节点发送所述第二配置信息，以使所述第一集群节点根据所述第二配置信息进行自动化配置，形成所述第一大数据集群。

An automatic deployment method of big data cluster

【技术实现步骤摘要】
一种大数据集群的自动化部署方法
本专利技术涉及大数据应用与实践的
，尤其涉及一种大数据集群的自动化部署方法。
技术介绍
目前数据正在迅速膨胀并变大，并在各个领域起着决定性，因此，对于大数据的分析，是非常具有现实价值和意义的。虽然现在普通的个人电脑配置已经能基本满足个人对于一定数据量的处理和分析，但是，对于日趋增长的数据来说，其配置和处理能力是远远不够的。在这种背景下，大数据的系统应运而生。其设计的理念是使用多个系统协同运行，使用高度优化的算法来处理纷繁复杂的大量数据，并从中提取出有价值的数据信息。目前较常用的大数据系统的自动化配置，是基于特定网络环境下的类unix系统完成的，对于刚入门使用大数据或者数据分析人员来说，其配置过程往往是透明的，需要用户手动配置大量参数，导致用户在配置过程中，不能够很好地把握这些参数的选择，并且涉及大量的手动工序，配置繁琐复杂。
技术实现思路
本申请实施例通过提供一种大数据集群的自动化部署方法，解决了现有技术中大数据系统的自动化配置的涉及大量手动工序，配置繁琐复杂的技术问题。本文档来自技高网...

【技术保护点】
1.一种大数据集群的自动化部署方法，其特征在于，应用于中心服务端中，所述中心服务端与设置有第一客户端的第一集群节点构成对等网络，所述方法包括：/n通过所述第一客户端及所述对等网络，获取第一集群节点的第一节点信息，所述第一节点信息用于表征所述第一集群节点的地址信息及身份信息；/n根据所述第一节点信息，确定所述第一集群节点的第一分组信息及第一配置信息，所述第一分组信息用于表征所述第一集群节点属于第一大数据集群；/n根据所述第一分组信息及所述第一配置信息，获得第二配置信息，所述第二配置信息为所述第一大数据集群内所有集群节点的配置信息，所述第二配置信息包括所述第一配置信息；/n向所述第一集群节点发送所...

【技术特征摘要】
1.一种大数据集群的自动化部署方法，其特征在于，应用于中心服务端中，所述中心服务端与设置有第一客户端的第一集群节点构成对等网络，所述方法包括：
通过所述第一客户端及所述对等网络，获取第一集群节点的第一节点信息，所述第一节点信息用于表征所述第一集群节点的地址信息及身份信息；
根据所述第一节点信息，确定所述第一集群节点的第一分组信息及第一配置信息，所述第一分组信息用于表征所述第一集群节点属于第一大数据集群；
根据所述第一分组信息及所述第一配置信息，获得第二配置信息，所述第二配置信息为所述第一大数据集群内所有集群节点的配置信息，所述第二配置信息包括所述第一配置信息；
向所述第一集群节点发送所述第二配置信息，以使所述第一集群节点根据所述第二配置信息进行自动化配置，形成所述第一大数据集群。


2.如权利要求1所述的大数据集群的自动化部署方法，其特征在于，所述第一节点信息包括第一标识信息及第一IP地址信息。


3.如权利要求1所述的大数据集群的自动化部署方法，其特征在于，所述配置信息包括：标识信息、IP地址信息及角色信息。


4.如权利要求1所述的大数据集群的自动化部署方法，其特征在于，所述第一客户端处于windows系统或linux系统，当所述第一客户端处于windows系统时，所述第一集群节点设置有虚拟机程序；
所述通过所述第一客户端及所述对等网络，获取第一集群节点的第一节点信息，包括：
通过所述第一客户端控制所述虚拟机程序采集所述第一节点信息，并通过所述对等网络获取所述第一节点信息。


5.如权利要求1所述的大数据集群的自动化部署方法，其特征在于，所述根据所述第一分组信息及所述第一配置信息，获得第二配置信息，具体包括：
根据所述第一分组信息，获取所述第一集群节点所在的所述第一大数据集群的当前配置信息；
基于所述第一配置信息更新所述当前配置信息，得到所述第二配置信息，所述第二配置信息。


6.如权利要求1所述的大数据集群的自动化部署方法，其特征在于，所述根据所述第一节点信息，获得所述第一集群节点的第一分组信息及第一配置信息，包括：
根据预设配置模式、所述第一节点信息，获取所述第一分组信息及所述第一配置信息，其中，所述预设配置模式包括：自主配置模式、面对面模式、用户均衡模式、座位邻近模式中的其中一种。


7.如权利要求6所述的大数据集群的自动化部署方法，其特征在于，
当所述预设配置模式为所述自主配置模式时，所述根据预设配置模式、所述第一节点信息，获取所述第一分组信息及所述第一配置信息，包括：
响应于第一用户在所述中心服务端的第一操作，获取所述第一用户导入的所述第一集群节点的第一分组信息及第一角色信息；基于第一角色信息及所述第一节点信息，得到所述第一配置信息；
当所述预设配置模式为所述面对面模式时，所述根据预设配置模式、所述第一节点信息，获取所述第一分组信息及所述第一配置信息，包括：
响...

【专利技术属性】
技术研发人员：薛志东，姚春，卢璟祥，唐静，董英豪，张双双，杜海朋，
申请(专利权)人：华中科技大学鄂州工业技术研究院，华中科技大学，
类型：发明
国别省市：湖北;42