集群配置方法、装置、服务器及可读存储介质制造方法及图纸

本申请提供一种集群配置方法、装置、服务器及可读存储介质。方法包括：在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息；接收网络系统中其他节点基于探测信息响应的应答信息，其他节点为至少一个启动集群管理服务组件的节点；根据本节点的第一待配置信息、探测到的其他节点的第二待配置信息及本节点中的大数据组件与网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，第一配置文件和第二配置文件用于建立本节点与其他节点的相同类型的大数据组件的集群，第二配置文件为其他节点生成的与其他节点的大数据组件对应的配置文件。方案能够降低集群配置的难度，提高集群配置的效率。

【技术实现步骤摘要】
集群配置方法、装置、服务器及可读存储介质
本专利技术涉及大数据集群
，具体而言，涉及一种集群配置方法、装置、服务器及可读存储介质。
技术介绍
随着信息技术的发展，大数据技术已经深入到各行各业，在一些小的企业中，设备的硬件资源有限，用户需要尽可能少的硬件服务器资源完成最大的数据管理计算要求，因此存在大量存储和计算服务器资源复用的场景，在一台服务器资源上存在多个大数据组件同时运行，多台服务器的相关组件自成一个集群。目前，大数据集群在配置过程中，通常需要管理人员逐个对服务器信息的收集及逐个进行配置，以构建集群。在这配置过程对管理人员的技术要求较高，需要管理人员掌握大数据平台的部署方法，配置方法，使得集群部署配置的难度大、配置的效率低。
技术实现思路
本申请提供一种集群配置方法、装置、服务器及可读存储介质，能够改善集群部署配置的难度大、效率低的问题。为了实现上述目的，本申请实施例所提供的技术方案如下所示：第一方面，本申请实施例提供一种集群配置方法，所述方法包括：在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。在上述实施方式中，网络系统中的节点在安装有集群管理服务组件及大数据组件后，通过启动集群管理服务组件便可以使得网络系统中的节点自动收集各节点的待配置信息，以便于自动生成与大数据组件对应的配置文件，从而有利于降低集群配置的难度，提高集群配置的效率。结合第一方面，在一些可选的实施方式中，所述方法还包括：接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。在上述的实施方式中，本节点可以自动接收网络系统中的其他节点的待配置信息，并完成配置文件的更新，以与其他节点形成集群，有利于提高集群配置的效率。结合第一方面，在一些可选的实施方式中，所述方法还包括：向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。在上述的实施方式中，本节点可以将自身收集到的所有待配置信息发送至网络系统中的其他节点，有利于其他节点基于本节点发送的第一信息集合生成相应的配置文件，以更新集群部署。结合第一方面，在一些可选的实施方式中，在所有节点的集群管理服务组件完成启动后，所述方法还包括：判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。在上述的实施方式中，通过对异常的节点进行仲裁，有利于提高节点获取的待配置信息的可靠性，从而有利于提高集群配置的可靠性。结合第一方面，在一些可选的实施方式中，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息，包括：向所述网络系统中除去本节点之外的每个节点发送仲裁请求；接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。在上述的实施方式中，本节点收集到的第一信息集合若出现异常，通常为遗漏了节点的待配置信息或收集了多余的节点的待配置信息，可以通过新增节点的待配置信息或删除节点的待配置信息，使得修复后的第一信息集合正常，进而有利于提高集群配置的可靠性。第二方面，本申请实施例还提供一种集群配置装置，应用于任一节点，所述装置包括：探测单元，用于所在节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；接收单元，用于接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；配置生成单元，用于根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。结合第二方面，在一些可选的实施方式中，所述接收单元，还用于接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；所述配置生成单元，还用于基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。结合第二方面，在一些可选的实施方式中，所述装置还包括公告单元，用于：向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。结合第二方面，在一些可选的实施方式中，在所有节点的集群管理服务组件完成启动后，所述装置还包括：判断单元，用于判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；仲裁单元，用于当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。结合第二方面本文档来自技高网...

【技术保护点】
1.一种集群配置方法，其特征在于，所述方法包括：/n在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；/n接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；/n根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。/n

【技术特征摘要】
1.一种集群配置方法，其特征在于，所述方法包括：
在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；
接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；
根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；
基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。


4.根据权利要求1所述的方法，其特征在于，在所有节点的集群管理服务组件完成启动后，所述方法还包括：
判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；
当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。


5.根据权利要求4所述的方法，其特征在于，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息，包括：
向所述网络系统中除去本节点之外的每个节点发送仲裁请求；
接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；
当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。


6.一种集群配置装置，其特征在于，应用于任一节点，所述装置包括：
探测单元，用于在所在节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；
接收单...

【专利技术属性】
技术研发人员：刘刚国，
申请(专利权)人：迈普通信技术股份有限公司，
类型：发明
国别省市：四川;51