【技术实现步骤摘要】
本申请涉及大数据领域，尤其涉及一种大数据组件管理方法、装置、设备及存储介质。
技术介绍
1、随着大数据技术的不断发展，越来越多的用于进行大数据处理的组件进入人们的视野，例如hadoop、spark、hive等，通过这些组件可以对大数据进行存储、计算等处理。目前，通常使用相应的大数据运维管理工具(例如ambari、cdh等)对上述组件进行管理，以使用户能够更加便捷的实现对组件的控制。然而，现有的大数据组件管理方法存在操作复杂、运维管理难度大、应用场景受限、灵活性以及可用性差的问题。
技术实现思路
1、本申请提供一种大数据组件管理方法、装置、设备及存储介质，用以解决现有的大数据组件管理方法存在操作复杂、运维管理难度大、应用场景受限、灵活性以及可用性差的问题。
2、第一方面，本申请提供一种大数据组件管理方法，大数据管理系统包括管理节点，以及，至少两个云池，所述云池包括至少一个大数据集群，每个所述云池对应一个shell管理脚本，所述方法应用于所述管理节点，包括：
3、接收用户针对目标云池中的至少一个目标大数据组件的管理请求，所述管理请求包括：所述目标大数据组件的标识、访问地址、所述用户的密钥，以及，至少一种目标管理操作；所述目标大数据组件包括下述至少一项：所述目标云池中的大数据集群、所述目标云池中的大数据集群上部署的组件、所述目标云池中的大数据集群提供的服务、所述目标云池中的大数据集群中的节点；
4、根据所述密钥，对所述用户是否具有所述目标大数据组件的管
5、若鉴权通过，则运行所述目标云池对应的shell管理脚本，以通过所述访问地址远程登录所述目标大数据组件对应的大数据集群，且并行对所述目标大数据组件执行所述目标管理操作；
6、输出所述目标管理操作的处理结果。
7、可选的，所述运行所述目标云池对应的shell管理脚本，以通过所述访问地址远程登录所述目标大数据组件对应的大数据集群，且并行对所述目标大数据组件执行所述目标管理操作，包括：
8、对所述管理请求中加密的信息进行解密处理；所述加密的信息包括下述至少一项：所述目标大数据组件的标识、访问地址、所述用户的密钥，以及，至少一种目标管理操作；
9、对解密后的信息进行正确性校验；
10、若校验通过，则运行所述目标云池对应的shell管理脚本，以通过所述访问地址远程登录所述目标大数据组件对应的大数据集群，且并行对所述目标大数据组件执行所述目标管理操作。
11、可选的，所述目标管理操作包括下述至少一项：
12、启动操作、停止操作、重启操作、状态查询操作、配置变更操作、网络检测操作；
13、所述配置变更操作包括：配置参数变更或配置文件变更；
14、所述至少两个云池中的大数据组件对应的配置文件的类型相同或不同。
15、可选的，所述目标大数据组件为所述目标云池中的大数据集群提供的服务，所述目标管理操作为服务存活状态查询操作，所述对所述目标大数据组件执行所述目标管理操作，包括：
16、通过jmx方式，检测所述大数据集群提供的服务的存活状态。
17、可选的，所述目标管理操作为重启操作，所述目标管理操作中还包括：重启操作对应的所述配置文件的版本号；
18、所述对所述目标大数据组件执行所述目标管理操作，包括：
19、使用所述重启操作对应的所述配置文件的版本号，重启所述目标大数据组件。
20、可选的，所述方法还包括：
21、接收针对所述目标大数据组件的远程登录配置指令；所述远程登录配置指令中携带有所述目标大数据组件的远程登录端口标识，所述远程登录端口非标准端口；
22、根据所述目标大数据组件的远程登录端口标识，实现对所述远程登录端口所在的目标大数据组件的远程登录。
23、可选的，所述方法还包括：
24、生成并存储所述目标云池中的至少一个目标大数据组件的管理操作日志。
25、第二方面，本申请提供一种大数据组件管理装置，大数据管理系统包括管理节点，以及，至少两个云池，所述云池包括至少一个大数据集群，每个所述云池对应一个shell管理脚本，所述装置应用于所述管理节点，包括：
26、接收模块，用于接收用户针对目标云池中的至少一个目标大数据组件的管理请求，所述管理请求包括：所述目标大数据组件的标识、访问地址、所述用户的密钥，以及，至少一种目标管理操作；所述目标大数据组件包括下述至少一项：所述目标云池中的大数据集群、所述目标云池中的大数据集群上部署的组件、所述目标云池中的大数据集群提供的服务、所述目标云池中的大数据集群中的节点；
27、鉴权模块，用于根据所述密钥，对所述用户是否具有所述目标大数据组件的管理权限进行鉴权；
28、执行模块，用于若鉴权通过，则运行所述目标云池对应的shell管理脚本，以通过所述访问地址远程登录所述目标大数据组件对应的大数据集群，且并行对所述目标大数据组件执行所述目标管理操作；
29、输出模块，用于输出所述目标管理操作的处理结果。
30、第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
31、所述存储器存储计算机执行指令；
32、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的方法。
33、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
34、第五方面，第本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面任一项所述的方法。
35、本申请提供的大数据组件管理方法、装置、设备及存储介质，管理节点接收用户针对目标云池中的至少一个目标大数据组件的管理请求；然后，管理节点根据密钥，对用户是否具有目标大数据组件的管理权限进行鉴权，并在鉴权通过后运行目标云池对应的shell管理脚本，以通过访问地址远程登录目标大数据组件对应的大数据集群，且并行对目标大数据组件执行目标管理操作。上述目标大数据组件包括下述至少一项：目标云池中的大数据集群、目标云池中的大数据集群上部署的组件、目标云池中的大数据集群提供的服务、目标云池中的大数据集群中的节点。由于管理节点是通过远程登录的方式直接登录目标大数据组件对应的大数据集群，而无需在大数据集群的组件的节点上重复部署各种控件，因此，这样可以减小部署难度，也可以减小后续对大数据管理系统进行配置更新或者升级的时的操作难度，有利于降低运维管理工作的复杂度、开发的困难度和代码维护工作的复杂度，从而大大降低了运维管理人员的工作量。
本文档来自技高网...【技术保护点】
1.一种大数据组件管理方法，其特征在于，大数据管理系统包括管理节点，以及，至少两个云池，所述云池包括至少一个大数据集群，每个所述云池对应一个shell管理脚本，所述方法应用于所述管理节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述运行所述目标云池对应的shell管理脚本，以通过所述访问地址远程登录所述目标大数据组件对应的大数据集群，且并行对所述目标大数据组件执行所述目标管理操作，包括：
3.根据权利要求1所述的方法，其特征在于，所述目标管理操作包括下述至少一项：
4.根据权利要求3所述的方法，其特征在于，所述目标大数据组件为所述目标云池中的大数据集群提供的服务，所述目标管理操作为服务存活状态查询操作，所述对所述目标大数据组件执行所述目标管理操作，包括：
5.根据权利要求3所述的方法，其特征在于，所述目标管理操作为重启操作，所述目标管理操作中还包括：重启操作对应的所述配置文件的版本号；
6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1-4任一项所述的方法，其特
8.一种大数据组件管理装置，其特征在于，大数据管理系统包括管理节点，以及，至少两个云池，所述云池包括至少一个大数据集群，每个所述云池对应一个shell管理脚本，所述装置应用于所述管理节点，包括：
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器、通信接口；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种大数据组件管理方法，其特征在于，大数据管理系统包括管理节点，以及，至少两个云池，所述云池包括至少一个大数据集群，每个所述云池对应一个shell管理脚本，所述方法应用于所述管理节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述运行所述目标云池对应的shell管理脚本，以通过所述访问地址远程登录所述目标大数据组件对应的大数据集群，且并行对所述目标大数据组件执行所述目标管理操作，包括：
3.根据权利要求1所述的方法，其特征在于，所述目标管理操作包括下述至少一项：
4.根据权利要求3所述的方法，其特征在于，所述目标大数据组件为所述目标云池中的大数据集群提供的服务，所述目标管理操作为服务存活状态查询操作，所述对所述目标大数据组件执行所述目标管理操作，包括：
5.根据权利要求3所述的方法，...
【专利技术属性】
技术研发人员：徐益军，邱彩霞，单辰阳，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。