数据集群的部署方法、装置及系统制造方法及图纸

技术编号:16346043 阅读:148 留言:0更新日期:2017-10-03 22:22
本发明专利技术提供了一种数据集群的部署方法、装置及系统。该方法包括:获取用于数据集群系统部署的第一配置信息,其中,第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息;向云平台发送携带有第一配置信息的第一部署请求,其中,第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。通过本发明专利技术,解决了数据集群的部署和管理较为复杂的问题。

【技术实现步骤摘要】
数据集群的部署方法、装置及系统
本专利技术涉及通信领域,具体而言,涉及一种数据集群的部署方法、装置及系统。
技术介绍
随着互联网的发展,为了满足用户对海量数据的存储需求,通常会使用数据集群系统存储海量数据。例如,使用Apache开发的分布式系统基础架构,即海杜普(Hadoop)系统,存储海量数据。但是,很多数据集群系统往往存在部署和管理复杂的问题,下面以Hadoop系统为例进行说明。Hadoop系统是一个能够对大量数据进行分布式处理的开源软件框架,该系统包括分布式文件系统(HadoopDistributedFileSystem,简称为HDFS)和分布式数据库(Hbase),该系统的存储核心是分布式文件系统(HDFS)。HDFS适合运行在通用的硬件上,并且需要部署在大量机器上,以此来支持大规模的数据集和高吞吐量的数据访问。HDFS通过可以分布在不同机器上的多个副本数来实现高容错性。另外,Hadoop系统还包括很多其他组件,用来实现资源调度、数据存储以及和外部的连接,如YARN、HBASE、zookeeper、HIVE、Impala、MapReduce、Oozie、Sqoop、Flume本文档来自技高网...
数据集群的部署方法、装置及系统

【技术保护点】
一种数据集群的部署方法,其特征在于,包括:获取用于数据集群系统部署的第一配置信息,其中,所述第一配置信息包括部署所述数据集群系统所需的硬件资源和/或配置的信息;向云平台发送携带有所述第一配置信息的第一部署请求,其中,所述第一部署请求用于请求所述云平台根据所述第一配置信息创建所述数据集群系统部署所需的硬件资源和/或配置。

【技术特征摘要】
1.一种数据集群的部署方法,其特征在于,包括:获取用于数据集群系统部署的第一配置信息,其中,所述第一配置信息包括部署所述数据集群系统所需的硬件资源和/或配置的信息;向云平台发送携带有所述第一配置信息的第一部署请求,其中,所述第一部署请求用于请求所述云平台根据所述第一配置信息创建所述数据集群系统部署所需的硬件资源和/或配置。2.根据权利要求1所述的方法,其特征在于,获取用于数据集群系统部署的第一配置信息包括:接收用户定义的第一配置文件;根据所述第一配置文件获取所述第一配置信息。3.根据权利要求2所述的方法,其特征在于,根据所述第一配置文件获取所述第一配置信息包括:解析所述第一配置文件,得到与所述数据集群系统部署相关的第一配置参数;根据所述第一配置参数计算所述第一配置信息。4.根据权利要求2所述的方法,其特征在于,所述第一配置文件中还包括用于所述数据集群系统部署的组件的信息,在向云平台发送携带有所述第一配置信息的第一部署请求之后,还包括:检测所述硬件资源是否创建成功;在所述硬件资源创建成功的情况下,根据用于所述数据集群系统部署的组件的信息生成插件。5.根据权利要求4所述的方法,其特征在于,根据用于所述数据集群系统部署的组件的信息生成插件包括:获取第一数据集群系统版本文件信息,其中,所述第一数据集群系统版本文件信息为所部署的数据集群系统的版本文件的信息;根据用于所述数据集群系统部署的组件的信息和所述第一数据集群系统版本文件信息对应的版本文件,生成所述插件。6.根据权利要求4-5中任一项所述的方法,其特征在于,所述插件为具备组件功能的插件。7.根据权利要求4-5中任一项所述的方法,其特征在于,所述插件为多个插件,所述多个插件以层状结构部署。8.根据权利要求4所述的方法,其特征在于,在根据用于所述数据集群系统部署的组件的信息生成插件之后,还包括:运行所述插件,以实现以下过程至少之一:网络环境配置;组件资源分配;时钟同步;将所述组件配置到所部署的数据集群系统的目标节点。9.根据权利要求8所述的方法,其特征在于,在运行所述插件之后,还包括:监测所述数据集群系统的运行环境,其中,所述运...

【专利技术属性】
技术研发人员:杨桂荣
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1