【技术实现步骤摘要】
本专利技术涉及大数据组件集成,尤其涉及一种插件化的大数据组件集成方法、系统、设备及介质。
技术介绍
1、大数据相关软件包括hadoop和非hadoop生态圈的大数据软件等,hadoop大数据生态圈包括hdfs、mapreduce、yarn、hive、pig、spark等软件,有apache社区版和hdp、cdh发行版。其中hdp和cdh是基于apache社区版进行了二次开发的发行版。hdp集群使用ambari进行集群部署管理,cdh集群使用cloudera manager进行集群部署管理,两者支持大多数hadoop生态圈大数据软件部署进行界面化安装和管理。
2、2018年cloudera公司将hortonworks收购,旗下的hdp与cdh合并,推出了纯商业版本cdp。cloudera宣布今后将不再推出新版本的cdh和hdp,意味着两个hadoop版本不会再演进了,今后想要部署免费hadoop平台只能选择apache社区版本。
3、apache社区版没有相应的部署管理系统,而大数据软件从安装、配置到后期运维是一个
...【技术保护点】
1.一种插件化的大数据组件集成方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据所述待集成的大数据组件信息中的软件名,在内存映射表中定位对应的映射行,并获取映射行中对应的软件服务类对象,还包括:对所述内存映射表进行更新,并在更新后的内存映射表中定位对应的映射行。
3.如权利要求2所述的方法,其特征在于,对所述内存映射表进行更新,具体为:
4.如权利要求3所述的方法,其特征在于,所述接收集成命令并获取待集成的大数据组件信息,具体为:
5.如权利要求3所述的方法,其特征在于,所述调用软件服务类对象进行部署
...【技术特征摘要】
1.一种插件化的大数据组件集成方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据所述待集成的大数据组件信息中的软件名,在内存映射表中定位对应的映射行,并获取映射行中对应的软件服务类对象,还包括:对所述内存映射表进行更新,并在更新后的内存映射表中定位对应的映射行。
3.如权利要求2所述的方法,其特征在于,对所述内存映射表进行更新,具体为:
4.如权利要求3所述的方法,其特征在于,所述接收集成命令并获取待集成的大数据组件信息,具体为:
5.如权利要求3所述的方法,其特征在于,所述调用软件服务类对象进行部署,以对大数据组件进行集成,具体为:
6.如权利要求1所述的方法,其特征在于,所述接收集成命令并获取待集成的大数据组件信息,所述大数据组件信息...
【专利技术属性】
技术研发人员:蔡汝超,徐伟,周翔宇,夏亮,厉剑,徐洪孟,
申请(专利权)人:高新兴科技集团股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。