一种插件化的大数据组件集成方法、系统、设备及介质技术方案

技术编号:42644190 阅读:38 留言:0更新日期:2024-09-06 01:39
本发明专利技术涉及大数据组件集成技术领域,公开了一种插件化的大数据组件集成方法、系统、设备及介质,包括:初始化主机,并通过预设接口将大数据组件的部署包拷贝至主机;接收集成命令并获取待集成的大数据组件信息;根据软件名,在内存映射表中定位对应的映射行,并获取映射行中对应的软件服务类对象,其中,所述映射行是软件名和对应的软件服务类对象的映射,且保存在内存映射表中;根据所述待集成的大数据组件信息中的配置文件,修改大数据组件中的默认配置文件,并调用软件服务类对象进行部署,以对大数据组件进行集成,关键在于软件名与对应的软件服务类对象的映射,克服了现有技术中大数据组件编译复杂的技术问题,简化了二次集成难度。

【技术实现步骤摘要】

本专利技术涉及大数据组件集成,尤其涉及一种插件化的大数据组件集成方法、系统、设备及介质


技术介绍

1、大数据相关软件包括hadoop和非hadoop生态圈的大数据软件等,hadoop大数据生态圈包括hdfs、mapreduce、yarn、hive、pig、spark等软件,有apache社区版和hdp、cdh发行版。其中hdp和cdh是基于apache社区版进行了二次开发的发行版。hdp集群使用ambari进行集群部署管理,cdh集群使用cloudera manager进行集群部署管理,两者支持大多数hadoop生态圈大数据软件部署进行界面化安装和管理。

2、2018年cloudera公司将hortonworks收购,旗下的hdp与cdh合并,推出了纯商业版本cdp。cloudera宣布今后将不再推出新版本的cdh和hdp,意味着两个hadoop版本不会再演进了,今后想要部署免费hadoop平台只能选择apache社区版本。

3、apache社区版没有相应的部署管理系统,而大数据软件从安装、配置到后期运维是一个非常艰辛的过程,手动本文档来自技高网...

【技术保护点】

1.一种插件化的大数据组件集成方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据所述待集成的大数据组件信息中的软件名,在内存映射表中定位对应的映射行,并获取映射行中对应的软件服务类对象,还包括:对所述内存映射表进行更新,并在更新后的内存映射表中定位对应的映射行。

3.如权利要求2所述的方法,其特征在于,对所述内存映射表进行更新,具体为:

4.如权利要求3所述的方法,其特征在于,所述接收集成命令并获取待集成的大数据组件信息,具体为:

5.如权利要求3所述的方法,其特征在于,所述调用软件服务类对象进行部署,以对大数据组件进行...

【技术特征摘要】

1.一种插件化的大数据组件集成方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据所述待集成的大数据组件信息中的软件名,在内存映射表中定位对应的映射行,并获取映射行中对应的软件服务类对象,还包括:对所述内存映射表进行更新,并在更新后的内存映射表中定位对应的映射行。

3.如权利要求2所述的方法,其特征在于,对所述内存映射表进行更新,具体为:

4.如权利要求3所述的方法,其特征在于,所述接收集成命令并获取待集成的大数据组件信息,具体为:

5.如权利要求3所述的方法,其特征在于,所述调用软件服务类对象进行部署,以对大数据组件进行集成,具体为:

6.如权利要求1所述的方法,其特征在于,所述接收集成命令并获取待集成的大数据组件信息,所述大数据组件信息...

【专利技术属性】
技术研发人员:蔡汝超徐伟周翔宇夏亮厉剑徐洪孟
申请(专利权)人:高新兴科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1