【技术实现步骤摘要】
本专利技术涉及大数据组件集成，尤其涉及一种插件化的大数据组件集成方法、系统、设备及介质。
技术介绍
1、大数据相关软件包括hadoop和非hadoop生态圈的大数据软件等，hadoop大数据生态圈包括hdfs、mapreduce、yarn、hive、pig、spark等软件，有apache社区版和hdp、cdh发行版。其中hdp和cdh是基于apache社区版进行了二次开发的发行版。hdp集群使用ambari进行集群部署管理，cdh集群使用cloudera manager进行集群部署管理，两者支持大多数hadoop生态圈大数据软件部署进行界面化安装和管理。
2、2018年cloudera公司将hortonworks收购，旗下的hdp与cdh合并，推出了纯商业版本cdp。cloudera宣布今后将不再推出新版本的cdh和hdp，意味着两个hadoop版本不会再演进了，今后想要部署免费hadoop平台只能选择apache社区版本。
3、apache社区版没有相应的部署管理系统，而大数据软件从安装、配置到后期运维是一个非常艰辛的过程，手动安装一个小型hadoop集群就需要几天时间，部署成功后同时需要几个运维人员，并且软件间还会存在各种版本兼容性问题。
4、同时，非hadoop大数据生态圈也在不断发展，包括flink、elasticsearch、janusgraph、clickhouse等，目前的这些管理系统并不会对这些大数据软件进行原生支持。对于用户来说，只会针对业务选择合适的大数据组件，因而had
5、现有技术中的cloudera和ambari都存在不足，缺乏对非hadoop生态圈的大数据产品支持，只支持在线部署，其本身的部署也较为复杂，前置的准备工作，如：主机名修改、jdk安装、安装mysql、hosts配置、防火墙设置、时间同步等等，仍然需要手动安装或配置。
6、此外，cloudera manager是商用软件，ambari只支持商业化hdp的部署和管理，使用apache社区版的用户如果选择ambari作为大数据软件部署系统，只能对ambari进行二次开发，但是ambari对二次开发难度大，需要把大数据组件编译成指定格式才能兼容，操作复杂。
技术实现思路
1、本专利技术提供了一种插件化的大数据组件集成方法、系统、设备及介质，以解决大数据组件编译复杂的技术问题。
2、为了解决上述技术问题，本专利技术实施例提供了一种插件化的大数据组件集成方法，包括：
3、初始化主机，并通过预设接口将大数据组件的部署包拷贝至主机；
4、接收集成命令并获取待集成的大数据组件信息，所述大数据组件信息包括软件名和配置文件；
5、根据所述待集成的大数据组件信息中的软件名，在内存映射表中定位对应的映射行，并获取映射行中对应的软件服务类对象，其中，所述映射行是软件名和对应的软件服务类对象的映射，且保存在内存映射表中；
6、根据所述待集成的大数据组件信息中的配置文件，修改大数据组件中的默认配置文件，并调用软件服务类对象进行部署，以对大数据组件进行集成。
7、这样，通过插件化方式新增大数据组件，关键在于软件名与对应的软件服务类对象的映射，通过软件名串联起来达到了一一映射的效果，可以极大方便新增软件的二次开发，克服了现有技术中大数据组件编译复杂的技术问题，不需要变动原有大数据组件的系统逻辑，也不需要对大数据组件进行重新编译和配置，简化了二次集成难度。
8、作为优选方案，根据所述待集成的大数据组件信息中的软件名，在内存映射表中定位对应的映射行，并获取映射行中对应的软件服务类对象，还包括：对所述内存映射表进行更新，并在更新后的内存映射表中定位对应的映射行。
9、这样，通过调用java中的class.forname方法，根据服务的全类名从java包中加载对应软件服务类对象xxservice，并调用newinstance方法实例化对象，将新增的服务类对象保存在内存映射表当中。
10、作为优选方案，对所述内存映射表进行更新，具体为：
11、根据所述待集成的大数据组件信息，编写功能实现脚本并生成对应的标签名，所述标签名包括安装脚本、协助脚本、启动脚本、重启脚本、停止脚本和卸载脚本，并集成标签名至软件服务类对象中；
12、根据集成的软件服务类对象和对应的软件名，新增映射行至内存映射表，并对内存映射表进行更新。
13、这样，新增大数据组件只需要完成插件脚本的编写，即可以解耦的方式集成到大数据组件系统中。
14、作为优选方案，所述接收集成命令并获取待集成的大数据组件信息具体为：
15、接收集成命令并在插件列表中获取待集成的软件名，其中，所述插件列表由若干个软件名构成，且新增映射行至内存映射表后，也对插件列表进行更新；
16、获取待集成的其他大数据组件信息，所述其他大数据组件信息包括配置文件。
17、这样，基于插件列表采用插件化方式部署，可以对若干个插件进行自由组合，使用方便，且避免提供全部大数据组件导致安装包过大。
18、作为优选方案，所述调用软件服务类对象进行部署，以对大数据组件进行集成，具体为：通过在插件列表中选择软件名对软件服务类对象进行调用，继而通过标签名对功能实现脚本进行调用，以对大数据组件进行集成。
19、这样，新增一个软件服务只需要通过预设接口，利用java反射方式加载对应服务，对功能实现脚本进行调用，以达到与已有服务的解耦，相当于插件是自包含的，实现了高内聚低耦合的效果。
20、作为优选方案，所述接收集成命令并获取待集成的大数据组件信息，所述大数据组件信息包括软件名和配置文件，具体为：接收来自大数据服务器集群的集成命令并获取待集成的大数据组件信息，所述大数据组件信息包括软件名和配置文件，所述大数据组件信息通过ssh协议从大数据服务器集群中获取。
21、这样，通过软件名可以精确定位对应软件的底层插件，因此只需要选择软件名就可以通过ssh协议调用底层插件，从而提供对应的软件安装、卸载等功能。
22、作为优选方案，还包括：监控插件列表的更新内容及对应的更新时间，并建立管理日志，所述管理日志包括插件的更新内容及对应的更新时间，这样，提供了监控和日志管理，降低二次开发难度。
23、本专利技术实施例还提供了一种插件化的大数据组件集成系统，包括初始化模块、获取模块、映射模块和集成模块，具体为:
24、其中，所述初始化模块，用于初始化主机，并通过预设接口将大数据组件的部署包拷贝至主机；
25、所述获取模块，用于接收集成命令并获取待集成的大数据组件信息，所述大数据组件信息包括软件名和配置文件；
26、所述映射模块，用于根据所述待集成的大数据组件信息中的软件名，在内存映射表中定位对应的映本文档来自技高网...
【技术保护点】
1.一种插件化的大数据组件集成方法，其特征在于，包括:
2.如权利要求1所述的方法，其特征在于，根据所述待集成的大数据组件信息中的软件名，在内存映射表中定位对应的映射行，并获取映射行中对应的软件服务类对象，还包括：对所述内存映射表进行更新，并在更新后的内存映射表中定位对应的映射行。
3.如权利要求2所述的方法，其特征在于，对所述内存映射表进行更新，具体为：
4.如权利要求3所述的方法，其特征在于，所述接收集成命令并获取待集成的大数据组件信息，具体为：
5.如权利要求3所述的方法，其特征在于，所述调用软件服务类对象进行部署，以对大数据组件进行集成，具体为：
6.如权利要求1所述的方法，其特征在于，所述接收集成命令并获取待集成的大数据组件信息，所述大数据组件信息包括软件名和配置文件，具体为：
7.如权利要求4所述的方法，其特征在于，还包括：监控插件列表的更新内容及对应的更新时间，并建立管理日志，所述管理日志包括插件的更新内容及对应的更新时间。
8.一种插件化的大数据组件集成系统，其特征在于，包括初始化
9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如上述权利要求1至7任意一项所述的一种插件化的大数据组件集成方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被计算机调用并执行，实现如上述权利要求1至7任意一项所述的一种插件化的大数据组件集成方法。
...【技术特征摘要】
1.一种插件化的大数据组件集成方法，其特征在于，包括:
2.如权利要求1所述的方法，其特征在于，根据所述待集成的大数据组件信息中的软件名，在内存映射表中定位对应的映射行，并获取映射行中对应的软件服务类对象，还包括：对所述内存映射表进行更新，并在更新后的内存映射表中定位对应的映射行。
3.如权利要求2所述的方法，其特征在于，对所述内存映射表进行更新，具体为：
4.如权利要求3所述的方法，其特征在于，所述接收集成命令并获取待集成的大数据组件信息，具体为：
5.如权利要求3所述的方法，其特征在于，所述调用软件服务类对象进行部署，以对大数据组件进行集成，具体为：
6.如权利要求1所述的方法，其特征在于，所述接收集成命令并获取待集成的大数据组件信息，所述大数据组件信息...
【专利技术属性】
技术研发人员：蔡汝超，徐伟，周翔宇，夏亮，厉剑，徐洪孟，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。