Kafka集群的部署方法、装置、存储介质及电子设备制造方法及图纸

技术编号:37127077 阅读:13 留言:0更新日期:2023-04-06 21:25
本申请公开了一种Kafka集群的部署方法、存储介质及电子设备,涉及智能配置技术领域,该Kafka集群的部署方法包括:获取用户输入的Kafka集群的部署配置信息;确定Zookeeper集群的连接配置选择结果;基于连接配置选择结果,获取用户输入的用于为Kafka集群提供协调服务的Zookeeper集群的部署配置信息;基于部署配置信息生成相应的模板文件,并基于预设的配置管理工具按照模板文件中的部署任务执行Kafka集群以及Zookeeper集群的部署操作。本申请提供的方法,能够有效提高Kafka集群的部署效率,节约了人力成本,降低了出错率,从而提升了用户使用体验。户使用体验。户使用体验。

【技术实现步骤摘要】
Kafka集群的部署方法、装置、存储介质及电子设备


[0001]本申请涉及智能配置
,尤其涉及一种Kafka集群的部署方法、装置、存储介质及电子设备。

技术介绍

[0002]Kafka是一种高吞吐量的分布式发布订阅消息系统。Kafka集群包含一个或多个服务器节点,这种服务器节点被称为Broker,每个消息队列由多个分区组成,这些分区和其副本分布在多个Broker上,当一个Broker停止时,该Broker上作为Leader的分区会把Leader身份转移到其他Broker上。部署Kafka集群需要为每个Broker进行单独的配置,且往往Broker数量较多,还需要依赖于外部Zookeeper集群。然而,由于Kafka是采用分布式架构设计,可由一台或多台服务组成集群,另需要借助Zookeeper集群进行管理,Zookeeper集群至少需要三个节点组成。所以部署一套Kafka集群需要同时配置Zookeeper集群和Kafka集群,由于每台服务器的角色不一样,需要执行的命令操作各有不同,手动逐个服务器节点执行集群部署效率低,具体部署配置过程费力,容易出错。
[0003]因此,如何提供一种更为有效的Kafka集群的部署方案以提高Kafka集群的部署配置效率成为亟待解决的难题。

技术实现思路

[0004]本申请提供一种Kafka集群的部署方法,用以解决现有技术中当Kafka集群的部署配置过程效率较低、出错率高的缺陷。
[0005]本申请提供一种Kafka集群的部署方法,包括:
[0006]获取用户输入的Kafka集群的部署配置信息;
[0007]确定Zookeeper集群的连接配置选择结果;基于所述连接配置选择结果,获取用户输入的用于为所述Kafka集群提供协调服务的Zookeeper集群的部署配置信息;
[0008]基于所述部署配置信息生成相应的模板文件,并基于预设的配置管理工具按照所述模板文件中的部署任务执行所述Kafka集群以及所述Zookeeper集群的部署操作。
[0009]进一步的,所述获取用户输入的Kafka集群的部署配置信息,具体包括:
[0010]基于交互式问询方式,获取用户基于第一问询配置项输入的Kafka集群的部署配置信息;
[0011]所述基于所述连接配置选择结果,获取用户输入的用于为所述Kafka集群提供协调服务的Zookeeper集群的部署配置信息,具体包括:若所述连接配置选择结果为选择部署并使用新的Zookeeper集群,则基于交互式问询方式,获取用户基于第二问询配置项输入的Zookeeper集群的部署配置信息。
[0012]进一步的,所述基于交互式问询方式,获取用户基于第一问询配置项输入的Kafka集群的部署配置信息,具体包括:
[0013]基于交互式问询方式,获取用户基于第一节点数量问询配置项输入的Kafka集群
的节点数量,获取用户基于第一部署位置问询配置项输入的Kafka集群的部署位置,获取用户基于第一数据存放位置问询配置项输入的Kafka集群的数据存放位置以及获取用户基于第一端口号问询配置项输入的Kafka集群的监听端口号;
[0014]所述基于交互式问询方式,获取用户基于第二问询配置项输入的Zookeeper集群的部署配置信息,具体包括:
[0015]基于交互式问询方式,获取用户基于第二节点数量问询配置项输入的Zookeeper集群的节点数量,获取用户基于第二部署位置问询配置项输入的Zookeeper集群的部署位置,获取用户基于第二数据存放位置问询配置项输入的Zookeeper集群的数据存放位置以及获取用户基于第二端口号问询配置项输入的Zookeeper集群的监听端口号。
[0016]进一步的,所述基于所述部署配置信息生成相应的模板文件,具体包括:基于所述Kafka集群的部署配置信息、所述Zookeeper集群的部署配置信息以及预设的标准模板格式生成相应的Playbook模板文件。
[0017]进一步的,所述基于预设的配置管理工具按照所述模板文件中的部署任务执行所述Kafka集群以及所述Zookeeper集群的部署操作,具体包括:基于Ansible工具按照所述Playbook模板文件中的部署任务分别执行所述Kafka集群和所述Zookeeper集群的部署操作。
[0018]进一步的,在基于预设的配置管理工具按照所述模板文件中的部署任务执行所述Kafka集群以及所述Zookeeper集群的部署操作之前,还包括:基于非对称加密密钥分别建立与所述Kafka集群的服务器节点以及所述Zookeeper集群的服务器节点之间的认证连接。
[0019]进一步的,在基于预设的配置管理工具按照所述模板文件中的部署任务执行所述Kafka集群以及所述Zookeeper集群的部署操作之后,还包括:对执行所述Kafka集群以及所述Zookeeper集群的部署操作过程进行实时监测,将部署操作过程及其监测结果发送到展示终端,并根据所述监测结果判断所述部署操作过程是否存在异常,若是,则确定出相应的异常执行步骤。
[0020]本申请还提供一种Kafka集群的部署装置,包括:
[0021]第一部署配置信息获取单元,用于获取用户输入的Kafka集群的部署配置信息;
[0022]第二部署配置信息获取单元,用于确定Zookeeper集群的连接配置选择结果;基于所述连接配置选择结果,获取用户输入的用于为所述Kafka集群提供协调服务的Zookeeper集群的部署配置信息;
[0023]部署管理单元,用于基于所述部署配置信息生成相应的模板文件,并基于预设的配置管理工具按照所述模板文件中的部署任务执行所述Kafka集群以及所述Zookeeper集群的部署操作。
[0024]进一步的,所述第一部署配置信息获取单元,具体用于:
[0025]基于交互式问询方式,获取用户基于第一问询配置项输入的Kafka集群的部署配置信息;
[0026]所述第二部署配置信息获取单元,具体用于:
[0027]若所述连接配置选择结果为选择部署并使用新的Zookeeper集群,则基于交互式问询方式,获取用户基于第二问询配置项输入的Zookeeper集群的部署配置信息。
[0028]进一步的,所述基于交互式问询方式,获取用户基于第一问询配置项输入的Kafka
集群的部署配置信息,具体包括:
[0029]基于交互式问询方式,获取用户基于第一节点数量问询配置项输入的Kafka集群的节点数量,获取用户基于第一部署位置问询配置项输入的Kafka集群的部署位置,获取用户基于第一数据存放位置问询配置项输入的Kafka集群的数据存放位置以及获取用户基于第一端口号问询配置项输入的Kafka集群的监听端口号;
[0030]所述基于交互式问询方式,获取用户基于第二问询配置项输入的Zookeeper集群的部署配置信息,具体包括:
[0031]基于交互式问询方式,获本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种Kafka集群的部署方法,其特征在于,包括:获取用户输入的Kafka集群的部署配置信息;确定Zookeeper集群的连接配置选择结果;基于所述连接配置选择结果,获取用户输入的用于为所述Kafka集群提供协调服务的Zookeeper集群的部署配置信息;基于所述部署配置信息生成相应的模板文件,并基于预设的配置管理工具按照所述模板文件中的部署任务执行所述Kafka集群以及所述Zookeeper集群的部署操作。2.根据权利要求1所述的Kafka集群的部署方法,其特征在于,所述获取用户输入的Kafka集群的部署配置信息,具体包括:基于交互式问询方式,获取用户基于第一问询配置项输入的Kafka集群的部署配置信息;所述基于所述连接配置选择结果,获取用户输入的用于为所述Kafka集群提供协调服务的Zookeeper集群的部署配置信息,具体包括:若所述连接配置选择结果为选择部署并使用新的Zookeeper集群,则基于交互式问询方式,获取用户基于第二问询配置项输入的Zookeeper集群的部署配置信息。3.根据权利要求2所述的Kafka集群的部署方法,其特征在于,所述基于交互式问询方式,获取用户基于第一问询配置项输入的Kafka集群的部署配置信息,具体包括:基于交互式问询方式,获取用户基于第一节点数量问询配置项输入的Kafka集群的节点数量,获取用户基于第一部署位置问询配置项输入的Kafka集群的部署位置,获取用户基于第一数据存放位置问询配置项输入的Kafka集群的数据存放位置以及获取用户基于第一端口号问询配置项输入的Kafka集群的监听端口号;所述基于交互式问询方式,获取用户基于第二问询配置项输入的Zookeeper集群的部署配置信息,具体包括:基于交互式问询方式,获取用户基于第二节点数量问询配置项输入的Zookeeper集群的节点数量,获取用户基于第二部署位置问询配置项输入的Zookeeper集群的部署位置,获取用户基于第二数据存放位置问询配置项输入的Zookeeper集群的数据存放位置以及获取用户基于第二端口号问询配置项输入的Zookeeper集群的监听端口号。4.根据权利要求1所述的Kafka集群的部署方法,其特征在于,所述基于所述部署配置信息生成相应的模板文件,具体包括:基于所述Kafka集群的部署配置信息、所述Zookeepe...

【专利技术属性】
技术研发人员:李昕鹏
申请(专利权)人:青岛海尔科技有限公司海尔智家股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1