【技术实现步骤摘要】
一种Kafka的分区扩充方法、装置、存储介质和计算机设备
本专利技术涉及Kafka
，尤其涉及一种Kafka的分区扩充方法、装置、存储介质和计算机设备。
技术介绍
Kafka是一种高吞吐量的分布式发布订阅消息系统，通常可以应用在大数据领域。Kafka可以设置有多个主题，每个主题下可以设置有多个分区，一个分区可以设置有一个主副本和多个从副本。其中，一个主题的各个副本可以分布在Kafka集群的各个节点中。随着数据量的增多，现有技术可以通过对Kafka的主题进行分区的扩充，以满足消费者对于数据的消费需求，提高消费对于数据消费的并发数。其中，在对待进行分区扩充的主题进行分区扩充时，可以先行确定待扩充分区的副本数量，之后再将扩充的分区的各副本分别部署到Kafka集群的节点中。但是，现有技术在将扩充的分区的各副本分别部署到Kafka集群的节点时，通常是将各副本随机部署到Kafka集群的一个或多个节点中，可能导致待进行分区扩充的主题的所有副本在相关节点中的分布不均衡，从而导致相关节点中的负载不均衡，使得相关节点间的资...
【技术保护点】
1.一种Kafka的分区扩充方法，其特征在于，包括：/n确定所述Kafka中的待进行分区扩充的主题；/n获得所述主题的当前分区在所述Kafka的节点中的副本分布信息；/n获得所述Kafka的节点的当前负载信息；/n根据获得的所述副本分布信息和所述当前负载信息，确定所述主题的待扩充分区的副本部署方案；/n按照所述副本部署方案，在所述Kafka的节点中部署所述待扩充分区的副本，以对所述主题进行所述待扩充分区的扩充。/n
【技术特征摘要】
1.一种Kafka的分区扩充方法，其特征在于，包括：
确定所述Kafka中的待进行分区扩充的主题；
获得所述主题的当前分区在所述Kafka的节点中的副本分布信息；
获得所述Kafka的节点的当前负载信息；
根据获得的所述副本分布信息和所述当前负载信息，确定所述主题的待扩充分区的副本部署方案；
按照所述副本部署方案，在所述Kafka的节点中部署所述待扩充分区的副本，以对所述主题进行所述待扩充分区的扩充。
2.根据权利要求1所述的方法，其特征在于，所述副本分布信息包括主副本分布信息，所述副本部署方案包括主副本部署方案。
3.根据权利要求2所述的方法，其特征在于，所述根据获得的所述副本分布信息和所述当前负载信息，确定所述主题的待扩充分区的副本部署方案，包括：
从所述当前负载信息中确定所述Kafka的节点中是否存在有负载不大于预设负载限值的节点，如果是，则根据所述主副本分布信息，确定所述负载不大于预设负载限值的节点中是否存在有未部署所述主题的主副本的节点，如果是，则将所述未部署所述主题的主副本的节点确定为所述待扩充分区的主副本的目标部署节点；
所述按照所述副本部署方案，在所述Kafka的节点中部署所述待扩充分区的副本，包括：
在所述主副本的目标部署节点中部署所述待扩充分区的主副本。
4.根据权利要求3所述的方法，其特征在于，所述根据获得的所述副本分布信息和所述当前负载信息，确定所述主题的待扩充分区的副本部署方案，还包括：
如果所述负载不大于预设负载限值的节点中未存在有未部署所述主题的主副本的节点，则根据所述主副本分布信息，确定所述负载不大于预设负载限值的节点中是否存在有对所述主题的主副本的部署数量不高于预设阈值的第一节点，如果是，则将所述第一节点确定为所述主副本的目标部署节点。
5.根据权利要求1所述的方法，其特征在于，所述副本分布信息包括：从副本分布信息，所述副本部署方案包括：从副本部署方案。
6.根据权利要求5所述的方法，其特征在于，所述根据获得的所述副本分布信息和所述当前负载信息，确定所述主题的待扩充分区的副本部署方案，包括：
从所述当前负载信息中确定所述Kafka的节点中至少一个负载不大于预设负载限值的节点；
确定所述主题在各所...
【专利技术属性】
技术研发人员：王欢，张萌，穆小亮，曹斌，满运峰，田程，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。