一种KAFKA副本分区提升性能方法、设备及存储介质技术

本发明专利技术提供一种KAFKA副本分区提升性能方法、设备及存储介质，涉及KAFKA消息处理技术领域，所述方法包括：获取各个副本分区的可用性指标值以及负载指标值；根据可用性指标值以及负载指标值，获取与副本分区对应的健康度指标值；根据健康度指标值，确定加入至副本服务组的副本分区；其中，副本服务组用于向消费者提供消息读取服务。基于健康度指标值选取副本分区，能够保障副本分区提供的消息读取服务的可靠性和稳定性，令健康度指标值满足条件的副本分区提供读取服务，即副本分区除了具备冗余备份的功能外，还提供读取消息的功能，有利于提高整个分区可提供的读取服务性能，增强分区的业务承载能力并且充分利用副本分区的资源。

【技术实现步骤摘要】

本专利技术涉及kafka消息处理，尤其涉及一种kafka副本分区提升性能方法、设备及存储介质。

技术介绍

1、kafka是一种高性能、可扩展的分布式流式处理平台，设计用于处理大规模的实时数据流，具有高吞吐量、低延迟和可靠性的特点，成为许多企业在构建实时数据管道和流式处理应用时的首选解决方案。kafka的结构由生产者、代理服务器和消费者组成，生产者负责将消息发布到主题对应的代理服务器，代理服务器负责存储和管理消息，消费者从代理服务器中拉取消息进行处理。消息以主题为单位进行分区存储，分区可以布置在代理服务器上，每个分区可以有多个副本以确保高可用性，即多个代理服务器存储相同的分区消息。

2、现在技术中，存储相同分区的多个代理服务器，会选取其中一个作为主代理服务器对应主分区，其余作为副本代理服务器对应副本分区，在正常通信过程中，生产者将消息上传至主分区，主分区再将消息同步至各个副本分区，消费者从主分区获取消息进行处理。当主分区无法提供读写服务时，即主代理服务器发生故障等情况下，从副本代理器中选取新的主代理服务器，对应的副本分区作为新的主分区继续提供服务本文档来自技高网...

【技术保护点】

1.一种KAFKA副本分区提升性能方法，其特征在于，包括：

2.根据权利要求1所述的一种KAFKA副本分区提升性能方法，其特征在于，所述根据所述可用性指标值以及所述负载指标值，获取与所述副本分区对应的健康度指标值，包括：

3.根据权利要求1所述的一种KAFKA副本分区提升性能方法，其特征在于，在所述根据所述可用性指标值以及所述负载指标值，获取与所述副本分区对应的健康度指标值之后，还包括：

4.根据权利要求3所述的一种KAFKA副本分区提升性能方法，其特征在于，所述根据所述健康度指标值，确定加入至副本服务组的所述副本分区，包括：>

5.根据权利...

【技术特征摘要】

1.一种kafka副本分区提升性能方法，其特征在于，包括：

2.根据权利要求1所述的一种kafka副本分区提升性能方法，其特征在于，所述根据所述可用性指标值以及所述负载指标值，获取与所述副本分区对应的健康度指标值，包括：

3.根据权利要求1所述的一种kafka副本分区提升性能方法，其特征在于，在所述根据所述可用性指标值以及所述负载指标值，获取与所述副本分区对应的健康度指标值之后，还包括：

4.根据权利要求3所述的一种kafka副本分区提升性能方法，其特征在于，所述根据所述健康度指标值，确定加入至副本服务组的所述副本分区，包括：

5.根据权利要求1所述的一种kafka副本分区提升性能方法，其特征在于，在所述获取各个副本分区的可用性指标值以及负载指标值之前，还包括：

6.根据权利要求1所述的一种kafka副本分区提升...

【专利技术属性】
技术研发人员：王卉，雷中杰，
申请(专利权)人：中国移动通信集团湖北有限公司，
类型：发明
国别省市：