一种基于kafka集群的生产与消费的方法技术

本发明专利技术公开了一种基于kafka集群的生产与消费的方法，涉及信息处理技术领域；该方法包括以下的步骤：S1、消息提交规则的设置；S2、对消息自动重试规则进行设置；S3、主题topic的副本数设置，对主题topic的副本数进行设置，使其大于或等于3；S4、对消息写入副本的数量进行设置，保证主题topic的副本数大于消息写入副本的数量；S5、确保消息消费完成后再提交偏移量Offset；S6、多服务器的线程设置，通过统计多种数据主题topic的分区数partition，采用下列公式计算：P/n＝concurrency，其中P为总的分区数partition的数据，n为服务器的数量，concurrency为线程数；本发明专利技术的有益效果是：杜绝了单一服务器不稳定导致数据出现波动的情况，解决数据一致性及单点故障问题。

A method of production and consumption based on Kafka cluster

【技术实现步骤摘要】
一种基于kafka集群的生产与消费的方法
本专利技术涉及消息处理
，更具体的说，本专利技术涉及一种基于kafka集群的生产与消费的方法。
技术介绍
Kafka是一种分布式发布-订阅消息系统，具备高吞吐量、持久化、副本集机制、分布式支持横向扩展等特性。对生产者和消费者的设计完全解耦，流量可削峰、消息处理可做到异步。现在它已被很多公司作为多种类型的数据管道和消息系统使用。为了更好的说明及理解本专利技术的技术方案，对Kafka的基础概念作如下介绍：1、生产者与消费者对于Kafka来说客户端有两种基本类型，包括：生产者(Producer)、消费者(Consumer)，生产者(也称为发布者)创建消息，而消费者(也称为订阅者)负责消费消息。2、主题(Topic)与分区(Partition)在Kafka中，消息以主题(Topic)来分类，每一个主题都对应一个「消息队列」，即类似于数据库中的表。但是如果把所有同类的消息都塞入到一个“中心”队列中，势必缺少可伸缩性，无论是生产者/消费者数目的增加，还是消息数量的增加，本文档来自技高网...

【技术保护点】
1.一种基于kafka集群的生产与消费的方法，其特征在于,该方法包括以下的步骤：/nS1、消息提交规则的设置，该规则为所有副本Broker都要接收到消息，该消息才能提交成功；/nS2、对消息自动重试规则进行设置，当出现网络抖动，使Kafka Producer自动重试消息发送，避免消息丢失；/nS3、主题topic的副本数设置，对主题topic的副本数进行设置，使其大于或等于3；/nS4、对消息写入副本的数量进行设置，控制消息至少要被写入1个以上的副本才能提交成功，保证主题topic的副本数大于消息写入副本的数量；/nS5、确保消息消费完成后再提交偏移量Offset；/nS6、多服务器的线程设置...

【技术特征摘要】
1.一种基于kafka集群的生产与消费的方法，其特征在于,该方法包括以下的步骤：
S1、消息提交规则的设置，该规则为所有副本Broker都要接收到消息，该消息才能提交成功；
S2、对消息自动重试规则进行设置，当出现网络抖动，使KafkaProducer自动重试消息发送，避免消息丢失；
S3、主题topic的副本数设置，对主题topic的副本数进行设置，使其大于或等于3；
S4、对消息写入副本的数量进行设置，控制消息至少要被写入1个以上的副本才能提交成功，保证主题topic的副本数大于消息写入副本的数量；
S5、确保消息消费完成后再提交偏移量Offset；
S6、多服务器的线程设置，通过统计多种数据主题topic的分区数partition，采用下列公式计算：P/n＝concurrency，其中P为总的分区数partition的数据，n为服务器的数量，concurrency为线程数。


2.根据权利要求1所述的一种基于kafka集群的生产与消费的方法，其特征在于：所述的步骤S1中，令KafkaProducer中参数acks＝all。


3.根据权利要求1所述的一种基于kafka集群的生产与消费的方法，其特征在于：所述的步骤S2中，令KafkaPr...

【专利技术属性】
技术研发人员：曹浩，刘跃红，夏菊平，李雨峰，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44