使用KAFKA的数据消费方法、装置、终端设备及介质制造方法及图纸

本发明专利技术涉及金融科技技术领域，公开了一种使用KAFKA的数据消费方法、装置、终端设备以及计算机存储介质。该使用KAFKA的数据消费方法通过KAFKA消费端按照实例注册规则注册数据消费实例，其中，所述实例注册规则包括：单个KAFKA主题的单个partition对应一个数据消费实例的一个消费线程；根据所述数据消费实例的权重和所述数据消费实例对应的KAFKA主题的partition进行负载均衡操作；保持负载均衡状态供所述数据消费实例进行数据消费。本发明专利技术实现了使用KAFKA的轻量级、高可用的数据消费方案。案。案。

【技术实现步骤摘要】
使用KAFKA的数据消费方法、装置、终端设备及介质


[0001]本专利技术涉及金融科技(Fintech)
，尤其涉及一种使用KAFKA的数据消费方法、装置、终端设备以及计算机存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性以及稳定性等要求，也对技术提出了更高的要求。
[0003]目前，在大数据领域主流采用kafka(一个开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据)实时或准实时消费数据，主要是基于sparkstreaming(一个对实时数据流进行高通量、容错处理的流式处理系统)或者Apache Flink(一种开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎)等大数据组件的实时流计算框架来实现。
[0004]然而，基于大数据组件的实时流计算框架不仅接入门槛比较高，而且还需要消耗机器成本和付诸大量人力资源来进行运维，从而导致采用kafka进行数据消费的成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用KAFKA的数据消费方法，其特征在于，所述使用KAFKA的数据消费方法应用于KAFKA消费端，所述使用KAFKA的数据消费方法包括以下步骤：按照实例注册规则注册数据消费实例，其中，所述实例注册规则包括：单个KAFKA主题的单个partition对应一个数据消费实例的一个消费线程；根据所述数据消费实例的权重和所述数据消费实例对应的KAFKA主题的partition进行负载均衡操作；保持负载均衡状态供所述数据消费实例进行数据消费。2.如权利要求1所述的使用KAFKA的数据消费方法，其特征在于，所述根据所述数据消费实例的权重和所述数据消费实例对应的KAFKA主题的partition进行负载均衡操作的步骤，包括：检测当前上线的全部所述数据消费实例，并根据每一个所述数据消费实例各自的权重计算权重总值；比对所述权重总值、所述数据消费实例对应的KAFKA主题的partition个数，和所述数据消费实例处理所述KAFKA主题的partition的线程数，得到数据比对结果；根据所述数据比对结果进行负载均衡操作。3.如权利要求2所述的使用KAFKA的数据消费方法，其特征在于，所述根据所述数据比对结果进行负载均衡操作的步骤，包括：按照预设第一周期根据所述比对结果进行预设次数的负载均衡操作，并在每一次进行所述负载均衡操作之后检测是否达到负载均衡状态；若未达到，则重复进行所述负载均衡操作直到进行所述负载均衡操作的次数达到所述预设次数；若在进行预设次数的负载均衡操作之后检测未达到负载均衡状态，则按照预设第二周期进行所述负载均衡操作，其中，所述预设第二周期等于所述预设第一周期乘以所述预设次数。4.如权利要求2所述的使用KAFKA的数据消费方法，其特征在于，所述根据每一个所述数据消费实例各自的权重计算权重总值的步骤，包括：检测每一个所述数据消费实例各自的权重是否相同；若是，则基于全部所述数据消费实例的个数乘以所述权重以计算得到所述权重总值；若否，则基于全部所述数据消费实例各自的权重进行叠加以计算得到所述权重总值。5.如权利要求1所述的使用KAFKA的数据消费方法，其特征在于，所述方法还包括：根据所述数据消费实例...

【专利技术属性】
技术研发人员：李勇，卢道和，罗锶，黄叶飞，边元乔，陈晓峰，常亮，姬岑晨，胡思文，郑喜生，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：