基于kafka集群的数据写入方法、装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供一种基于kafka集群的数据写入方法、装置、电子设备、存储介质，基于kafka集群的数据写入方法包括：监控kafka调用接口中数据量的产生速度；判断所述kafka调用接口中数据量的产生速度是否大于预定阈值；若判断所述kafka调用接口中数据量的产生速度小于等于预定阈值，则将所述kafka调用接口中数据直接发送至kafka集群；若判断所述kafka调用接口中数据量的产生速度大于预定阈值，则将所述kafka调用接口中产生的数据写入本地文件中，由所述本地文件将述本地文件中储存的数据发送至所述kafka集群。本发明专利技术提供的方法及装置通过对kafka集群的数据写入的控制，避免kafka集群不可用的不同时，不影响业务程序的正常运行。

Data writing methods, devices, electronic devices and storage media based on Kafka cluster

【技术实现步骤摘要】
基于kafka集群的数据写入方法、装置、电子设备、存储介质
本专利技术涉及大数据
，尤其涉及一种基于kafka集群的数据写入方法、装置、电子设备、存储介质。
技术介绍
近年来，随着信息时代的到来，对于大数据的相关数据处理能力对信息技术的发展尤为重要。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这些动作流数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka作为消息队列在大数据实时计算中的地位首屈一指，storm(Twitter开源的分布式实时大数据处理框架)、flink(Apache软件基金会开发的开源流处理框架)、spark(专为大规模数据处理而设计的快速通用的计算引擎)天然支持读取和写入kafka的数据，但是在实际的生产环境中，kafka被多个数据生产方一起使用，本文档来自技高网...

【技术保护点】
1.一种基于kafka集群的数据写入方法，其特征在于，包括：/n监控kafka调用接口中数据量的产生速度；/n判断所述kafka调用接口中数据量的产生速度是否大于预定阈值；/n若判断所述kafka调用接口中数据量的产生速度小于等于预定阈值，则将所述kafka调用接口中数据直接发送至kafka集群；/n若判断所述kafka调用接口中数据量的产生速度大于预定阈值，则将所述kafka调用接口中产生的数据写入本地文件中，由所述本地文件将述本地文件中储存的数据发送至所述kafka集群。/n

【技术特征摘要】
1.一种基于kafka集群的数据写入方法，其特征在于，包括：
监控kafka调用接口中数据量的产生速度；
判断所述kafka调用接口中数据量的产生速度是否大于预定阈值；
若判断所述kafka调用接口中数据量的产生速度小于等于预定阈值，则将所述kafka调用接口中数据直接发送至kafka集群；
若判断所述kafka调用接口中数据量的产生速度大于预定阈值，则将所述kafka调用接口中产生的数据写入本地文件中，由所述本地文件将述本地文件中储存的数据发送至所述kafka集群。


2.如权利要求1所述的基于kafka集群的数据写入方法，其特征在于，所述kafka调用接口及所述基于kafka集群的数据写入方法封装为软件开发工具包。


3.如权利要求1所述的基于kafka集群的数据写入方法，其特征在于，将所述kafka调用接口中产生的数据写入本地文件中，由所述本地文件将述本地文件中储存的数据发送至所述kafka集群包括：
当所述kafka调用接口中数据量的产生速度小于等于预定阈值时，将所述本地文件中储存的数据发送至所述kafka集群直至所述本地文件为空，将所述kafka调用接口中数据发送至kafka集群。


4.如权利要求1所述的基于kafka集群的数据写入方法，其特征在于，将所述kafka调用接口中产生的数据写入本地文件中，由所述本地文件将所述本地文件中储存的数据发送至所述kafka集群包括：
由所述本地文件按预定数据传输速度将述本地文件中储存的数据发送至所述kafka集群。


5.如权利要求1至4任一项所述的基于kafka集群的数据写入方法，其特征在于，所述将所述kafka调用接口中产生的数据写入本地文件中还包括：
至少将写入本地文件的数据的数据量和/或所监控的kafka调用接口中数据量的产生速度写入开发时间...

【专利技术属性】
技术研发人员：董延峰，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏;32