面向kafka的数据传输方法、系统、计算机设备及存储介质技术方案

本申请属于大数据技术领域，涉及面向kafka的数据传输方法、系统、计算机设备及存储介质，所述方法包括:使WEB服务器接收数据传输请求并发送至任意服务节点；使基于数据传输请求生成消费任务，并发送任务信息至分布式服务端；监测到路径下的任务信息时，基于任务信息和工作节点对消费任务进行拆分，得到多个子消费任务并发送至分布式服务端；监测到存入子消费任务的任务信息时，启动线程从kafka中数据消费传输至数据接收端。本申请还涉及区块链技术，被确定为私密的消费数据可存储于区块链中。本申请可以实现传输的快速配置，简单高效，增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率。

【技术实现步骤摘要】
面向kafka的数据传输方法、系统、计算机设备及存储介质
本申请涉及大数据
，尤其涉及面向kafka的数据传输方法、系统、计算机设备及存储介质。
技术介绍
现有技术中将kafka消息实时传输到其他系统时可以基于Spark或者Flink定制化开发消费程序。基于Spark和Flink的消费程序需要依赖大数据集群并且需要定制化开发，新增Topic消费的时候，需要停止原本的应用，修改消费程序代码后重新发布，或者再增加一个APP任务单独处理新增的Topic，且Flume配置数据消费任务时需要通过启动Shell命令的方式进行，配置过程复杂，需要专业人员才能实现，通用性差。
技术实现思路
本申请实施例的目的在于提出一种面向kafka的数据传输方法、系统、计算机设备及存储介质，以解决现有技术中新增Topic消费的时需中止当前任务导致效率低，以及配置消费数据任务的过程复杂、通用性差的问题。为了解决上述技术问题，本申请实施例提供一种面向kafka的数据传输方法，采用了如下所述的技术方案：一种面向kafka的数据传输方法，包本文档来自技高网...

【技术保护点】
1.一种面向kafka的数据传输方法，其特征在于，包括下述步骤：/n使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；/n使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；/n使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于...

【技术特征摘要】
1.一种面向kafka的数据传输方法，其特征在于，包括下述步骤：
使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；
使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；
使作为工作节点的服务节点监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。


2.根据权利要求1所述的面向kafka的数据传输方法，其特征在于，所述数据传输请求还包括通过所述WEB界面实时配置的数据处理配置信息，在所述将消费数据传输至所述数据接收端之前，所述方法还包括：根据所述数据处理配置信息对消费的数据执行目标操作，以得到目标数据；所述目标数据为最终传输至所述数据接收端的消费数据。


3.根据权利要求2所述的面向kafka的数据传输方法，其特征在于，在所述将所述数据传输请求发送至数据处理服务端的任意一个服务节点之前，所述方法包括：
在数据处理服务端启动至少一个服务节点，并将启动的服务节点在所述分布式服务端中进行注册，其中，当启动的服务节点数量为一个时，所述分布式服务端将该服务节点同时注册为控制节点和工作节点，当启动的服务节点的数量为至少两个时，所述分布式服务端将所有启动的服务节点注册为工作节点，同时将其中一个服务节点注册为控制节点。


4.根据权利要求3所述的面向kafka的数据传输方法，其特征在于，在所述分布式服务端将所有启动的服务节点注册为工作节点之后，所述方法还包括：
将作为工作节点的服务节点在所述分布式服务端中注册为备用控制节点；当作为控制节点的服务节点发生异常时，判断是否存在可用的备用控制节点若是则从所述备用控制节点中选取一个注册为新的控制节点，否则启动新的服务节点注册为新的控制节点。


5.根据权利要求1至4任一项所述的面向kafka的数据传输方法，其特征在于，所述方法还包括：
当接收到新的数据传输请求时，根据所述新的数据传输请求确定待消费的Topic，判断所述待消费的topic是否已存在对应的消费任务，若不存在则根据所述新的数据请求启动新的服务节点，以基于所述新的服务节点进...

【专利技术属性】
技术研发人员：邵伟康，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44