一种基于KAFKA的数据持久化任务分布式调度方法及系统技术方案

本发明专利技术提供了一种基于KAFKA的数据持久化任务分布式调度方法及系统，该方法通过KAFKA向任务管理模块新增持久化任务，持久化任务执行器向NACOS注册服务信息，任务管理模块通过监听NACOS获取持久化任务执行器的上下线信息，并根据持久化任务执行器上下线情况动态分配任务，持久化任务执行器执行任务并将待持久化数据写入持久化存储组件中。本发明专利技术具有横向易于扩展、资源利用合理的特性，解决了当需要持久化的数据种类变多的时候，单体应用无法满足性能要求的问题，具有较高的实用价值。本发明专利技术采用任务调度集中管理的模式，持久化任务执行器采用分布式部署的方式，各个持久化任务执行器之间互不影响。本发明专利技术能够有效利用分布式资源，提高了系统的扩展性和健壮性。提高了系统的扩展性和健壮性。提高了系统的扩展性和健壮性。

【技术实现步骤摘要】
一种基于KAFKA的数据持久化任务分布式调度方法及系统


[0001]本专利技术属于大数据应用
，具体涉及一种基于KAFKA的数据持久化任务分布式调度方法及系统。

技术介绍

[0002]随着数据接入种类越来越多，通过多线程的单体数据持久化应用使用的内存及线程越来越多，对服务器的性能等要求越来要高，服务器无法支撑单体应用的运行要求，且单体数据持久化应用无法满足分布式的要求。
[0003]Nacos是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)的服务基础设施，致力于微服务的发现、管理和信息配置，能帮助开发者快速实现动态服务发现、服务配置、服务元数据及流量管理，从而更敏捷、更容易的构建、交付和管理微服务平台。Nacos支持几乎所有主流类型(诸如：KubernetesService、gRPC&DubboRPCService、SpringCloudRESTfulService)的服务的发现、配置和管理。Nacos是开源的用于服务注册发现的组件。
[0004]Kafka是一个分布式的基于发布/订阅模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，包括：通过KAFKA向任务管理模块新增持久化任务，持久化任务执行器向NACOS注册服务信息，任务管理模块通过监听NACOS获取持久化任务执行器的上下线信息，并根据持久化任务执行器上下线情况动态分配任务，持久化任务执行器执行任务并将待持久化数据写入持久化存储组件中。2.如权利要求1所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，通过KAFKA向任务管理模块新增持久化任务具体包括：通过持久化任务管理界面配置KAFKA地址，创建包含需要监听的KAFKA的TOPIC和对应字段的任务，将任务信息下发给任务管理模块。3.如权利要求2所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，任务管理模块根据任务的TOPIC分区情况及各个持久化任务执行器负载情况动态分配任务，其中，优先将任务分配给负载较低的持久化任务执行器。4.如权利要求3所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，任务管理模块根据各个持久化任务执行器的负载情况进行负载均衡处理，具体包括：向负载较高的持久化任务执行器发送取消执行部分任务的消息指令，并向负载较低的执行器发送新增执行任务的消息指令以执行被取消的任务。5.如权利要求2所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，根据...

【专利技术属性】
技术研发人员：王频，刘树惠，
申请(专利权)人：武汉众智数字技术有限公司，
类型：发明
国别省市：