一种基于库容器实现的分布式任务处理的系统及方法技术方案

本发明专利技术公开了一种基于库容器实现的分布式任务处理的系统及方法，包括至少一个中心服务器组件、至少一个Work组件和至少一个Consul注册中心模块，所述中心服务器组件用于监控客户上传或指定的库文件，并将中心服务器组件地址端口注册到consul注册中心模块，如果有多个中心服务器组件启动，将首先依次注册到注册中心。本发明专利技术的有益效果是：本发明专利技术提供的库包上传和发布，管理方便，自动维护工作组件和容器的启停，不用人力检查是否正常和问题，自动管理容器中任务的处理，运维成本降低；本发明专利技术通过不改变现有开发模式的情况下，简单对用户透明的方式提供服务，客户不改变原有开发包库的方式，简单上传指定即可，操作方便，技术门槛降低。

【技术实现步骤摘要】
一种基于库容器实现的分布式任务处理的系统及方法
本专利技术涉及一种分布式任务处理的系统，具体为一种基于库容器实现的分布式任务处理的系统及方法，属于大数据分布式多任务处理应用

技术介绍
随着信息化技术的不断推进，大数据分布式多任务的处理越来越常见；但是基于集群和单服务器实现的并行处理和分发框架，要么要求资源和硬件、软件越来越高，要么难以部署和实现，其技术门槛越来越高，维护和运作成本也越来越高。如何实现现有开发环境下，在不需要介入复杂硬件和软件的情况下实现分布处理和并行任务部署，是现在大家一致的期待。现有环境下，特别复杂的有kubernets（又名k8s）的集群部署，有对硬件要求颇高的hadoop并行操作系统；但是技术门槛太高，需要耗费很多人力和学习成本，维护成本也越来越高。也有基于xxljob和powerjob的开源分布任务平台，但是他们都无法直接上传库包使用，需要客户按平台的要求修改代码，改变原有的代码和开发方式，造成学习和部署的困难；需要改变开发模式，成本太高。当然还有云上的serverless，这个本文档来自技高网...

【技术保护点】
1.一种基于库容器实现的分布式任务处理的系统，其特征在于：包括至少一个中心服务器组件、至少一个Work组件和至少一个Consul注册中心模块；/n其中，所述中心服务器组件用于监控客户上传或指定的库文件，并将中心服务器组件地址端口注册到consul注册中心模块，中心服务器组件和work组件进行通信和对外提供库包日志服务；/n所述Work组件为各个实际执行任务的工作站守护进程，负责执行具体的任务和中心服务器组件通信交流，并执行中心服务器组件的命令，work组件还用于各个分布服务器上的代理；/n所述Consul注册中心模块用于接收中心服务器组件和Work组件的注册信息。/n

【技术特征摘要】
1.一种基于库容器实现的分布式任务处理的系统，其特征在于：包括至少一个中心服务器组件、至少一个Work组件和至少一个Consul注册中心模块；
其中，所述中心服务器组件用于监控客户上传或指定的库文件，并将中心服务器组件地址端口注册到consul注册中心模块，中心服务器组件和work组件进行通信和对外提供库包日志服务；
所述Work组件为各个实际执行任务的工作站守护进程，负责执行具体的任务和中心服务器组件通信交流，并执行中心服务器组件的命令，work组件还用于各个分布服务器上的代理；
所述Consul注册中心模块用于接收中心服务器组件和Work组件的注册信息。


2.根据权利要求1所述的一种基于库容器实现的分布式任务处理的系统，其特征在于，所述Work组件执行中心服务器组件的命令为docker命令、上传下载命令、执行启停命令、获取jar库包命令、汇报监控命令和健康状态反馈命令。


3.根据权利要求2所述的一种基于库容器实现的分布式任务处理的系统，其特征在于，所述work组件和中心服务器组件均采用java编写，核心实现http协议通信和work组件的自注册和work组件的system内部调用命令。


4.根据权利要求1所述的一种基于库容器实现的分布式任务处理的系统，其特征在于，通过work组件将健康信息和进程任务信息注册写入consul注册中心组件中。

【专利技术属性】
技术研发人员：徐进，洪杨，朱伟，
申请(专利权)人：江苏信数科技有限公司，
类型：发明
国别省市：江苏;32