【技术实现步骤摘要】
工业物联网下实现Controller和Worker服务联合的方法及系统
本专利技术属于工业物联网的数据传输
，涉及一种工业物联网下实现Controller和Worker服务联合的方法及系统。
技术介绍
在工业物联网数据传输Controller和Worker服务运行时，随着Kafka集群分区数量以及Controller和Worker服务部署数量的不断增加，整体工业物联网数据传输系统会遇到可拓展性、平衡性限制，会导致不同Kafka集群路由数据传输需要部署不同的Controller和Worker服务集群，造成Controller和Worker服务冗余并增加运营成本。
技术实现思路
为了解决相关技术中的技术问题，本申请提供了一种工业物联网下实现Controller和Worker服务联合的方法及系统，技术方案如下：第一方面，本申请提供了一种工业物联网下实现Controller和Worker服务联合的方法，所述方法应用于包含DC-Manager路由管理服务、Controller服务和Worker...
【技术保护点】
1.一种工业物联网下实现Controller和Worker服务联合的方法，其特征在于，所述方法应用于包含DC-Manager路由管理服务、Controller服务和Worker服务的系统中，所述方法包括：/n在所述DC-Manager路由管理服务中创建路由聚合方法，根据路由信息进行聚合，为相同的路由统一分配Controller服务和Worker服务，所述路由信息包括kafka集群数据源和Kafka集群目标源；/n在所述DC-Manager路由管理服务中创建增加路由信息方法，当添加新增路由并启动数据传输任务时，判断是否有相同路由的Controller服务启动，若有相同路由的C...
【技术特征摘要】 【专利技术属性】
1.一种工业物联网下实现Controller和Worker服务联合的方法，其特征在于，所述方法应用于包含DC-Manager路由管理服务、Controller服务和Worker服务的系统中，所述方法包括：
在所述DC-Manager路由管理服务中创建路由聚合方法，根据路由信息进行聚合，为相同的路由统一分配Controller服务和Worker服务，所述路由信息包括kafka集群数据源和Kafka集群目标源；
在所述DC-Manager路由管理服务中创建增加路由信息方法，当添加新增路由并启动数据传输任务时，判断是否有相同路由的Controller服务启动，若有相同路由的Controller服务启动，则更新已启动的所述Controller服务的路由信息；若没有相同路由的Controller服务启动，则从Controller服务池和Worker服务池中分别选取空闲的Controller服务、Worker服务分配给所述新增路由，并启动所述新增路由对应的Controller服务和Worker服务。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述DC-Manager路由管理服务中通过Helix服务从Zookeeper中感知Controller服务和Worker服务的心跳；
当感知到Controller服务或Worker服务下线时，触发重新平衡集群机制。
3.根据权利要求2所述的方法，其特征在于，所述触发重新平衡集群机制，包括：
在感知到Controller服务下线时，从所述Controller服务池中选择空闲Controller服务分配给所述下线的Controller服务所在的路由；
在感知到Worker服务下线时，通知所述Controller服务调配对应的其余Worker服务所处理的数据量。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当Controller服务被DC-Manager路由管理服务选中并根据当前路由信息启动时，增加Controller服务获取Kafka集群信息方法，当Kafka集群的Topic信息发生变化时，修正所述Controller服务中与所述Topic相关的路由信息，平衡多个Worker服务所处理的数据量。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当Worker服务被DC-Manager路由管理服务选中并根据当前路由信息启动时，修改Worker服务获取路由信息请求接口，接收由DC-Manager路由管理服务或Controller服务的推送以获取路由信息。
技术研发人员：高明明，韩锦，潘正颐，侯大为，
申请(专利权)人：常州微亿智造科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。