一种集中管理制造技术

一种集中管理

【技术实现步骤摘要】
一种集中管理Kafka的方法、系统、电子设备及存储介质


[0001]本申请涉及数据处理
，具体涉及一种集中管理
Kafka
的方法
、
系统
、
电子设备及存储介质
。

技术介绍

[0002]随着互联网技术的不断发展，各行业的业务也在不断发展，用户量增加，业务系统往往需要进行重新规划进行扩容以及服务器机架搬迁，甚至是机房容量不够进行机房搬迁这些都是很频繁和常规的操作，集群地址的变化给用户的影响是一个很大的问题
。
[0003]目前，在一个
Kafka
集群需要迁移时，传统的方法是在新的位置先扩容相同数量的机器，然后将消息队列内的
Topic
迁移到新的节点上，这个
Topic
的迁移操作对用户是无感知的，迁移完成之后会将旧的机器做集群下架操作
。
[0004]但是在实际应用中，客户端的访问地址还是旧的地址，机器之间下掉会导致用户无法访问到这个集群，因此需要等所有用户都修改自己的程序将访问地址改为新的机器地址之后才能下掉这些旧的机器
。
客户端在访问集群时会直连集群地址，往往用户数很多，从而很难在短时间内完全切换，导致整个迁移机器的周期很长，现有的客户端访问集群的方式亟待改进
。

技术实现思路

[0005]本申请提供了一种集中管理
Kafka
的方法
、
系统
、
电子设备及存储介质，具有隔离客户端与
Kafka
集群，提高服务器运维效率的效果
。
[0006]第一方面，本申请提供了一种集中管理
Kafka
的方法，包括：接收所述客户端发送的请求信息，识别所述请求信息确定所述请求信息对应的任务类型；根据预设检测算法，得到所述任务类型对应集群中的节点；将所述请求信息转发给所述集群中的节点；接收所述集群中的节点响应于所述请求信息返回的元数据；将所述元数据返回给所述客户端以建立所述客户端和集群之间的访问连接
。
[0007]通过采用上述技术方案，系统获取网关服务器地址，然后将客户端连接地址配置为网关服务器地址，连接网关服务器后会发起
Metadata
请求，然后由网关服务器接受到请求之后根据用户与集群的绑定关系将
Metadata
请求转发到集群中，集群接受到
Metadata
请求并将元数据返回给网关服务器，然后由网关服务器将该元数据返回给客户端，最后客户端根据该元数据与
Kafka
集群进行正常访问以及执行后续操作，能够通过网关服务器实现客户端与集群的隔离，提高对集群服务器运维的效率
。
[0008]可选的，根据所述集群的地址信息，通过预设配置文件配置
Gateway
参数，所述参数包括网络配置
、
路由规则
、
安全配置
、
预设网关服务器地址
。
[0009]通过采用上述技术方案，系统获取集群地址信息，然后会根据该地址信息配置
Gateway
参数，其中该
Gateway
参数包括网络配置
、
路由规则
、
安全配置
、
预设网关服务器地址，可有效提高处理客户端请求信息的效率
。
[0010]可选的，接收所述客户端发出的
Metadata
请求；检测所述客户端对应的身份信息和
ACL
授权信息；根据所述身份信息和
ACL
授权信息，确定所述客户端与所述集群的绑定关系，所述集群包括多个
Broker
节点；根据所述绑定关系和预设负载均衡算法，得到所述绑定关系对应的
Broker
节点；将所述
Metadata
请求转发给所述集群对应的
Broker
节点
。
[0011]通过采用上述技术方案，预设网关服务器接收客户端发送的
Metadata
请求，并检测该客户端的身份信息和
ACL
授权信息，通过读取该身份信息和
ACL
授权信息，得到客户端和集群的绑定关系，然后根据该绑定关系确定对应的
Broker
节点，并将
Metadata
请求转发给该
Broker
节点，能够避免集群中存在损坏的
Broker
节点导致客户端无法访问的问题，提高了系统性能和稳定性
。
[0012]可选的，提取所述身份信息中的客户端
ip
地址；判断预设
ip
地址白名单中是否存在所述客户端
ip
地址；若是，则开启所述客户端访问所述
Broker
节点对应的权限；若否，则限制所述客户端的访问权限
。
[0013]通过采用上述技术方案，通过识别客户端身份信息中的
ip
地址，然后检测预设
ip
地址白名单中是否存在该客户端身份信息中的
ip
地址，根据不同结果执行不同操作，如果预设
ip
地址白名单中存在该客户端身份信息中的
ip
地址则开启该客户端访问
Broker
节点对应的权限，如果不存在，则限制该客户端的访问权限，可有效提高客户端访问集群的安全性
。
[0014]可选的，所述元数据由
Broker
节点根据预设合并算法将所述集群对应的
Topic
和分区信息封装为元数据并发送给所述预设网关服务器
。
[0015]通过采用上述技术方案，集群中的
Broker
节点会响应于客户端的请求信息，根据预设合并算法将集群中对应的
Topic
和分区信息封装为元数据，然后将该元数据返回给预设网关服务器，便于客户端和管理员通过元数据了解
Kafka
集群的运行状态和性能
。
[0016]可选的，响应于绑定关系修改请求，根据所述绑定关系修改请求中的修改请求信息对任务类型与所述集群中的节点之间的对应关系进行修改
。
[0017]通过采用上述技术方案，响应于绑定关系修改请求，将原有任务类型与集群中
Broker
节点之间的对应关系更新为新建立绑定关系，能够防止在集群扩容时，客户端长时间无法访问集群的问题，提高了集群服务器运维的效率
。
[0018]可选的，响应于下架操作指令，对所述集群更新前的旧
Broker
节点进行下架操作
。
[0019]通过采用上述技术方案，响应于下架操作指令，将扩容前的旧
Broker...

【技术保护点】

【技术特征摘要】
1.
一种集中管理
Kafka
的方法，运用于网关服务器服务器，其特征在于，包括：接收所述客户端发送的请求信息，识别所述请求信息确定所述请求信息对应的任务类型；根据预设检测算法，得到所述任务类型对应集群中的节点；将所述请求信息转发给所述集群中的节点；接收所述集群中的节点响应于所述请求信息返回的元数据；将所述元数据返回给所述客户端以建立所述客户端和集群之间的访问连接
。2.
根据权利要求1所述的一种集中管理
Kafka
的方法，其特征在于，所述接收所述客户端发送的请求信息之前，还包括：根据所述集群的地址信息，通过预设配置文件配置
Gateway
参数，所述参数包括网络配置
、
路由规则
、
安全配置
、
预设网关服务器地址；将所述客户端地址配置为所述预设网关服务器地址
。3.
根据权利要求1所述的一种集中管理
Kafka
的方法，其特征在于，所述将所述请求信息转发给所述集群中的节点之后，还包括：接收所述客户端发出的
Metadata
请求；检测所述客户端对应的身份信息和
ACL
授权信息；根据所述身份信息和
ACL
授权信息，确定所述客户端与所述集群的绑定关系，所述集群包括多个
Broker
节点；根据所述绑定关系和预设负载均衡算法，得到所述绑定关系对应的
Broker
节点；将所述
Metadata
请求转发给所述集群对应的
Broker
节点
。4.
根据权利要求3所述的一种集中管理
Kafka
的方法，其特征在于，所述 检测所述客户端对应的身份信息和
ACL
授权信息之后，还包括：提取所述身份信息中的客户端
ip
地址；判断预设
ip
地址白名单中是否存在所述客户端
ip
地址；若是，则开启所述客户端访问所述
Broker
节点对应的权限；若否，则限制所述客户端的访问权限
。5.
根据权利要求1所述的一种集中管理
Kafka
的方法，其特征在于，所述元数据由
Broker
节点根据预设合并算法将所述集群对应的
Topic
和分区信息...

【专利技术属性】
技术研发人员：李伟，
申请(专利权)人：企知道科技有限公司，
类型：发明
国别省市：