【技术实现步骤摘要】
一种Kafka集群间数据传输方法及相关设备
[0001]本申请属于互联网
，尤其涉及一种Kafka集群间数据传输方法、系统及设备。
技术介绍
[0002]Kafka是一个开源流处理平台。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
[0003]对于不同的企业，为处理企业内部的数据，通常具有架设于企业内网的Kafka平台，然而随着业务需要，Kafka内的信息往往需要与不同企业的Kafka平台进行同步，此时为了数据传输的安全性考虑，往往需要额外设置一个具有公网IP的Kafka集群作为中转，才能将数据将数据由一个企业的内网Kafka平台传输到另一个企业的内网Kafka平台。
[0004]这一过程成Kafka跨...
【技术保护点】
【技术特征摘要】
1.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Kafka集群，包括：所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。2.根据权利要求1所述的Kafka集群间数据传输方法，其特征在于，所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，包括：所述第一Kafka集群传输所述第一数据至Kafka Mirror服务，以使得所述Kafka Mirror服务传输所述第一数据至第一Nginx服务器。3.根据权利要求1所述的Kafka集群间数据传输方法，其特征在于，所述第一Nginx服务器和所述第二Nginx服务器均处于双活模式。4.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Nginx服务器，包括：所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。5.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Nginx服务器，包括：所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。6.一种Kafka集群间数据传输方法，其特征在于，所述方法应...
【专利技术属性】
技术研发人员：罗伟东，朱军，
申请(专利权)人：深圳市和讯华谷信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。