一种Kafka集群间数据传输方法及相关设备技术

本申请提供了一种Kafka集群间数据传输方法，应用于第一Kafka集群，包括：第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得第一Nginx服务器基于安全套接字协议将第一数据传输至第二Nginx服务器，由第二Nginx服务器传输第一数据至第二Kafka集群；基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过Nginx ssl加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。并且数据传输链路变得简洁，数据延迟风险问题得以解决。数据延迟风险问题得以解决。数据延迟风险问题得以解决。

【技术实现步骤摘要】
一种Kafka集群间数据传输方法及相关设备


[0001]本申请属于互联网
，尤其涉及一种Kafka集群间数据传输方法、系统及设备。

技术介绍

[0002]Kafka是一个开源流处理平台。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
[0003]对于不同的企业，为处理企业内部的数据，通常具有架设于企业内网的Kafka平台，然而随着业务需要，Kafka内的信息往往需要与不同企业的Kafka平台进行同步，此时为了数据传输的安全性考虑，往往需要额外设置一个具有公网IP的Kafka集群作为中转，才能将数据将数据由一个企业的内网Kafka平台传输到另一个企业的内网Kafka平台。
[0004]这一过程成Kafka跨机房传输方案主要问题在于数据传输链路长，增加网络延迟风险，并且传输需要额外搭建Kafka trans集群，集群机器数量过多，导致成本过高。

技术实现思路

[0005]本申请实施例第一方面提供了一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Kafka集群，包括：
[0006]所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
[0007]所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
[0008]基于本申请实施例第一方面所提供的Kafka集群间数据传输方法，可选的，所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，包括：
[0009]所述第一Kafka集群传输所述第一数据至Kafka Mirror服务，以使得所述Kafka Mirror服务传输所述第一数据至第一Nginx服务器。
[0010]基于本申请实施例第一方面所提供的Kafka集群间数据传输方法，可选的，所述第一Nginx服务器和所述第二Nginx服务器均处于双活模式。
[0011]本申请实施例第二方面提供了一种Kafka集群间数据传输方法，所述方法应用于第一Nginx服务器，包括：
[0012]所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
[0013]所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
[0014]所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
[0015]本申请实施三方面提供了一种Kafka集群间数据传输方法，所述方法应用于第一Nginx服务器，包括：
[0016]所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
[0017]所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
[0018]所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
[0019]本申请实施例第四方面提供了一种Kafka集群间数据传输方法，所述方法应用于第二Nginx服务器，包括：
[0020]所述第二Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至所述第二Nginx服务器；
[0021]所述第二Nginx服务器发送所述第一数据至第二Kafka集群；
[0022]所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
[0023]本申请实施例第五方面提供了一种Kafka集群间数据传输方法，所述方法应用于第二Kafka服务器；
[0024]所述第二Kafka服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至第二Nginx服务器，由所述第二Nginx服务器发送至所述第二Kafka服务器；
[0025]所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
[0026]本申请实施例第六方面提供了一种Kafka集群间数据传输系统，包括：
[0027]第一Kafka集群、第一Nginx服务器、第二Kafka集群和第二Nginx服务器；
[0028]所述第一Kafka集群用于基于虚拟IP传输第一数据至第一Nginx服务器；
[0029]所述第一Nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二Nginx服务器；
[0030]所述第二Nginx服务器用于接收所述第一数据，并发送所述第一数据至第二Kafka集群；
[0031]所述第二Kafka集群用于接收所述第一数据；
[0032]所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
[0033]本申请实施例第六方面提供了一种Kafka集群设备，包括：
[0034]中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
[0035]所述存储器为短本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Kafka集群，包括：所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。2.根据权利要求1所述的Kafka集群间数据传输方法，其特征在于，所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，包括：所述第一Kafka集群传输所述第一数据至Kafka Mirror服务，以使得所述Kafka Mirror服务传输所述第一数据至第一Nginx服务器。3.根据权利要求1所述的Kafka集群间数据传输方法，其特征在于，所述第一Nginx服务器和所述第二Nginx服务器均处于双活模式。4.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Nginx服务器，包括：所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。5.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Nginx服务器，包括：所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。6.一种Kafka集群间数据传输方法，其特征在于，所述方法应...

【专利技术属性】
技术研发人员：罗伟东，朱军，
申请(专利权)人：深圳市和讯华谷信息技术有限公司，
类型：发明
国别省市：