数据处理方法及负载均衡系统技术方案

本说明书一个或多个实施例公开了一种数据处理方法及负载均衡系统。所述方法包括：获取待推送至数据网关服务器进行数据存档处理的待推送数据；基于待推送数据生成推送任务；推送任务包括至少一条待推送数据；基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从多个数据网关服务器中，确定符合负载均衡策略的目标数据网关服务器；其中，多个数据网关服务器包括：归属于第一数据推送服务器的数据网关服务器，和/或，归属于第一数据推送服务器以外的其他数据推送服务器的数据网关服务器；将推送任务推送至目标数据网关服务器，以使目标数据网关服务器对至少一条待推送数据进行数据存档处理。数据进行数据存档处理。数据进行数据存档处理。

【技术实现步骤摘要】
数据处理方法及负载均衡系统


[0001]本说明书涉及负载均衡
，尤其涉及一种数据处理方法及负载均衡系统。

技术介绍

[0002]随着移动互联网时代的到来，互联网业务不论是访问量还是每秒产生的数据量，都是十分巨大的，因此几乎所有的互联网应用，都开始以集群模式部署后台服务器，在这样的部署环境下，每台服务器都能完成相同的服务功能，比如，每台服务器都能处理用户的访问请求或者处理互联网业务产生的数据，从而达到对前端互联网业务快速响应的效果。
[0003]上述以集群模式部署后台服务器的方式，在一定程度上满足了人们对于互联网业务的使用需求，但另一方面，也产生了新的问题，如以集群模式部署各服务器与传统的主从服务器架构存在不同，因此由主服务器对其从属服务器进行负载均衡的方式显然不再适用于对以集群模式部署的服务器进行负载均衡。基于此，在以集群模式部署后台服务器的部署环境下，如何更合理的调度后台多个服务器，以使服务器资源得到更合理的利用，成为目前亟待解决的问题之一。

技术实现思路

[0004]一方面，本说明书一个或多个实施例提供一种数据处理方法，应用于第一数据推送服务器，包括：获取待推送至数据网关服务器进行数据存档处理的待推送数据。基于所述待推送数据生成推送任务，所述推送任务包括至少一条所述待推送数据。基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器。其中，所述多个数据网关服务器包括：归属于所述第一数据推送服务器的数据网关服务器，和/或，归属于所述第一数据推送服务器以外的其他数据推送服务器的数据网关服务器。将所述推送任务推送至所述目标数据网关服务器，以使所述目标数据网关服务器对所述至少一条待推送数据进行数据存档处理。
[0005]另一方面，本说明书一个或多个实施例提供一种负载均衡系统，包括多个管理区域、以及分布于每一管理区域内的数据推送服务器、归属于所述数据推送服务器的至少一个数据网关服务器和与所述数据网关服务器相连接的存储系统。所述数据推送服务器，用于获取待推送至数据网关服务器进行数据存档处理的待推送数据，基于所述待推送数据生成推送任务，所述推送任务包括至少一条所述待推送数据，基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器，其中，所述多个数据网关服务器包括：归属于所述数据推送服务器的数据网关服务器，和/或，归属于所述数据推送服务器以外的其他数据推送服务器的数据网关服务器，将所述推送任务推送至所述目标数据网关服务器。所述数据网关服务器，用于接收所述数据推送服务器推送的所述推送任务，基于与所述存储系统之间的网络连接，将所述推送任务中的每一条待推送数据发送至所述存储系统。所述存储系统，用于接收所述数据网关服务器发送的每一条待推送数据，对每一条待推送数据进行数据存档处理。
[0006]再一方面，本说明书一个或多个实施例提供一种数据处理设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现：获取待推送至数据网关服务器进行数据存档处理的待推送数据。基于所述待推送数据生成推送任务，所述推送任务包括至少一条所述待推送数据。基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器。其中，所述多个数据网关服务器包括：归属于第一数据推送服务器的数据网关服务器，和/或，归属于所述第一数据推送服务器以外的其他数据推送服务器的数据网关服务器。将所述推送任务推送至所述目标数据网关服务器，以使所述目标数据网关服务器对所述至少一条待推送数据进行数据存档处理。
[0007]再一方面，本说明书实施例提供一种存储介质，用于存储计算机程序，所述计算机程序能够被处理器执行以实现以下流程：获取待推送至数据网关服务器进行数据存档处理的待推送数据。基于所述待推送数据生成推送任务，所述推送任务包括至少一条所述待推送数据。基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器。其中，所述多个数据网关服务器包括：归属于第一数据推送服务器的数据网关服务器，和/或，归属于所述第一数据推送服务器以外的其他数据推送服务器的数据网关服务器。将所述推送任务推送至所述目标数据网关服务器，以使所述目标数据网关服务器对所述至少一条待推送数据进行数据存档处理。
附图说明
[0008]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0009]图1是根据本说明书一实施例的数据处理方法的应用场景示意图；
[0010]图2是根据本说明书一实施例的一种数据处理方法的示意性流程图；
[0011]图3是根据本说明书一实施例的一种数据处理方法的示意性泳道图；
[0012]图4是根据本说明书一实施例的一种负载均衡系统的示意性框图；
[0013]图5是根据本说明书另一实施例的一种负载均衡系统的示意性框图；
[0014]图6是根据本说明书一实施例的一种数据处理设备的结构示意图。
具体实施方式
[0015]本说明书一个或多个实施例提供一种数据处理方法及负载均衡系统，用以解决现有业务场景中服务器资源分配不合理的问题。
[0016]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性
劳动前提下所获得的所有其他实施例，都应当属于本说明书一个或多个实施例保护的范围。
[0017]目前，在很多的业务场景中，为了记录当下系统或者业务运行的一些状态，往往会输出一些关键文本信息，以文本的形式作为日志，记录在处理业务或运行系统的服务器的磁盘上。由于各服务器的磁盘中记录的日志数据较为杂乱，而在一些业务场景中又需要多个服务器的磁盘中的日志数据，因此会预先在当前业务场景中，以集群模式部署多个数据推送服务器及数据网关服务器，从而根据运维人员的需求通过每个数据推送服务器去实时的拉取多个服务器的磁盘中的日志数据，推送到数据网关服务器，然后由数据网关服务器，将日志数据按照特定存储的约束，保存到不同的存储系统中去。在海量数据的处理场景下，数据推送服务器每分钟会拉取并产生数亿条的明细数据(其中，每个日志数据包括至少一条明细数据)，同时发送到数据网关服务器集群上，这就对数据网关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于第一数据推送服务器，包括：获取待推送至数据网关服务器进行数据存档处理的待推送数据；基于所述待推送数据生成推送任务；所述推送任务包括至少一条所述待推送数据；基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器；其中，所述多个数据网关服务器包括：归属于所述第一数据推送服务器的数据网关服务器，和/或，归属于所述第一数据推送服务器以外的其他数据推送服务器的数据网关服务器；将所述推送任务推送至所述目标数据网关服务器，以使所述目标数据网关服务器对所述至少一条待推送数据进行数据存档处理。2.根据权利要求1所述的方法，所述基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器，包括：确定所述多个数据网关服务器中，归属于所述第一数据推送服务器的数据网关服务器；对所述多个数据网关服务器中，归属于所述第一数据推送服务器的数据网关服务器进行轮询，以确定归属于所述第一数据推送服务器的数据网关服务器是否满足所述预设的负载均衡策略；若不满足，则对所述多个数据网关服务器中，归属于其他数据推送服务器的数据网关服务器进行轮询，以确定符合所述负载均衡策略的目标数据网关服务器。3.根据权利要求1所述的方法，所述预设的负载均衡策略包括：数据网关服务器的目标参数未超过其对应的预设阈值；所述目标参数包括以下中的一项或多项：数据网关服务器的设备负载信息、数据网关服务器在第一预设时长内处理的数据量、以及数据网关服务器与存储系统交互的在途数据量；其中，所述数据网关服务器与存储系统交互的在途数据量包括发送至所述存储系统、且未被所述存储系统成功存档的待推送数据的数据量。4.根据权利要求2所述的方法，归属于相同数据推送服务器的多个数据网关服务器分布于相同的管理区域；归属于不同数据推送服务器的多个数据网关服务器分布于不同的管理区域。5.根据权利要求2所述的方法，所述轮询为加权轮询；所述对所述多个数据网关服务器中，归属于所述第一数据推送服务器的数据网关服务器进行轮询，包括：根据归属于所述第一数据推送服务器的数据网关服务器对应的分配权重，对归属于所述第一数据推送服务器的数据网关服务器进行加权轮询。6.根据权利要求4所述的方法，所述轮询为加权轮询；所述对所述多个数据网关服务器中，归属于其他数据推送服务器的数据网关服务器进行轮询，包括：根据归属于其他数据推送服务器的数据网关服务器对应的分配权重、以及其他数据推送服务器所在管理区域对应的分配权重，对归属于其他数据推送服务器的数据网关服务器进行加权轮询。
7.根据权利要求5或6所述的方法，所述基于预设的负载均衡策略，对多个数据网关服务器进行轮询之前，所述方法还包括：从列表服务器中获取轮询相关信息；所述轮询相关信息包括各数据网关服务器所分布的管理区域、各数据网关服务器对应的分配权重，以及各所述管理区域对应的分配权重；其中，所述列表服务器用于预先基于与各所述管理区域、以及各所述数据推送服务器之间的网络连接，拉取得到所述轮询相关信息；将所述轮询相关信息存储在所述第一数据推送服务器本地。8.根据权利要求7所述的方法，所述方法还包括：接收归属于所述第一数据推送服务器的数据网关服务器发送的更新的分配权重；其中，所述数据网关服务器用于在满足分配权重更新条件的情况下，基于自身的目标参数进行加权计算，根据计算结果确定所述数据网关服务器对应的更新的分配权重，并将所述更新的分配权重发送至所述第一数据推送服务器；所述目标参数包括以下中的一项或多项：所述数据网关服务器与存储系统交互的在途数据量、所述数据网关服务器在第一预设时长内处理的数据量、以及所述数据网关服务器的设备负载信息；所述分配权重更新条件包括：处理所述推送任务的数量达到预设次数阈值，和/或，每间隔第二预设时长；将所述更新的分配权重发送至所述列表服务器，以使所述列表服务器基于所述更新的分配权重更新对应的数据网关服务器的分配权重。9.根据权利要求3所述的方法，所述基于预设的负载均衡策略，对多个数据网关服务器进行轮询，以从所述多个数据网关服务器中，确定符合所述负载均衡策略的目标数据网关服务器，包括：针对每个数据网关服务器，判断当前是否接收到所述数据网关服务器发送的第一告警信息；其中，所述第一告警信息用于提示所述数据网关服务器的目标参数中的至少一项超过其对应的预设阈值；若否，则确定所述数据...

【专利技术属性】
技术研发人员：刘继伟，李国杰，陈伟荣，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：