流量管理方法及相关装置制造方法及图纸

本申请提供的流量管理方法及相关装置中，管理节点根据各服务节点在服务期间的节点状况，从服务节点中确定出目标节点，并根据各目标节点的服务质量重新确定各自的第二流量阈值；由于各目标节点的第二流量阈值之和同样满足需求条件，因此，能够为客户端提供稳定流量的服务。的服务。的服务。

【技术实现步骤摘要】
流量管理方法及相关装置


[0001]本申请涉及数据管理设备，具体而言，涉及一种流量管理方法及相关装置。

技术介绍

[0002]Kafka系统是一种高吞吐量的分布式发布订阅消息系统，可以用于处理消费者在网站中的所有动作流数据，能够达到每秒数百万的消息量。
[0003]由于Kafka系统的吞吐量特别大，因此，对于各个客户端的流量掌控也变得十分重要，而Kafka系统中提供有用户认证操作功能，使得用户可以对所使用客户端的服务节点(又名Broker)的流量上限进行配置，从而实现流量控制。
[0004]然而，专利技术人研究发现各服务节点在为客户端提供服务期间，存在不能为客户端提供稳定流量的问题。

技术实现思路

[0005]为了克服现有技术中的至少一个不足，本申请提供一种流量管理方法及相关装置，包括：
[0006]第一方面，本申请实施例提供一种流量管理方法，应用于Kafka系统中的管理设备，所述Kafka系统还包括为客户端提供服务的多个服务节点，所述多个服务节点各自的第一流量阈值之和满足所述客户端对流量的需求条件，所述方法包括：
[0007]获取所述多个服务节点各自的节点状况；
[0008]根据所述多个服务节点各自的节点状况，确定出目标节点，其中，所述节点状况分别用于指示对应服务节点是否发生异常；
[0009]根据所述目标节点各自的服务质量，确定所述目标节点各自的第二流量阈值，其中，所述第二流量阈值之和满足所述需求条件，所述服务质量分别包括对应目标节点的实测流量。r/>[0010]第二方面，本申请实施例提供一种流量管理装置，应用于Kafka系统中的管理设备，所述Kafka系统还包括为客户端提供服务的多个服务节点，所述多个服务节点各自的第一流量阈值之和满足所述客户端对流量的需求条件，所述流量管理装置包括：
[0011]状况模块，用于获取所述多个服务节点各自的节点状况；
[0012]筛选模块，用于根据所述多个服务节点各自的节点状况，确定出目标节点，其中，所述节点状况分别用于指示对应服务节点是否发生异常；
[0013]流量模块，用于根据所述目标节点各自的服务质量，确定所述目标节点各自的第二流量阈值，其中，所述第二流量阈值之和满足所述需求条件，所述服务质量分别包括对应目标节点的实测流量。
[0014]第三方面，本申请实施例提供一种管理设备，所述管理设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的流量管理方法。
[0015]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的流量管理方法。
[0016]相对于现有技术而言，本申请具有以下有益效果：
[0017]本申请实施例提供的流量管理方法及相关装置中，管理节点根据各服务节点在服务期间的节点状况，从服务节点中确定出目标节点，并根据各目标节点的服务质量重新确定各自的第二流量阈值；由于各目标节点的第二流量阈值之和同样满足需求条件，因此，能够为客户端提供稳定流量的服务。
附图说明
[0018]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1为本申请实施例提供的Kafka系统的框架示意图；
[0020]图2为本申请实施例提供的流量管理方法原理示意图；
[0021]图3为本申请实施例提供的管理设备结构示意图；
[0022]图4为本申请实施例提供的流量管理方法示的流程意图；
[0023]图5为本申请实施例提供的流量管理装置的结构示意图。
[0024]图标：120
‑
存储器；130
‑
处理器；140
‑
通信单元；201
‑
状况模块；202
‑
筛选模块；203
‑
流量模块。
具体实施方式
[0025]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0026]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0028]在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0029]应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以
反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0030]考虑到本实施例涉及到Kafka系统，为便于本领域技术人员实施本方案，下面先结合图1对Kafka系统进行介绍。如图1所示，该系统中包括多个服务节点(又名Broker)以及用于管理这些服务节点的管理设备，其中，生产者产生数据，服务节点用于存储生产者产生的数据，而消费者从Kafka系统中订阅特定类型的数据，当服务节点中接收到特定类型的数据时，则对其进行消费。而该消费者即本实施例中的客户端，并为每个客户端配置有多个服务节点。
[0031]当前的Kafka系统中，用户通过配置zookeeper端的配置信息“/config/users/username”，写入服务节点的配置信息，从而达到限制该服务节点为客户端提供服务时的流量上限。
[0032]如图2所示，假定该Kafka系统为用户001的客户端提供有4个服务节点，并且，每个服务节点的流量上限为10M，相应的配置信息为“/config/users/001＝10MB/s”，因此，Kafka系统根据该配置信息可以为客本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量管理方法，其特征在于，应用于Kafka系统中的管理设备，所述Kafka系统还包括为客户端提供服务的多个服务节点，所述多个服务节点各自的第一流量阈值之和满足所述客户端对流量的需求条件，所述方法包括：获取所述多个服务节点各自的节点状况；根据所述多个服务节点各自的节点状况，确定出目标节点，其中，所述节点状况分别用于指示对应服务节点是否发生异常；根据所述目标节点各自的服务质量，确定所述目标节点各自的第二流量阈值，其中，所述第二流量阈值之和满足所述需求条件，所述服务质量分别包括对应目标节点的实测流量。2.根据权利要求1所述的流量管理方法，其特征在于，所述根据所述多个服务节点各自的节点状况，确定出目标节点，包括：若所述多个服务节点中存在异常节点，则将所述多个服务节点中未发生异常的服务节点作为所述目标节点；若所述多个服务节点中不存在异常节点，则将所述多个服务节点作为所述目标节点。3.根据权利要求1所述的流量管理方法，其特征在于，所述管理设备配置有所述客户端对流量的需求总量，所述根据所述目标节点各自的服务质量，确定所述目标节点各自的第二流量阈值，包括：根据所述目标节点各自的实测流量，获得所述目标节点之间的第一流量比例；根据所述第一流量比例以及所述需求总量，确定所述目标节点各自的第二流量阈值。4.根据权利要求3所述的流量管理方法，其特征在于，根据所述第一流量比例以及所述需求总量，确定所述目标节点各自的第二流量阈值，包括：根据所述第一流量比例分配所述需求总量，获得所述目标节点各自的第一参考阈值；根据第二流量比例分配所述需求总量，获得所述目标节点各自的第二参考阈值，其中，所述第二流量比例获取自每个所述目标节点的第一流量阈值；针对每个所述目标节点，根据所述目标节点的第一参考阈值以及所述目标节点的第二参考阈值，获得所述目标节点的第二流量阈值。5.根据权利要求4所述的流量管理方法，其特征在于，所述第一参考阈值、所述第二参考阈值以及所述第二流量阈值满足以下关系：式中，表示第i个目标节点的第一参考阈值，表示第i个目标节点的第二参考阈值，β表示变化系数...

【专利技术属性】
技术研发人员：谭宗喜，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：