System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种针对批量接口的流控与负载均衡的方法与装置制造方法及图纸_技高网

一种针对批量接口的流控与负载均衡的方法与装置制造方法及图纸

技术编号:40810470 阅读:4 留言:0更新日期:2024-03-28 19:32
本公开的一方面涉及一种用于针对批量接口的流控与负载均衡的方法,包括在网关处接收来自服务消费方的请求;确定所述请求包括批量接口请求;确定所述批量接口请求的单批次请求qps(每秒查询数)数量和每查询所携带流量;通过将其相乘来计算所述批量接口请求的二维真实流量面积;基于此来核查流量负载情况以进行流量管控;当确定所述流量负载情况正常,将对应于所述批量接口请求的服务请求发送给SLB(服务器负载均衡)设备;以及接收来自所述SLB的响应于所述服务请求的请求结果并将所述请求结果返回给服务消费方。本公开还涉及其他相关方面。

【技术实现步骤摘要】

本申请一般涉及流量管控,尤其涉及针对批量接口的流控与负载均衡的方法与装置


技术介绍

1、随着互联网分布式服务能力的演进,在领域服务化场景下,服务之间的调用变革加快,服务网格化等均在各个场景落地。随着服务能力拓展和saas(软件运营服务)化,众多的服务依赖方对服务提供方的sla(服务等级协定)提出了更高的要求。在此基础之上,单元化流量均衡性便是其中重要的课题。

2、在对外暴露的多种多样的服务中,批量服务接口也是其中很重要的一种类型。目前的slb(服务器负载均衡)、网关服务能力更多的是基于接口流量粒度进行流量均衡。这种方式在单元化容器内对于批量接口上无法很好地均匀刻画流量以及负载,因此便有了批量接口的负载均衡和流量控制的问题。负载均衡是指为了保障每个单元化容器能够对外提供稳定的服务能力,通过网关或者slb,进行均衡化的负载,将流量均衡的下发至单元化容器中,让单个节点都能在均衡的流量中提供稳定的服务,防止单节点流量过大拉挂容器。而流量控制则是指服务提供方针对接口粒度,在服务集群能力基础上进行压测流量峰值评估后,得到的集群服务能力上限,该接口上限既为当前服务接口的流量上限,在正式生产环境中,会进行接口限流配置,防止集群被流量击穿失去服务能力,一般是为了保障集群服务能力的稳定性和可用性。

3、为了在批量接口情况下均衡负载至各个单元化进程且进行“真实流量”限流,本领域需要更利于服务提供方的更健康、更稳定的服务能力,从而优化其集群服务能力。


技术实现思路

1、本公开的一方面涉及一种用于针对批量接口的流控与负载均衡的方法,包括在网关处接收来自服务消费方的请求;确定所述请求包括批量接口请求;确定所述批量接口请求的单批次请求qps(每秒查询数)数量和每查询所携带流量;通过将单批次请求qps数量与每查询所携带流量相乘来计算所述批量接口请求的二维真实流量面积;基于所述批量接口请求的所述二维真实流量面积来核查流量负载情况以进行流量管控;当确定所述流量负载情况正常,将对应于所述批量接口请求的服务请求发送给slb(服务器负载均衡)设备;以及接收来自所述slb的响应于所述服务请求的请求结果并将所述请求结果返回给服务消费方。

2、根据一些示例性实施例,该方法进一步包括在接收来自所述服务消费方的所述请求之后,进行服务鉴权;以及若所述服务鉴权失败,则拒绝所述请求。

3、根据一些示例性实施例,确定所述请求包括批量接口请求包括基于所述请求的请求头中的批量请求flag(旗标)来确定所述请求包括批量接口请求。

4、根据一些示例性实施例,来自所述服务消费方的所述请求包括以下至少一者:多个用户的决策、用户针对多个策略的决策、或多个用户分别针对多个策略的决策。

5、根据一些示例性实施例,其中,确定所述批量接口请求的单批次请求qps(每秒查询数)数量和每查询所携带流量包括从redis缓存获取所述批量接口请求的单批次请求qps(每秒查询数)数量以及获取每查询所携带流量的映射模式关系。

6、本公开的另一方面涉及一种用于针对批量接口的流控与负载均衡的方法,包括在slb(服务器负载均衡)设备处监听来自网关的服务请求;确定所述服务请求的类型对应于来自服务消费方的批量接口请求;解析所述批量接口请求的真实流量,其中所述真实流量包括基于将单批次请求qps数量与每查询所携带流量相乘得到的所述批量接口请求的二维真实流量面积;查询各服务提供方的在途容量;基于各服务提供方的在途容量将所述服务请求指派给合适的服务提供方;接收来自所述合适的服务提供方的响应;以及将所述响应返回给所述网关。

7、根据一些示例性实施例,确定所述服务请求的类型对应于来自服务消费方的批量接口请求包括基于所述服务请求的请求头中的批量请求flag(旗标)来确定所述服务请求的类型对应于来自所述服务消费方的批量接口请求。

8、根据一些示例性实施例,基于各服务提供方的在途容量将所述服务请求指派给合适的服务提供方包括对各服务提供方的在途容量进行排序;以及基于负载策略并根据所述排序,将所述服务请求指派给合适的服务提供方。

9、根据一些示例性实施例,所述负载策略包括基于最小活跃数的负载均衡算法。

10、根据一些示例性实施例,该方法进一步包括在将所述服务请求指派给合适的服务提供方之后,基于所述批量接口请求的二维真实流量面积来重新记录所述合适的服务提供方的在途流量面积;以及在接收来自所述合适的服务提供方的响应之后,将基于所述批量接口请求的二维真实流量面积从所述合适的服务提供方的在途流量面积中移除。

11、本公开的其他方面还包括实现相应方法的功能的装置、设备和计算机可读存储介质等。

本文档来自技高网...

【技术保护点】

1.一种用于针对批量接口的流控与负载均衡的方法,包括在网关处:

2.如权利要求1所述的方法,进一步包括:

3.如权利要求1所述的方法,其中接收来自服务消费方的批量接口请求进一步包括:

4.如权利要求1所述的方法,其中所述批量接口请求包括以下至少一者:

5.如权利要求1所述的方法,其中,其中,确定所述批量接口请求的单批次请求qps(每秒查询数)数量和每查询所携带流量包括获取所述批量接口请求的qps数量以及获取每查询所携带流量的映射模式关系。

6.一种用于针对批量接口的流控与负载均衡的方法,包括在服务器负载均衡设备SLB处:

7.如权利要求6所述的方法,其中,确定所述服务请求的类型对应于来自服务消费方的批量接口请求包括基于所述服务请求的请求头中的批量请求旗标来确定所述服务请求的类型对应于来自所述服务消费方的批量接口请求。

8.如权利要求6所述的方法,其中,基于各服务提供方的在途容量将所述服务请求指派给合适的服务提供方包括:

9.如权利要求8所述的方法,其中,所述负载策略包括基于最小活跃数的负载均衡算法。

10.如权利要求6所述的方法,进一步包括:

11.一种在网关处用于针对批量接口的流控与负载均衡的装置,包括:

12.一种在SLB(服务器负载均衡)设备处用于针对批量接口的流控与负载均衡的装置,包括:

13.一种在网关处用于针对批量接口的流控与负载均衡的设备,包括:

14.一种在SLB(服务器负载均衡)设备处用于针对批量接口的流控与负载均衡的设备,包括:

...

【技术特征摘要】

1.一种用于针对批量接口的流控与负载均衡的方法,包括在网关处:

2.如权利要求1所述的方法,进一步包括:

3.如权利要求1所述的方法,其中接收来自服务消费方的批量接口请求进一步包括:

4.如权利要求1所述的方法,其中所述批量接口请求包括以下至少一者:

5.如权利要求1所述的方法,其中,其中,确定所述批量接口请求的单批次请求qps(每秒查询数)数量和每查询所携带流量包括获取所述批量接口请求的qps数量以及获取每查询所携带流量的映射模式关系。

6.一种用于针对批量接口的流控与负载均衡的方法,包括在服务器负载均衡设备slb处:

7.如权利要求6所述的方法,其中,确定所述服务请求的类型对应于来自服务消费方的批量接口请求包括基于所述服务请求的...

【专利技术属性】
技术研发人员:王盼盼
申请(专利权)人:蚂蚁区块链科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1