服务请求的限流方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了服务请求的限流方法、装置、电子设备和存储介质，涉及语音技术等人工智能领域，尤其涉及语音转写领域。具体实现方案为：在目标地域限流服务集群接收到目标用户的服务请求的情况下，获取目标用户对应的请求总并发限额、远端并发信息及本地并发数量；在远端并发信息中第一远端总并发数量与本地并发数量之和大于请求总并发限额的情况下，对服务请求进行限流处理。由此，每个地域限流服务集群可以在远端总并发数量与本地并发数量之和大于请求总并发限额时，对服务请求进行限流，实现了对服务请求进行跨地域限流，并且多地域限流服务集群可以从整体上进行限流，从而从整体上有效地进行资源利用，提高了资源利用率。提高了资源利用率。提高了资源利用率。

【技术实现步骤摘要】
服务请求的限流方法、装置、电子设备和存储介质


[0001]本公开涉及语音技术等人工智能领域，尤其涉及语音转写领域，具体涉及一种服务请求的限流方法、装置、电子设备和存储介质。

技术介绍

[0002]随着互联网技术的发展，可以为人们提供多种服务，比如翻译服务、语音转写服务(比如文字转语音、语音转文字)等，每次收到服务请求后会在一个短暂的时间内持续工作，为了避免底层服务压力过大导致服务崩溃，需要对服务请求的并发数量进行限制。
[0003]相关技术中，对于不同的地域限流服务集群设置并发限额，各地域限流服务集群根据自己的并发限额进行限流。但是，可能会出现多个地域的流量不均衡的情况，资源利用率低。

技术实现思路

[0004]本公开提供了一种服务请求的限流方法、装置、电子设备和存储介质。具体方案如下：
[0005]根据本公开的一方面，提供了一种服务请求的限流方法，包括：
[0006]在目标地域限流服务集群接收到目标用户的服务请求的情况下，获取目标用户对应的请求总并发限额、远端并发信息及本地并发数量；
[0007]在远端并发信息中第一远端总并发数量与本地并发数量之和大于请求总并发限额的情况下，对服务请求进行限流处理；
[0008]其中，第一远端并发数量是指除目标地域限流服务集群外目标用户在其他地域限流服务集群中的并发请求数量之和。
[0009]根据本公开的另一方面，提供了一种服务请求的限流装置，包括：
[0010]第一获取模块，用于在目标地域限流服务集群接收到目标用户的服务请求的情况下，获取目标用户对应的请求总并发限额、远端并发信息及本地并发数量；
[0011]限流处理模块，用于在远端并发信息中第一远端总并发数量与本地并发数量之和大于请求总并发限额的情况下，对服务请求进行限流处理；
[0012]其中，第一远端并发数量是指除目标地域限流服务集群外目标用户在其他地域限流服务集群中的并发请求数量之和。
[0013]根据本公开的另一方面，提供了一种电子设备，包括：
[0014]至少一个处理器；以及
[0015]与所述至少一个处理器通信连接的存储器；其中，
[0016]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。
[0017]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。
[0018]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1为本公开一实施例提供的服务请求的限流方法的流程示意图；
[0022]图2为本公开提供的一种整体的请求流程示意图；
[0023]图3为本公开另一实施例提供的服务请求的限流方法的流程示意图；
[0024]图4为本公开另一实施例提供的服务请求的限流方法的流程示意图；
[0025]图5为本公开实施例提供的一种服务请求的限流过程示意图；
[0026]图6为本公开一实施例提供的服务请求的限流装置的结构示意图；
[0027]图7是用来实现本公开实施例的服务请求的限流方法的电子设备的框图。
具体实施方式
[0028]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0029]下面参考附图描述本公开实施例的服务请求的限流方法、装置、电子设备和存储介质。
[0030]图1为本公开一实施例提供的服务请求的限流方法的流程示意图。
[0031]本公开实施例的服务请求的限流方法，可以由本公开实施例的服务请求的限流装置执行，该装置可以配置于电子设备中，以实现服务请求的限流功能。
[0032]其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
[0033]如图1所示，该服务请求的限流方法包括：
[0034]步骤101，在目标地域限流服务集群接收到目标用户的服务请求的情况下，获取目标用户对应的请求总并发限额、远端并发信息及本地并发数量。
[0035]本公开中，可以在多个地域设置限流服务集群，每个地域限流服务集群可以用于对本地域的服务请求进行限流处理，目标地域限流服务集群可以是所有地域限流服务集群中任一地域限流服务集群。
[0036]本公开中，服务请求可以是语音转写服务请求，也可以是翻译请求，也可以是其他服务请求，本公开对此不作限定。
[0037]本公开中，在目标地域限流服务集群接收到目标用户的服务请求时，可以获取目标用户对应的请求总并发限额、目标用户对应的远端并发信息、目标用户对应的本地并发数量。
[0038]其中，目标用户可以是服务请求处理提供方的任一用户，目标用户对应的请求总并发限额可以是指目标用户可以并发的服务请求的最大数量；目标用户对应的远端并发信息中可以包括但不限于第一远端总并发数量，第一远端总并发数量可以是指所有地域限流服务集群中除目标地域限流服务集群外目标用户在其他地域限流服务集群中的并发请求数量之和；目标用户对应的本地并发数量可以是指目标用户的服务请求在目标地域限流服务集群的并发数量。
[0039]比如，目标用户为某阅读软件的所属方，服务请求为翻译请求，使用该阅读软件的用户在a时刻发起的翻译请求的数量即为a时刻该阅读软件所属方对应的并发请求数量。
[0040]本公开中，远端并发信息可以存储在数据库中，比如可以存储在redis(Remote Dictionary Server，远程字典服务)中，redis是一个基于内存实现的键值型非关系数据库，或者远端并发信息也可以存储在其他数据库中，本公开对此不作限定。
[0041]本公开中，不同的用户对应的请求总并发限额可以相同，也可以不同，本公开对此不作限定。
[0042]需要说明的是，请求总并发限额、远端并发信息及本地并发数量，针对的可以是同一种服务请求，也可以是多种服务请求，本公开对此不作限定。
[0043]比如，请求总并发限额、远端并发信息及本地并发数量针对的是语音转写服务请求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务请求的限流方法，包括：在目标地域限流服务集群接收到目标用户的服务请求的情况下，获取所述目标用户对应的请求总并发限额、远端并发信息及本地并发数量；在所述远端并发信息中第一远端总并发数量与所述本地并发数量之和大于所述请求总并发限额的情况下，对所述服务请求进行限流处理；其中，所述第一远端并发数量是指除所述目标地域限流服务集群外所述目标用户在其他地域限流服务集群中的并发请求数量之和。2.如权利要求1所述的方法，其中，所述远端并发信息还包括下次更新时间，所述方法还包括：在所述下次更新时间早于或等于当前时间的情况下，获取所述目标用户在所述其他地域限流服集群中的当前并发请求数量；根据所述当前并发请求数量之和，确定第二远端总并发数量；根据所述第二远端总并发数量与所述本地并发数量，对所述远端并发信息进行更新。3.如权利要求2所述的方法，其中，所述根据所述第二远端总并发数量与所述本地并发数量，对所述远端并发信息进行更新，包括：根据所述第二远端总并发数量与所述本地并发数量之和，确定所述远端并发信息的第一更新等级及第一更新时间；根据所述第一更新等级及所述第一更新时间，对所述远端并发信息进行更新。4.如权利要求3所述的方法，其中，所述根据所述第二远端总并发数量与所述本地并发数量之和，确定所述远端并发信息的第一更新等级及第二更新时间，包括：根据所述第二远端总并发数量与所述本地并发数量之和与所述请求总并发限额的第一比值、及比值范围与更新等级及时间间隔的对应关系，确定所述第一更新等级及第一时间间隔；根据所述当前时间与所述第一时间间隔之和，确定所述第一更新时间。5.如权利要求3所述的方法，其中，所述远端并发信息还包括第二更新等级，所述根据所述第一更新等级及所述第一更新时间，对所述远端并发信息进行更新，包括：将所述第一远端总并数量更新为所述第二远端总并发数量；将所述下次更新时间更新为所述第一更新时间；将所述第二更新等级更新为所述第一更新等级。6.如权利要求1所述的方法，其中，所述远端并发信息还包括下次更新时间，所述方法还包括：在所述下次更新时间晚于当前时间的情况下，根据所述第一远端总并发数量与所述本地并发数量之和，确定所述远端并发信息的第三更新等级及第二更新时间；根据所述第三更新等级及所述第二更新时间，对所述远端并发信息进行更新。7.如权利要求6所述的方法，其中，所述根据所述第一远端总并发数量与所述本地并发数量之和，确定所述远端并发信息的第三更新等级及第二更新时间，包括：根据所述第一远端总并发数量与所述本地并发数量之和与所述请求总并发限额的第二比值、及比值范围与更新等级及时间间隔的对应关系，确定所述第三更新等级及第二时间间隔；
根据所述当前时间与所述第二时间间隔之和，确定所述第二更新时间。8.如权利要求6所述的方法，其中，所述远端并发信息还包括第二更新等级，所述根据所述第三更新等级及所述第二更新时间，对所述远端并发信息进行更新，包括：在所述第三更新等级大于所述第二更新等级的情况下，将所述下次更新时间更新为所述第二更新时间；将所述第二更新等级更新为所述第三更新等级。9.如权利要求1
‑
8中任一项所述的方法，还包括：在所述第一远端总并发数量与所述本地并发数量之和小于或等于所述请求总并发数量的情况下，将所述服务请求发送给相应的服务集群进行处理。10.一种服务请求的限流装置，包括：第一获取模块，用于在目标地域限流服务集群接收到目标用户的服务请求的情况下，获取所述目标用户对应的请求总并发限额、远端并发信息及本地并发数量；限流处理模块，用于在所述远端并发...

【专利技术属性】
技术研发人员：黄伟琦，曲春雨，江鹏，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：