服务调用方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:41971366 阅读:22 留言:0更新日期:2024-07-10 16:51
本公开涉及计算机技术领域,公开了一种服务调用方法、装置、计算机设备及存储介质。本公开提供了一种服务调用方法,包括:响应接收到目标应用发送的服务调用请求,确定目标应用在当前使用周期内的累计交互量;若累计交互量大于目标应用对应的预设交互量阈值,则拦截服务调用请求;获取服务调用请求的目标等待时长并触发等待计时;若服务调用请求的当前等待时长达到目标等待时长,则触发目标应用再次发送服务调用请求,以对服务调用请求进行处理。不仅可以减少目标应用过度请求调用目标服务的情况发生,还可以在拦截服务调用请求之后,通过触发目标应用再次发送服务调用请求,以保障目标应用的性能。

【技术实现步骤摘要】

本公开涉及计算机,具体涉及服务调用方法、装置、计算机设备及存储介质


技术介绍

1、目标应用是一种基于人工智能(artificial intelligence,ai)的自然语言处理模型,具备语义理解和生成能力,可以进行实时的对话和交互。

2、相关技术中,以自然语言处理模型是大语言模型(large language model,llm)为例,目标应用的运行依赖于llm服务端提供的服务。由于llm服务端在使用周期内的交互量是有限的,并且,不同目标应用在不同时段内发送的服务调用请求数量不同,因此,当多个目标应用在同一使用周期内并发发送多个服务调用请求时,会因服务端过载而影响目标应用的性能。


技术实现思路

1、有鉴于此,本公开提供了一种服务调用方法、装置、计算机设备及存储介质,以解决因服务端过载而影响目标应用的性能的问题。

2、第一方面,本公开提供了一种服务调用方法,包括:

3、响应接收到目标应用发送的服务调用请求,确定目标应用在当前使用周期内的累计交互量,服务调用请求用于请求调用本文档来自技高网...

【技术保护点】

1.一种服务调用方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述目标应用在当前使用周期内的累计交互量,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述获取所述服务调用请求的目标等待时长,包括:

5.根据权利要求4所述的方法,其特征在于,所述发送次数与所述目标等待时长之间的对应关系为正相关。

6.根据权利要求1所述的方法,其特征在于,所述触发等待计时,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括...

【技术特征摘要】

1.一种服务调用方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述目标应用在当前使用周期内的累计交互量,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述获取所述服务调用请求的目标等待时长,包括:

5.根据权利要求4所述的方法,其特征在于,所述发送次数与所述目标等待时长之间的对应关系为正相关。

6.根据权利要求1所述的方法,其特征在于,所述触发等待计时,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根...

【专利技术属性】
技术研发人员:林海涛
申请(专利权)人:抖音视界有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1